Điều phối pipeline: Airflow, dbt, SLA và chạy bù
Thiết kế DAG hằng ngày cho nền tảng rủi ro An Phát: trích xuất, kiểm tra chất lượng, dbt build, đối soát, xuất báo cáo; viết DAG bằng Airflow, mô hình incremental bằng dbt, thiết kế tác vụ luỹ đẳng để chạy bù, tính SLA và giám sát độ tươi dữ liệu.
Báo cáo rủi ro có giá trị khi nó có mặt đúng giờ mỗi ngày, kể cả hôm nguồn chậm, mạng lỗi hay ai đó sửa dữ liệu tháng trước. Script chạy bằng cron trên máy một người là rủi ro vận hành: không ai biết nó lỗi cho đến khi giám đốc hỏi “sao số hôm nay chưa có?”.
🎯 Mục tiêu học tập
- Thiết kế DAG với phụ thuộc rõ ràng và cổng chất lượng
- Viết DAG Airflow bằng TaskFlow API
- Viết mô hình dbt incremental cho ảnh chụp công nợ
- Thiết kế tác vụ luỹ đẳng để chạy bù theo ngày logic
- Tính SLA, giám sát độ tươi và cảnh báo lỗi
🟢 Vì sao cron không đủ
| Nhu cầu | cron + script | Bộ điều phối (Airflow, Dagster, Prefect) |
|---|---|---|
| Phụ thuộc giữa bước | Đoán giờ: “bước 2 chạy 3:00 vì bước 1 thường xong 2:40” | Bước 2 chạy khi bước 1 thành công |
| Thử lại khi lỗi | Tự viết | retries, retry_delay cấu hình sẵn |
| Chạy bù 30 ngày | Sửa tay từng ngày | Chạy theo khoảng ngày logic |
| Biết lỗi ở đâu | Đọc log trên máy chủ | Giao diện, log từng tác vụ, cảnh báo |
| Lịch sử chạy | Không có | Có, tra được thời gian từng bước |
🟢 DAG hằng ngày của An Phát
Hai cổng (gate) quan trọng: nếu kiểm tra chất lượng hoặc đối soát thất bại, DAG dừng trước bước xuất báo cáo và gửi cảnh báo. Dashboard hiển thị “số liệu ngày hôm qua” kèm dấu thời gian, thay vì hiển thị số sai.
🟡 DAG Airflow (TaskFlow API)
from datetime import datetime, timedelta
from airflow.sdk import dag, task # Airflow 3.x (Airflow 2.x: from airflow.decorators import dag, task)
default_args = {"retries": 2, "retry_delay": timedelta(minutes=10), "owner": "data-team"}
@dag(
schedule="30 1 * * *", # 01:30 mỗi ngày
start_date=datetime(2025, 1, 1),
catchup=False, # không tự chạy bù khi bật DAG; chạy bù chủ động khi cần
default_args=default_args,
tags=["risk", "daily"],
max_active_runs=1, # tránh hai lần chạy ghi đè nhau
)
def risk_daily():
@task
def extract(table: str, ds=None) -> str: # ds = ngày logic dạng 'YYYY-MM-DD' do Airflow truyền vào
from pipelines.extract import extract_table
return extract_table(table, business_date=ds) # trả về đường dẫn file Bronze
@task
def quality_gate(paths: list[str], ds=None) -> None:
from pipelines.dq import run_checks
result = run_checks(paths, business_date=ds)
if result.blocking_failures:
raise ValueError(f"DQ chặn: {result.blocking_failures}") # task đỏ → DAG dừng
@task
def dbt_build(ds=None) -> None:
import subprocess
subprocess.run(["dbt", "build", "--select", "tag:risk", "--vars", f'{{"asof": "{ds}"}}'], check=True)
@task
def reconcile(ds=None) -> None:
from pipelines.recon import reconcile_ar_vs_gl
reconcile_ar_vs_gl(ds) # raise nếu lệch quá dung sai
@task
def publish(ds=None) -> None:
from pipelines.publish import refresh_dashboards, send_kri_digest
refresh_dashboards(ds)
send_kri_digest(ds)
paths = [extract(t) for t in ("invoices", "payments", "fx_rates")]
gate = quality_gate(paths)
build = dbt_build()
recon = reconcile()
gate >> build >> recon >> publish()
risk_daily()File DAG chỉ nên mô tả thứ tự. Logic trích xuất, kiểm tra, đối soát đặt trong package pipelines/ có unit test riêng, chạy được cả ngoài Airflow. Như vậy đổi bộ điều phối sau này không phải viết lại.
🟡 dbt: mô hình incremental cho ảnh chụp công nợ
-- models/gold/fct_ar_snapshot.sql
{{ config(
materialized = 'incremental',
incremental_strategy = 'delete+insert', -- luỹ đẳng: xoá đúng ngày chốt rồi ghi lại
unique_key = ['snapshot_date', 'invoice_id'],
tags = ['risk']
) }}
{% set asof = var('asof') %}
SELECT
DATE '{{ asof }}' AS snapshot_date,
i.invoice_id,
i.dealer_id,
i.amount_vnd AS outstanding_vnd,
DATE '{{ asof }}' - i.due_date AS dpd,
CASE WHEN DATE '{{ asof }}' - i.due_date <= 0 THEN 'Trong hạn'
WHEN DATE '{{ asof }}' - i.due_date <= 30 THEN '1-30'
WHEN DATE '{{ asof }}' - i.due_date <= 60 THEN '31-60'
WHEN DATE '{{ asof }}' - i.due_date <= 90 THEN '61-90'
ELSE '>90' END AS bucket,
current_timestamp AS _loaded_at
FROM {{ ref('silver_invoices') }} i
WHERE i.invoice_date <= DATE '{{ asof }}'
AND (i.paid_date IS NULL OR i.paid_date > DATE '{{ asof }}')Chạy cho một ngày: dbt build --select fct_ar_snapshot --vars '{"asof": "2025-12-31"}'. Vì mỗi lần chạy chỉ xoá và ghi lại đúng ngày chốt đó, chạy lại bao nhiêu lần cũng ra cùng kết quả.
🟡 Luỹ đẳng và chạy bù (backfill)
Tình huống: ngày 20/01 phát hiện công thức nhóm quá hạn sai từ đầu tháng 1. Cần tính lại 19 ngày chốt. Pipeline thiết kế tốt chỉ cần chạy lại cho khoảng ngày logic đó.
| Nguyên tắc | Cách làm |
|---|---|
| Mọi tác vụ nhận ngày logic làm tham số | Không dùng now()/ CURRENT_DATE trong logic nghiệp vụ |
| Ghi theo phân vùng ngày, kiểu xoá-rồi-ghi | delete+insert, INSERT OVERWRITE PARTITION, MERGE theo khoá |
| Đọc dữ liệu “như đã biết” khi cần | Time travel hoặc ảnh chụp, nếu chạy bù phải tái lập báo cáo cũ |
| Giới hạn song song | max_active_runs để không quá tải nguồn khi chạy bù |
| Ghi nhận lý do chạy bù | Nhật ký thay đổi: ai, khi nào, vì sao, khoảng ngày |
# Chạy bù bằng vòng lặp dbt (độc lập với bộ điều phối)
for d in $(python -c "import datetime as t; s=t.date(2026,1,1); print(' '.join(str(s+t.timedelta(i)) for i in range(19)))"); do
dbt build --select fct_ar_snapshot+ --vars "{\"asof\": \"$d\"}" || break
done
# Trong Airflow: dùng chức năng backfill/ "clear" các lần chạy trong khoảng ngày trên giao diện hoặc CLI của phiên bản bạn dùng
🟡 SLA, độ tươi và cảnh báo
-- Kiểm tra độ tươi: bảng Gold đã có số của hôm qua chưa?
SELECT MAX(snapshot_date) AS ngay_moi_nhat,
CURRENT_DATE - MAX(snapshot_date) AS tre_ngay,
MAX(_loaded_at) AS lan_nap_cuoi,
CASE WHEN CURRENT_DATE - MAX(snapshot_date) > 1 THEN 'TRỄ SLA' ELSE 'OK' END AS trang_thai
FROM gold.fct_ar_snapshot;- Gửi cảnh báo khi tác vụ thất bại (callback on_failure gửi Teams/ Slack/ email) và khi pipeline chưa xong lúc SLA, vì có những lỗi không làm task đỏ (treo, chờ nguồn mãi).
- Đo và lưu thời gian từng bước mỗi ngày: thời gian chạy tăng dần là cảnh báo sớm trước khi trễ SLA.
- SLA phải thoả thuận với người dùng và với nguồn: không thể cam kết 07:00 nếu ERP chốt sổ lúc 06:30.
🔴 Airflow, Dagster hay Prefect?
| Airflow | Dagster | Prefect | |
|---|---|---|---|
| Tư duy | Tác vụ và lịch | Tài sản dữ liệu (asset) và lineage | Luồng Python linh hoạt |
| Cộng đồng | Lớn nhất, nhiều connector | Đang tăng, mạnh với dbt | Vừa |
| Phù hợp | Doanh nghiệp có nhiều hệ thống, đội vận hành | Nhóm dữ liệu hiện đại, muốn quan sát theo bảng | Nhóm nhỏ, script Python |
| Dịch vụ quản lý | MWAA, Cloud Composer, Astronomer | Dagster+ | Prefect Cloud |
Quan trọng hơn công cụ: logic tách khỏi DAG, tác vụ luỹ đẳng, cổng chất lượng, cảnh báo và runbook. Có những thứ đó, đổi công cụ chỉ mất vài ngày.
⚠️ Sai lầm thường mắc
Vì sao nguy hiểm: Chạy bù ra số của hôm nay.
Cách làm đúng: Truyền ngày logic làm tham số cho mọi bước.
Vì sao nguy hiểm: Nhân đôi ảnh chụp công nợ.
Cách làm đúng: delete+insert theo ngày chốt hoặc MERGE.
Vì sao nguy hiểm: Số sai lên dashboard lúc 7 giờ sáng.
Cách làm đúng: Kiểm tra và đối soát là bước bắt buộc trước khi xuất.
Vì sao nguy hiểm: Pipeline treo không ai biết.
Cách làm đúng: Cảnh báo cả khi trễ SLA.
Vì sao nguy hiểm: Khó kiểm thử, khoá vào một công cụ.
Cách làm đúng: Tách package riêng có unit test.
Vì sao nguy hiểm: Hàng trăm lần chạy tràn vào nguồn.
Cách làm đúng: catchup=False, chạy bù chủ động có kiểm soát.
- DAG mô tả thứ tự; logic nằm trong package có test.
- Cổng chất lượng và đối soát chặn trước khi xuất báo cáo.
- Mọi tác vụ nhận ngày logic, ghi theo phân vùng kiểu xoá-rồi-ghi → chạy bù an toàn.
- dbt incremental delete+insert cho ảnh chụp theo ngày chốt.
- Cảnh báo khi lỗi và khi trễ SLA; đo thời gian từng bước.
🧩 Tự kiểm tra (bấm để xem đáp án)
1. Tác vụ dùng CURRENT_DATE để tính ngày chốt. Khi chạy bù cho 05/01:
A. Ra số ngày 05/01
B. Ra số của ngày chạy thực tế
C. Báo lỗi
2. incremental_strategy 'delete+insert' với unique_key theo ngày chốt giúp:
A. Chạy nhanh hơn append
B. Chạy lại không nhân đôi dữ liệu
C. Không cần kiểm tra
3. Pipeline treo ở bước chờ nguồn, không task nào đỏ. Cơ chế phát hiện:
A. on_failure callback
B. Cảnh báo trễ SLA/ độ tươi
C. Không thể
4. Vì sao đặt max_active_runs=1 cho DAG rủi ro hằng ngày?
A. Tránh hai lần chạy ghi đè nhau và quá tải nguồn
B. Để chạy nhanh hơn
C. Bắt buộc của Airflow
5. Kiểm tra chất lượng thất bại mức block. DAG nên:
A. Vẫn xuất báo cáo
B. Dừng trước bước xuất, cảnh báo, dashboard giữ số hôm trước kèm dấu thời gian
C. Xoá dữ liệu
🏋️ Bài tập thực hành
Viết run_daily.py --asof YYYY-MM-DD gồm các hàm extract → quality_gate → build_gold → reconcile → publish (in ra KRI). Mỗi bước ghi thời gian bắt đầu/ kết thúc vào bảng pipeline_runs. Chạy bù cho 31 ngày tháng 12/2025 và chứng minh chạy lại không làm đổi kết quả.
💡 Gợi ý lời giải
argparse cho tham số, DuckDB làm kho. build_gold dùng logic m03_aging với ngày chốt tham số và mẫu DELETE WHERE snapshot_date = ? rồi INSERT. Kiểm tra luỹ đẳng: chạy 2 lần, so SELECT snapshot_date, SUM(outstanding_vnd) ... GROUP BY 1 trước và sau. Sau đó thử chuyển các hàm thành @task Airflow.📚 Tài nguyên học tập
- Apache Airflow DocumentationDAG, TaskFlow, backfill, cảnh báoTài liệu
- dbt: Incremental modelsChiến lược incremental, unique_keyTài liệu
- Dagster DocumentationĐiều phối theo tài sản dữ liệuTài liệu
✅ Tự đánh giá hoàn thành
- Vẽ DAG có cổng chất lượng
- Đọc hiểu DAG Airflow mẫu
- Viết mô hình dbt incremental
- Thiết kế chạy bù luỹ đẳng
- Tính SLA bằng công cụ