Data Engineering cho Phân tích Rủi ro 🏠
🏠 Trang chủ / Data Engineering cho Phân tích Rủi ro / Phần 2 · Chất lượng, pipeline & quản trị dữ liệu / Module 8
⏱️ Module 8 / 18 · 2 tuần Trung cấp

Điều phối pipeline: Airflow, dbt, SLA và chạy bù

Thiết kế DAG hằng ngày cho nền tảng rủi ro An Phát: trích xuất, kiểm tra chất lượng, dbt build, đối soát, xuất báo cáo; viết DAG bằng Airflow, mô hình incremental bằng dbt, thiết kế tác vụ luỹ đẳng để chạy bù, tính SLA và giám sát độ tươi dữ liệu.

AirflowdbtDAGBackfillSLAFreshness
📌 Vì sao module này quan trọng

Báo cáo rủi ro có giá trị khi nó có mặt đúng giờ mỗi ngày, kể cả hôm nguồn chậm, mạng lỗi hay ai đó sửa dữ liệu tháng trước. Script chạy bằng cron trên máy một người là rủi ro vận hành: không ai biết nó lỗi cho đến khi giám đốc hỏi “sao số hôm nay chưa có?”.

🎯 Mục tiêu học tập

  • Thiết kế DAG với phụ thuộc rõ ràng và cổng chất lượng
  • Viết DAG Airflow bằng TaskFlow API
  • Viết mô hình dbt incremental cho ảnh chụp công nợ
  • Thiết kế tác vụ luỹ đẳng để chạy bù theo ngày logic
  • Tính SLA, giám sát độ tươi và cảnh báo lỗi

🟢 Vì sao cron không đủ

Nhu cầucron + scriptBộ điều phối (Airflow, Dagster, Prefect)
Phụ thuộc giữa bướcĐoán giờ: “bước 2 chạy 3:00 vì bước 1 thường xong 2:40”Bước 2 chạy khi bước 1 thành công
Thử lại khi lỗiTự viếtretries, retry_delay cấu hình sẵn
Chạy bù 30 ngàySửa tay từng ngàyChạy theo khoảng ngày logic
Biết lỗi ở đâuĐọc log trên máy chủGiao diện, log từng tác vụ, cảnh báo
Lịch sử chạyKhông cóCó, tra được thời gian từng bước

🟢 DAG hằng ngày của An Phát

Thứ tự và cổng kiểm soát
Chờ nguồnSensor: ERP, kế toán đã chốt sổ
Trích xuấtsong song: hoá đơn, thanh toán, tỷ giá
Kiểm traquy tắc block/warn (M7)
dbt buildSilver → Gold + tests
Đối soátsổ chi tiết = sổ cái
Xuấtdashboard, email KRI, cảnh báo

Hai cổng (gate) quan trọng: nếu kiểm tra chất lượng hoặc đối soát thất bại, DAG dừng trước bước xuất báo cáo và gửi cảnh báo. Dashboard hiển thị “số liệu ngày hôm qua” kèm dấu thời gian, thay vì hiển thị số sai.

🟡 DAG Airflow (TaskFlow API)

from datetime import datetime, timedelta
from airflow.sdk import dag, task          # Airflow 3.x  (Airflow 2.x: from airflow.decorators import dag, task)

default_args = {"retries": 2, "retry_delay": timedelta(minutes=10), "owner": "data-team"}


@dag(
    schedule="30 1 * * *",                 # 01:30 mỗi ngày
    start_date=datetime(2025, 1, 1),
    catchup=False,                         # không tự chạy bù khi bật DAG; chạy bù chủ động khi cần
    default_args=default_args,
    tags=["risk", "daily"],
    max_active_runs=1,                     # tránh hai lần chạy ghi đè nhau
)
def risk_daily():

    @task
    def extract(table: str, ds=None) -> str:      # ds = ngày logic dạng 'YYYY-MM-DD' do Airflow truyền vào
        from pipelines.extract import extract_table
        return extract_table(table, business_date=ds)      # trả về đường dẫn file Bronze

    @task
    def quality_gate(paths: list[str], ds=None) -> None:
        from pipelines.dq import run_checks
        result = run_checks(paths, business_date=ds)
        if result.blocking_failures:
            raise ValueError(f"DQ chặn: {result.blocking_failures}")   # task đỏ → DAG dừng

    @task
    def dbt_build(ds=None) -> None:
        import subprocess
        subprocess.run(["dbt", "build", "--select", "tag:risk", "--vars", f'{{"asof": "{ds}"}}'], check=True)

    @task
    def reconcile(ds=None) -> None:
        from pipelines.recon import reconcile_ar_vs_gl
        reconcile_ar_vs_gl(ds)                              # raise nếu lệch quá dung sai

    @task
    def publish(ds=None) -> None:
        from pipelines.publish import refresh_dashboards, send_kri_digest
        refresh_dashboards(ds)
        send_kri_digest(ds)

    paths = [extract(t) for t in ("invoices", "payments", "fx_rates")]
    gate = quality_gate(paths)
    build = dbt_build()
    recon = reconcile()
    gate >> build >> recon >> publish()


risk_daily()
Đừng để logic nghiệp vụ trong file DAG

File DAG chỉ nên mô tả thứ tự. Logic trích xuất, kiểm tra, đối soát đặt trong package pipelines/ có unit test riêng, chạy được cả ngoài Airflow. Như vậy đổi bộ điều phối sau này không phải viết lại.

🟡 dbt: mô hình incremental cho ảnh chụp công nợ

-- models/gold/fct_ar_snapshot.sql
{{ config(
    materialized = 'incremental',
    incremental_strategy = 'delete+insert',      -- luỹ đẳng: xoá đúng ngày chốt rồi ghi lại
    unique_key = ['snapshot_date', 'invoice_id'],
    tags = ['risk']
) }}

{% set asof = var('asof') %}

SELECT
    DATE '{{ asof }}'                                 AS snapshot_date,
    i.invoice_id,
    i.dealer_id,
    i.amount_vnd                                      AS outstanding_vnd,
    DATE '{{ asof }}' - i.due_date                    AS dpd,
    CASE WHEN DATE '{{ asof }}' - i.due_date <= 0  THEN 'Trong hạn'
         WHEN DATE '{{ asof }}' - i.due_date <= 30 THEN '1-30'
         WHEN DATE '{{ asof }}' - i.due_date <= 60 THEN '31-60'
         WHEN DATE '{{ asof }}' - i.due_date <= 90 THEN '61-90'
         ELSE '>90' END                               AS bucket,
    current_timestamp                                 AS _loaded_at
FROM {{ ref('silver_invoices') }} i
WHERE i.invoice_date <= DATE '{{ asof }}'
  AND (i.paid_date IS NULL OR i.paid_date > DATE '{{ asof }}')

Chạy cho một ngày: dbt build --select fct_ar_snapshot --vars '{"asof": "2025-12-31"}'. Vì mỗi lần chạy chỉ xoá và ghi lại đúng ngày chốt đó, chạy lại bao nhiêu lần cũng ra cùng kết quả.

🟡 Luỹ đẳng và chạy bù (backfill)

Tình huống: ngày 20/01 phát hiện công thức nhóm quá hạn sai từ đầu tháng 1. Cần tính lại 19 ngày chốt. Pipeline thiết kế tốt chỉ cần chạy lại cho khoảng ngày logic đó.

Nguyên tắcCách làm
Mọi tác vụ nhận ngày logic làm tham sốKhông dùng now()/ CURRENT_DATE trong logic nghiệp vụ
Ghi theo phân vùng ngày, kiểu xoá-rồi-ghidelete+insert, INSERT OVERWRITE PARTITION, MERGE theo khoá
Đọc dữ liệu “như đã biết” khi cầnTime travel hoặc ảnh chụp, nếu chạy bù phải tái lập báo cáo cũ
Giới hạn song songmax_active_runs để không quá tải nguồn khi chạy bù
Ghi nhận lý do chạy bùNhật ký thay đổi: ai, khi nào, vì sao, khoảng ngày
# Chạy bù bằng vòng lặp dbt (độc lập với bộ điều phối)
for d in $(python -c "import datetime as t; s=t.date(2026,1,1); print(' '.join(str(s+t.timedelta(i)) for i in range(19)))"); do
  dbt build --select fct_ar_snapshot+ --vars "{\"asof\": \"$d\"}" || break
done
# Trong Airflow: dùng chức năng backfill/ "clear" các lần chạy trong khoảng ngày trên giao diện hoặc CLI của phiên bản bạn dùng

🟡 SLA, độ tươi và cảnh báo

-- Kiểm tra độ tươi: bảng Gold đã có số của hôm qua chưa?
SELECT MAX(snapshot_date)                           AS ngay_moi_nhat,
       CURRENT_DATE - MAX(snapshot_date)            AS tre_ngay,
       MAX(_loaded_at)                              AS lan_nap_cuoi,
       CASE WHEN CURRENT_DATE - MAX(snapshot_date) > 1 THEN 'TRỄ SLA' ELSE 'OK' END AS trang_thai
FROM gold.fct_ar_snapshot;
  • Gửi cảnh báo khi tác vụ thất bại (callback on_failure gửi Teams/ Slack/ email) và khi pipeline chưa xong lúc SLA, vì có những lỗi không làm task đỏ (treo, chờ nguồn mãi).
  • Đo và lưu thời gian từng bước mỗi ngày: thời gian chạy tăng dần là cảnh báo sớm trước khi trễ SLA.
  • SLA phải thoả thuận với người dùng và với nguồn: không thể cam kết 07:00 nếu ERP chốt sổ lúc 06:30.

🔴 Airflow, Dagster hay Prefect?

AirflowDagsterPrefect
Tư duyTác vụ và lịchTài sản dữ liệu (asset) và lineageLuồng Python linh hoạt
Cộng đồngLớn nhất, nhiều connectorĐang tăng, mạnh với dbtVừa
Phù hợpDoanh nghiệp có nhiều hệ thống, đội vận hànhNhóm dữ liệu hiện đại, muốn quan sát theo bảngNhóm nhỏ, script Python
Dịch vụ quản lýMWAA, Cloud Composer, AstronomerDagster+Prefect Cloud

Quan trọng hơn công cụ: logic tách khỏi DAG, tác vụ luỹ đẳng, cổng chất lượng, cảnh báo và runbook. Có những thứ đó, đổi công cụ chỉ mất vài ngày.

⚠️ Sai lầm thường mắc

❌ Dùng now() trong logic

Vì sao nguy hiểm: Chạy bù ra số của hôm nay.

Cách làm đúng: Truyền ngày logic làm tham số cho mọi bước.

❌ Ghi kiểu append khi chạy lại

Vì sao nguy hiểm: Nhân đôi ảnh chụp công nợ.

Cách làm đúng: delete+insert theo ngày chốt hoặc MERGE.

❌ Không có cổng chất lượng

Vì sao nguy hiểm: Số sai lên dashboard lúc 7 giờ sáng.

Cách làm đúng: Kiểm tra và đối soát là bước bắt buộc trước khi xuất.

❌ Chỉ cảnh báo khi task lỗi

Vì sao nguy hiểm: Pipeline treo không ai biết.

Cách làm đúng: Cảnh báo cả khi trễ SLA.

❌ Logic nghiệp vụ viết trong file DAG

Vì sao nguy hiểm: Khó kiểm thử, khoá vào một công cụ.

Cách làm đúng: Tách package riêng có unit test.

❌ Bật catchup cho DAG mới có start_date xa

Vì sao nguy hiểm: Hàng trăm lần chạy tràn vào nguồn.

Cách làm đúng: catchup=False, chạy bù chủ động có kiểm soát.

📌 Cần nhớ
  • DAG mô tả thứ tự; logic nằm trong package có test.
  • Cổng chất lượng và đối soát chặn trước khi xuất báo cáo.
  • Mọi tác vụ nhận ngày logic, ghi theo phân vùng kiểu xoá-rồi-ghi → chạy bù an toàn.
  • dbt incremental delete+insert cho ảnh chụp theo ngày chốt.
  • Cảnh báo khi lỗi và khi trễ SLA; đo thời gian từng bước.

🧩 Tự kiểm tra (bấm để xem đáp án)

1. Tác vụ dùng CURRENT_DATE để tính ngày chốt. Khi chạy bù cho 05/01:
A. Ra số ngày 05/01
B. Ra số của ngày chạy thực tế
C. Báo lỗi
Đáp án: B. CURRENT_DATE là ngày hệ thống lúc chạy.
2. incremental_strategy 'delete+insert' với unique_key theo ngày chốt giúp:
A. Chạy nhanh hơn append
B. Chạy lại không nhân đôi dữ liệu
C. Không cần kiểm tra
Đáp án: B. Xoá đúng phần rồi ghi lại → luỹ đẳng.
3. Pipeline treo ở bước chờ nguồn, không task nào đỏ. Cơ chế phát hiện:
A. on_failure callback
B. Cảnh báo trễ SLA/ độ tươi
C. Không thể
Đáp án: B. Lỗi không làm task thất bại cần giám sát SLA.
4. Vì sao đặt max_active_runs=1 cho DAG rủi ro hằng ngày?
A. Tránh hai lần chạy ghi đè nhau và quá tải nguồn
B. Để chạy nhanh hơn
C. Bắt buộc của Airflow
Đáp án: A. Kiểm soát song song.
5. Kiểm tra chất lượng thất bại mức block. DAG nên:
A. Vẫn xuất báo cáo
B. Dừng trước bước xuất, cảnh báo, dashboard giữ số hôm trước kèm dấu thời gian
C. Xoá dữ liệu
Đáp án: B. Không xuất số sai.

🏋️ Bài tập thực hành

Pipeline hằng ngày tối giản không cần Airflow

Viết run_daily.py --asof YYYY-MM-DD gồm các hàm extract → quality_gate → build_gold → reconcile → publish (in ra KRI). Mỗi bước ghi thời gian bắt đầu/ kết thúc vào bảng pipeline_runs. Chạy bù cho 31 ngày tháng 12/2025 và chứng minh chạy lại không làm đổi kết quả.

💡 Gợi ý lời giải
Dùng argparse cho tham số, DuckDB làm kho. build_gold dùng logic m03_aging với ngày chốt tham số và mẫu DELETE WHERE snapshot_date = ? rồi INSERT. Kiểm tra luỹ đẳng: chạy 2 lần, so SELECT snapshot_date, SUM(outstanding_vnd) ... GROUP BY 1 trước và sau. Sau đó thử chuyển các hàm thành @task Airflow.

📚 Tài nguyên học tập

✅ Tự đánh giá hoàn thành

  • Vẽ DAG có cổng chất lượng
  • Đọc hiểu DAG Airflow mẫu
  • Viết mô hình dbt incremental
  • Thiết kế chạy bù luỹ đẳng
  • Tính SLA bằng công cụ
Lưu ý: đây là tài liệu giáo dục. Công ty An Phát Distribution, đại lý, nhà cung cấp, nhân viên và mọi số liệu đều là giả định do code sinh ra, không đại diện cho doanh nghiệp thật. Phương pháp (scorecard, ECL, VaR, Benford...) được đơn giản hoá cho mục đích học; khi áp dụng thật, hãy đối chiếu chuẩn mực kế toán (VAS/ IFRS 9), quy định pháp luật hiện hành (ví dụ về bảo vệ dữ liệu cá nhân) và chính sách nội bộ của tổ chức bạn.