Data Engineering cho Phân tích Rủi ro 🏠
🏠 Trang chủ / Data Engineering cho Phân tích Rủi ro / Phần 2 · Chất lượng, pipeline & quản trị dữ liệu / Module 10
🔐 Module 10 / 18 · 1–2 tuần Trung cấp

Quản trị, bảo mật & tuân thủ dữ liệu rủi ro

Ai sở hữu dữ liệu, danh mục và từ điển nghiệp vụ, lineage để phân tích tác động, phân loại và bảo vệ dữ liệu cá nhân theo pháp luật Việt Nam, phân quyền theo vai trò và theo dòng, nhật ký truy cập và chính sách lưu giữ.

Data governanceLineageDữ liệu cá nhânRBACRow-level securityAudit
📌 Vì sao module này quan trọng

Dữ liệu rủi ro là dữ liệu nhạy cảm nhất của doanh nghiệp: công nợ từng khách hàng, tài khoản ngân hàng, lương nhân viên, dấu hiệu gian lận. Một vụ lộ dữ liệu hoặc một con số không giải thích được nguồn gốc có thể gây thiệt hại lớn hơn chính rủi ro bạn đang đo. Quản trị dữ liệu làm cho nền tảng đáng tin và hợp pháp.

🎯 Mục tiêu học tập

  • Phân vai data owner, steward, custodian
  • Xây danh mục dữ liệu và lineage tối thiểu
  • Phân loại dữ liệu và áp dụng che, bút danh hoá
  • Cài phân quyền theo vai trò và theo dòng (row-level security)
  • Thiết kế nhật ký kiểm toán và chính sách lưu giữ

🟢 Ai chịu trách nhiệm gì

Vai tròVí dụ ở An PhátTrách nhiệm
Data owner (chủ sở hữu)GĐ Tài chính cho dữ liệu công nợĐịnh nghĩa, phê duyệt quyền truy cập, chấp nhận rủi ro chất lượng
Data steward (người quản lý nghiệp vụ)Chuyên viên kế toán công nợDuy trì định nghĩa, xử lý dòng bị cách ly, trả lời câu hỏi nghiệp vụ
Data custodian (người vận hành kỹ thuật)Nhóm dữ liệuLưu trữ, bảo mật, sao lưu, pipeline
Data consumer (người dùng)Phòng rủi ro, kinh doanh, kiểm toánDùng đúng mục đích, báo lỗi
Không có owner = không ai chịu trách nhiệm

Khi file hoá đơn có 134 dòng lỗi, ai quyết định sửa thế nào? Nếu câu trả lời là “nhóm dữ liệu tự đoán”, bạn đang gánh rủi ro nghiệp vụ không thuộc về mình.

🟢 Danh mục dữ liệu và từ điển nghiệp vụ

Thông tin cần có cho mỗi bảng GoldVí dụ: gold.fct_ar_snapshot
Mô tả, grainHoá đơn còn nợ × ngày chốt
Chủ sở hữu, người quản lýGĐ Tài chính / chuyên viên công nợ
Độ nhạyMật (Confidential): chứa công nợ từng đại lý
Tần suất, SLAHằng ngày, có trước 07:00
Nguồn và lineageerp.invoices, accounting.receipts → silver → gold
Kiểm thử chất lượngunique (snapshot_date, invoice_id), đối soát TK 131
Thẻ định nghĩa chỉ số liên quanar_over_90_pct, dso (module 2)

Công cụ: DataHub, OpenMetadata (mã nguồn mở), Unity Catalog (Databricks), hoặc đơn giản là tài liệu sinh từ dbt docs generate. Bắt đầu với dbt docs nếu bạn đã dùng dbt: mô tả viết cạnh code nên ít bị lỗi thời.

🟡 Lineage: số này từ đâu ra, đổi cột thì ảnh hưởng gì

Lineage của KRI “% phải thu quá hạn > 90 ngày”
erp.invoicesnguồn
bronze.erp_invoices_cdcthô
silver.invoicessạch
gold.fct_ar_snapshotảnh chụp
gold.kri_dailyKRI
Dashboard HĐQT% quá hạn > 90
🎬 Đổi tên cột lúc 5 giờ chiều thứ Sáu

Nhóm ERP đổi due_date thành payment_due_date. Với lineage cấp cột, nhóm dữ liệu thấy ngay 4 mô hình dbt, 2 dashboard và mô hình chấm điểm phụ thuộc cột này, và yêu cầu hoãn thay đổi theo hợp đồng dữ liệu (module 7). Không có lineage, sáng thứ Hai dashboard trống.

Cách có lineage: dbt tự sinh lineage cấp mô hình từ ref(); chuẩn mở OpenLineage thu lineage từ Airflow, Spark, dbt; các catalog hiển thị thành đồ thị.

🟡 Bảo vệ dữ liệu cá nhân

Mức phân loạiVí dụKiểm soát tối thiểu
Công khaiTỷ giá công bốKhông
Nội bộDoanh thu theo vùngĐăng nhập nội bộ
MậtCông nợ, điểm tín dụng từng đại lýPhân quyền theo vai trò, theo dòng; ghi nhật ký
Dữ liệu cá nhân / nhạy cảmHọ tên, CCCD, số điện thoại chủ đại lý hộ cá thể; tài khoản ngân hàng nhân viênBút danh hoá trong phân tích, che khi hiển thị, giới hạn mục đích, mã hoá
-- Bút danh hoá: phân tích vẫn join được nhưng không thấy giá trị thật
-- 'salt' là bí mật lưu trong trình quản lý bí mật, KHÔNG để trong code
-- DuckDB: SET VARIABLE salt = '<nạp từ trình quản lý bí mật lúc chạy>';
SELECT sha256(concat(bank_account, getvariable('salt'))) AS bank_token, employee_id, department
FROM employees;

-- Che khi hiển thị: chỉ để 4 số cuối
SELECT employee_id, concat('********', right(CAST(bank_account AS VARCHAR), 4)) AS bank_account_masked
FROM employees;

Ở module 14, phép so khớp tài khoản ngân hàng NCC với nhân viên vẫn làm được trên bank_token, nên chuyên viên phát hiện gian lận không cần thấy số tài khoản thật.

Pháp luật Việt Nam

Việt Nam có Nghị định 13/2023/NĐ-CP về bảo vệ dữ liệu cá nhân và Luật Bảo vệ dữ liệu cá nhân được Quốc hội thông qua năm 2025 (có hiệu lực từ 01/01/2026). Các yêu cầu then chốt: có căn cứ/ sự đồng ý khi xử lý, đúng mục đích, tối thiểu hoá, bảo đảm an ninh, đánh giá tác động xử lý dữ liệu, thông báo khi vi phạm. Khoá học không thay thế tư vấn pháp lý: hãy đối chiếu văn bản hiện hành và văn bản hướng dẫn với bộ phận pháp chế.

🟡 Phân quyền: theo vai trò và theo dòng

-- PostgreSQL: vai trò + bảo mật cấp dòng theo vùng
CREATE ROLE risk_analyst;  CREATE ROLE sales_north;  CREATE ROLE auditor;

GRANT SELECT ON gold.fct_ar_snapshot TO risk_analyst, sales_north, auditor;

-- Giả sử bảng có cột region (phi chuẩn hoá từ dim_dealer để lọc nhanh)
ALTER TABLE gold.fct_ar_snapshot ENABLE ROW LEVEL SECURITY;

-- Bảng ánh xạ người dùng -> vùng được xem
CREATE TABLE sec.user_region (username TEXT, region TEXT);

CREATE POLICY region_filter ON gold.fct_ar_snapshot
  FOR SELECT
  USING (
    pg_has_role(current_user, 'risk_analyst', 'member')
    OR pg_has_role(current_user, 'auditor', 'member')
    OR region IN (SELECT region FROM sec.user_region WHERE username = current_user)
  );
-- Kết quả: trưởng vùng Bắc chỉ thấy đại lý miền Bắc; phòng rủi ro và kiểm toán thấy tất cả
  • Nguyên tắc đặc quyền tối thiểu: cấp cho vai trò, không cấp cho cá nhân; mặc định từ chối.
  • Tách quyền: người viết pipeline không tự phê duyệt quyền truy cập dữ liệu mật cho chính mình.
  • Rà soát quyền định kỳ (hằng quý): ai đã nghỉ, ai chuyển bộ phận.

🔴 Nhật ký kiểm toán và lưu giữ

CREATE TABLE audit.access_log (
  event_time   TIMESTAMP NOT NULL,
  username     TEXT      NOT NULL,
  action       TEXT      NOT NULL,      -- SELECT, EXPORT, GRANT, UPDATE_LIMIT
  object_name  TEXT      NOT NULL,
  row_count    BIGINT,
  client_ip    INET,
  query_hash   TEXT
);  -- chỉ cho phép INSERT (append-only); không ai được UPDATE/DELETE, kể cả nhóm dữ liệu
Dữ liệuThời gian lưu gợi ý (tham khảo)Lý do
Bronze thôTheo chính sách nội bộ (VD 2–5 năm)Tái xử lý, điều tra
Gold báo cáo + ảnh chụpTheo yêu cầu kế toán/ kiểm toánTái lập báo cáo đã gửi
Nhật ký truy cậpTối thiểu 1–2 nămĐiều tra sự cố an ninh
Dữ liệu cá nhânChỉ trong thời gian cần cho mục đíchTối thiểu hoá theo quy định bảo vệ dữ liệu cá nhân
Mâu thuẫn cần cân bằng

Kế toán muốn giữ lâu, quy định bảo vệ dữ liệu cá nhân muốn giữ ngắn. Giải pháp thường dùng: giữ số liệu tài chính lâu nhưng bút danh hoá phần định danh cá nhân sau khi hết mục đích. Thời hạn cụ thể do pháp chế và kế toán trưởng quyết định.

⚠️ Sai lầm thường mắc

❌ Coi quản trị dữ liệu là dự án giấy tờ

Vì sao nguy hiểm: Tài liệu viết xong không ai dùng.

Cách làm đúng: Gắn vào công cụ hằng ngày: dbt docs, catalog, review quyền trong quy trình.

❌ Cấp quyền cho cá nhân

Vì sao nguy hiểm: Không kiểm soát được khi người đó chuyển việc.

Cách làm đúng: Cấp theo vai trò, rà soát định kỳ.

❌ Dùng dữ liệu cá nhân thật trong môi trường dev

Vì sao nguy hiểm: Rủi ro lộ dữ liệu cao.

Cách làm đúng: Dữ liệu giả/ bút danh hoá cho dev, test.

❌ Băm không có muối

Vì sao nguy hiểm: Số tài khoản/ CCCD băm thẳng dễ bị dò lại.

Cách làm đúng: Băm có muối bí mật hoặc tokenization.

❌ Không có lineage

Vì sao nguy hiểm: Thay đổi nguồn làm hỏng báo cáo mà không biết trước.

Cách làm đúng: dbt lineage + OpenLineage, phân tích tác động trước khi đổi.

❌ Nhóm dữ liệu sửa được nhật ký kiểm toán

Vì sao nguy hiểm: Nhật ký mất giá trị bằng chứng.

Cách làm đúng: Append-only, tách quyền quản trị.

📌 Cần nhớ
  • Mỗi tập dữ liệu có owner, steward, custodian.
  • Danh mục + lineage giúp tin số và phân tích tác động.
  • Phân loại dữ liệu; bút danh hoá (có muối) và che khi hiển thị.
  • Đặc quyền tối thiểu: RBAC + row-level security, rà soát định kỳ.
  • Nhật ký kiểm toán append-only; lưu giữ cân bằng giữa kế toán và bảo vệ dữ liệu cá nhân.

🧩 Tự kiểm tra (bấm để xem đáp án)

1. Ai phê duyệt quyền truy cập dữ liệu công nợ chi tiết?
A. Bất kỳ data engineer nào
B. Data owner (VD: GĐ Tài chính)
C. Người dùng tự cấp
Đáp án: B. Owner chịu trách nhiệm quyền truy cập.
2. Trưởng vùng Bắc chỉ được xem đại lý miền Bắc trên cùng một bảng. Dùng:
A. Copy bảng cho từng vùng
B. Row-level security
C. Gửi file Excel
Đáp án: B. Một bảng, lọc theo người dùng.
3. Vì sao băm số tài khoản cần muối bí mật?
A. Cho nhanh
B. Không gian giá trị nhỏ, băm thẳng có thể dò lại
C. Để dễ đọc
Đáp án: B. Chống tấn công từ điển.
4. Lineage giúp trả lời câu hỏi nào?
A. Đổi cột due_date thì báo cáo nào bị ảnh hưởng
B. Ai là CEO
C. Server có bao nhiêu RAM
Đáp án: A. Phân tích tác động.
5. Nhật ký kiểm toán nên được thiết kế:
A. Ai cũng sửa được
B. Append-only, tách quyền quản trị
C. Xoá hằng tuần
Đáp án: B. Giữ giá trị bằng chứng.

🏋️ Bài tập thực hành

Bộ chính sách quản trị cho 5 bảng Gold

Với 5 bảng Gold của An Phát (fct_ar_snapshot, kri_daily, credit_features, cash_forecast_13w, payment_alerts), lập bảng: owner, steward, độ nhạy, vai trò được đọc, có cần row-level security không, cột cần che/ bút danh hoá, thời gian lưu. Viết SQL tạo vai trò và một policy RLS.

💡 Gợi ý lời giải
payment_alerts chứa mã nhân viên bị nghi vấn: độ nhạy cao nhất, chỉ kiểm toán nội bộ và kế toán trưởng được xem; tránh để nhân viên bị nghi vấn có quyền xem cảnh báo về chính mình. credit_features dùng cho mô hình: data scientist cần đọc nhưng dealer_id nên ở dạng token.

📚 Tài nguyên học tập

✅ Tự đánh giá hoàn thành

  • Phân vai owner/steward/custodian
  • Viết mục catalog cho một bảng Gold
  • Vẽ lineage một KRI
  • Viết SQL bút danh hoá và che
  • Viết policy row-level security
Lưu ý: đây là tài liệu giáo dục. Công ty An Phát Distribution, đại lý, nhà cung cấp, nhân viên và mọi số liệu đều là giả định do code sinh ra, không đại diện cho doanh nghiệp thật. Phương pháp (scorecard, ECL, VaR, Benford...) được đơn giản hoá cho mục đích học; khi áp dụng thật, hãy đối chiếu chuẩn mực kế toán (VAS/ IFRS 9), quy định pháp luật hiện hành (ví dụ về bảo vệ dữ liệu cá nhân) và chính sách nội bộ của tổ chức bạn.