1️⃣ 🌱 Tư duy cốt lõi – Tại sao cần Governance & Observability?

• Sự thật phũ: 70% lỗi dashboard đến từ dữ liệu sai (null, trễ, lệch format).

• Governance: quy định ai sở hữu dữ liệu gì, dùng thế nào, tiêu chuẩn là gì.

• Observability: đo – theo dõi – cảnh báo khi dữ liệu/pipe có vấn đề.

🎯 Mục tiêu học: Hiểu “luật” (policy, ownership, tiêu chuẩn chất lượng) + Biết “đo” (SLA, SLI, test, alert).

2️⃣ 🧩 Khung Governance tối thiểu (Minimal Viable Governance)

Vai trò:

• Data Owner: chịu trách nhiệm business cho tập dữ liệu.

• Data Steward: quản lý metadata, tiêu chuẩn chất lượng, định nghĩa KPI.

• Data Custodian/Engineer: vận hành hạ tầng, quyền truy cập.

Tài liệu bắt buộc cho mỗi dataset (1 trang/1 nguồn):

• Business Definition: định nghĩa chỉ số/KPI (ví dụ “Doanh thu = …”).

• ACL/Access: ai xem/ai sửa.

• PII Class: có PII không? cách masking.

• SLA Cập nhật: ví dụ cập nhật trước 07:30 UTC+7 hằng ngày.

• Owner & Contact: tên + kênh liên hệ khi có sự cố.

Mini task: Tạo mẫu “Data Contract” (YAML/Markdown) cho bảng orders.

3️⃣ 📏 Data Quality Framework – 6 tiêu chí & cách test

6 Dimension “cơ bản mà đắt giá”:

1. Accuracy – đúng với thực tế

2. Completeness – đủ dữ liệu (không thiếu)

3. Consistency – đồng nhất giữa nguồn

4. Timeliness – kịp thời, đúng hạn

5. Uniqueness – không trùng

6. Validity – đúng kiểu/dải giá trị

Cách biến thành test thực tế (dbt/Great Expectations/Soda):

• Completeness: revenue NOT NULL.

• Uniqueness: order_id unique.

• Validity: country ∈ {VN, US, …}.

• Timeliness: bảng được refresh < 90 phút.

• Consistency: orders.amount_sum = sum(payments.amount) trong ±0.5%.

Bài tập: Viết 5 test quality cho bảng fact_sales.

4️⃣ 🔭 Observability 5 trụ cột – đo cái gì và đo thế nào

1. Freshness: dữ liệu có đến đúng giờ?

2. Volume: record tăng/giảm bất thường?

3. Distribution: phân phối số liệu lệch mạnh?

4. Schema: cột mới/xóa cột/breaking change?

5. Lineage: bảng upstream lỗi → downstream nào “toang”?

Triển khai nhanh:

• dbt tests + sources freshness để check giờ cập nhật.

• Great Expectations/Soda đo completeness/validity/distribution.

• DataHub/OpenMetadata để xem lineage & schema change.

• Kết nối alert → Slack/Email/Webhook.

5️⃣ 🧰 Bộ công cụ “đủ xài” cho team vừa & nhỏ (build nhanh)

• Metadata & Lineage: DataHub (open-source) / OpenMetadata.

• Quality Test: Great Expectations hoặc Soda Core.

• Transform & Test: dbt (dbt test, sources freshness).

• Orchestration: Airflow/Prefect (callback + retry + SLA).

• Catalog: DataHub UI làm “Google cho dữ liệu nội bộ”.

• Alerting: Slack webhook, Email, PagerDuty (nếu cần).

Kết nối chuẩn (flow gợi ý):
Airbyte → Lake → dbt run → dbt test → GE/Soda checks → DataHub lineage → Airflow alert

6️⃣ 📚 Mẫu thực hành – từ Data Contract đến Runbook sự cố

A) Data Contract (rút gọn – Markdown/YAML)

dataset: mart.fact_orders
owner: sales_analytics@mci.vn
sla_update: "07:30 Asia/Bangkok daily"
schema:
  order_id: string, unique, not_null
  revenue: numeric >= 0, not_null
  order_date: date, not_null
pii: false
downstream: [dashboards/sales_daily, ml/churn_model]

B) dbt tests (ví dụ)

• unique: order_id

• not_null: [order_id, order_date, revenue]

• accepted_values: country in ['VN','US','SG']

• sources freshness: max_delay_in_minutes: 90

C) Great Expectations (ý tưởng check)

• expect_column_values_to_not_be_null('revenue')

• expect_column_values_to_be_between('discount', 0, 0.8)

D) Runbook sự cố (template 6 bước)

1. Phát hiện (alert link + ảnh DAG)

2. Phạm vi ảnh hưởng (dataset, dashboard nào)

3. Chẩn đoán nhanh (upstream/breaking change?)

4. Cách khôi phục (rerun step X, hotfix rule Y)

5. Phòng ngừa tái diễn (thêm test/guardrail gì)

6. Ghi chú & người chịu trách nhiệm

7️⃣ 🧭 Kế hoạch triển khai 90 ngày (SME-ready)

Tháng 1 – “Dựng khung”

• Chọn 10 bảng quan trọng → viết Data Contract.

• Cài dbt test + sources freshness.

• Dùng DataHub crawl metadata + lineage.

Tháng 2 – “Đo & cảnh báo”

• Thêm Great Expectations/Soda cho 6 dimension.

• Bật alert Slack (on-failure, on-freshness-miss).

• Viết Runbook + thống nhất kênh #data-alert.

Tháng 3 – “Chuẩn hóa & scale”

• Review quyền truy cập (RBAC), masking PII.

• Áp dụng change management (schema versioning, contract review).

• Báo cáo SLA/SLI hàng tuần (tỷ lệ pass test, thời gian cập nhật).

8️⃣ 🌟 Checklist cuối & Insight

Checklist “đủ xài”:

• Mỗi dataset có owner + contract + SLA

• dbt test + freshness pass > 98%

• GE/Soda check 6 dimension cho bảng quan trọng

• Alert đến đúng kênh + có Runbook

• DataHub hiển thị lineage đầy đủ

Insight chốt hạ:

• Governance không phải giấy tờ, mà là cơ chế ra quyết định.

• Observability không phải dashboard, mà là cảm biến & còi báo động cho dữ liệu.

• Pipeline đáng tin → AI đáng tin. Không có lối tắt.

📞 0352.433.233 | 🌐 mcivietnam.com
📺 youtube.com/@HocVienMCI
👥 facebook.com/groups/dataaivn