1️⃣ Data Observability Là Gì? 👀

Data Observability = khả năng quan sát, phát hiện, cảnh báo và truy ngược lỗi dữ liệu trong toàn bộ hệ thống.

Khác với Monitoring (theo dõi vài chỉ số cơ bản), Observability cung cấp cái nhìn sâu rộng như:

• 📅 Freshness – dữ liệu có được cập nhật đúng lịch không?

• 📊 Volume – có thiếu dòng hoặc tăng bất thường không?

• 🧠 Schema – có field mới, đổi kiểu dữ liệu bất ngờ không?

• 🌀 Distribution / Drift – phân phối dữ liệu có bị lệch so với baseline không?

📌 Mục tiêu cuối cùng: phát hiện lỗi tự động & sớm, thay vì đợi người dùng phản ánh “sao dashboard kỳ vậy?” 😬

2️⃣ 4 Trụ Cột Chính Của Data Observability 🧱

📌 4 trụ này là nền để dựng bất kỳ hệ thống quan sát dữ liệu nào vững chắc 🧠

3️⃣ Công Cụ Phổ Biến 🧰

✨ Open-source / Self-hosted

• 🟦 Great Expectations – rule-based + profiling mạnh mẽ

• 🟨 Soda Core – dễ tích hợp với CI/CD, alert tốt

• 🧠 OpenLineage + Marquez – lineage + observability cho pipelines

☁️ Managed / SaaS

• ☁️ Monte Carlo, Bigeye, Databand, Anomalo
  → mạnh về drift detection, ML-based anomaly, lineage tự động

📌 Với team nhỏ, GE + Soda + Airflow là combo quá ổn; với enterprise thì SaaS giúp tiết kiệm thời gian build từ đầu.

4️⃣ Drift Detection & Anomaly 🔎

Drift = khi phân phối dữ liệu thay đổi so với baseline → mô hình học sai, dashboard lệch insight 🌀

Ví dụ:

• baseline: 80% đơn hàng từ Việt Nam

• hôm nay: chỉ còn 35% 😨

Kỹ thuật phát hiện:

• 📈 Statistical test (KS test, Chi-square…)

• 🧠 Window-based monitoring – so sánh N ngày gần nhất vs baseline

• 🚨 Alert khi lệch quá threshold (VD: >20%)

# pseudo drift check
ks_stat, p_value = ks_test(current_data['country'], baseline['country'])

if p_value < 0.01:
    alert("Drift detected in 'country' column")

📌 Drift detection đặc biệt quan trọng với mô hình AI — vì chỉ cần input khác đi, model có thể “phát ngôn linh tinh” 😅

5️⃣ Lineage & Root Cause 🧭

Khi phát hiện lỗi → điều đầu tiên là truy ngược nguồn gốc.
👉 Đây là lúc Data Lineage tỏa sáng ✨

Lineage thể hiện dòng chảy dữ liệu từ nguồn → bảng trung gian → data mart → dashboard/model.

📌 Khi có lỗi ở bảng cuối, lineage giúp bạn biết:

• Lỗi phát sinh từ bảng nào?

• Ảnh hưởng bao nhiêu pipeline?

• Ai là owner chịu trách nhiệm?

Công cụ như OpenLineage, Marquez, hoặc tích hợp lineage trong dbt docs đều rất hữu dụng.

6️⃣ Observability Workflow 🚦

1️⃣ Thiết lập các rule baseline (freshness, volume, schema, drift)
2️⃣ Chạy check định kỳ trong orchestrator (Airflow/Prefect)
3️⃣ Log kết quả & gửi alert (Slack, Email, Grafana…)
4️⃣ Điều tra qua lineage → xác định root cause
5️⃣ Fix + cập nhật rule nếu cần → continuous improvement 🔁

7️⃣ Case Study – Drift “Cứu” Mô Hình 📊

Bối cảnh:
Team ML deploy mô hình churn → sau 1 tuần, kết quả dự báo lệch 20% 😨
Nguyên nhân: bảng customer_country bị ingest thiếu dữ liệu do upstream schema đổi, nhưng không ai phát hiện 😬

Triển khai Observability:

• Rule freshness + volume cho bảng customer_country

• Schema check để phát hiện field mới

• Drift detection cho phân phối country

📌 Kết quả: pipeline tự động alert Slack sau 5 phút lỗi xuất hiện → rollback model kịp thời 🚨

8️⃣ Best Practices 🧠

• 🧱 Bắt đầu với 4 trụ cột cơ bản, đừng tham tất cả một lúc

• 📝 Document rõ rule & threshold để tránh spam alert

• 🧠 Kết hợp Observability với DataOps → CI/CD cho rule

• 🔔 Alert đúng người (owner bảng, chứ không phải tất cả team 😅)

• 📊 Xây dashboard theo dõi drift / quality theo thời gian

📝 Kết Luận

Data Observability nâng cao giúp hệ thống Data chuyển từ:
❌ “Chạy được là mừng” → ✅ “Tự giám sát, cảnh báo & phục hồi nhanh”

• 🧠 Phát hiện lỗi trước khi business bị ảnh hưởng

• 🌀 Theo dõi drift, schema change, freshness, volume

• 🧭 Lineage truy ngược gốc lỗi chuẩn chỉnh

• 🚨 Alert chính xác, giúp team phản ứng nhanh

👉 Làm chủ module này, bạn đã bước sang level Data Platform “pro” thực thụ 🫡⚙️

📞 Hotline: 0352.433.233
🌐 mcivietnam.com
📺 youtube.com/@HocVienMCI
👥 facebook.com/groups/dataaivn