1️⃣ 🌱 Data Fabric là gì và vì sao nó khác Data Warehouse

Data Warehouse tập trung dữ liệu vào một nơi duy nhất.
Data Fabric kết nối dữ liệu ở mọi nơi — on-prem, cloud, SaaS, streaming — bằng một mạng dữ liệu linh hoạt.

🎯 Tư duy cốt lõi:

Thay vì ép dữ liệu “về một chỗ”, Data Fabric tạo lớp kết nối thông minh giúp truy cập, quản trị và phân tích xuyên hệ thống.

💡 Ví dụ:
Một câu hỏi từ CEO:

“Doanh thu hôm nay thế nào?”
→ Data Fabric sẽ tự hợp nhất dữ liệu từ ERP, CRM, Shopee API, BigQuery — mà không cần ETL riêng lẻ cho từng nguồn.

2️⃣ 🧠 Thành phần cốt lõi của Data Fabric

🧩 Nói dễ hiểu:

Data Fabric là nơi “mọi dữ liệu nói cùng một ngôn ngữ”.

3️⃣ ⚙️ Luồng vận hành chuẩn – từ nguồn đến insight realtime

🎯 Pipeline 5 bước:

[Source Systems] 
     ↓
1️⃣ Ingestion (Airbyte / Kafka)
     ↓
2️⃣ Transformation (dbt / Spark)
     ↓
3️⃣ Metadata + Lineage (DataHub)
     ↓
4️⃣ Orchestration (Airflow)
     ↓
5️⃣ Serving Layer (BigQuery / API / Dashboard)

💡 Điểm mới của 2030:
Thêm Realtime Stream Layer – nơi dữ liệu cập nhật liên tục chứ không chờ batch 24h.

📘 Công nghệ trending:
Apache Flink, Delta Live Tables, Snowpipe Streaming, BigQuery Data Stream.

4️⃣ 🧩 Metadata & Lineage – trái tim của Data Fabric

💬 Tư duy mới: dữ liệu không chỉ cần lưu trữ, mà cần được hiểu.

📘 Metadata có 3 lớp:
1️⃣ Technical Metadata: schema, column, type, lineage
2️⃣ Business Metadata: định nghĩa KPI, owner, domain
3️⃣ Operational Metadata: tần suất cập nhật, trạng thái pipeline

💡 Ví dụ:
Từ dashboard KPI → click vào “Revenue” → xem được:

bảng nguồn: sales_fact
last updated: 07:15
owner: @data.sales@mci.vn
quality: 99.4% valid

🧰 Tool: DataHub + dbt docs + OpenMetadata.

5️⃣ 🔄 Realtime Streaming – chìa khóa vận hành doanh nghiệp 24/7

Batch = hôm qua.
Stream = ngay bây giờ.

🎯 Tình huống thực tế:

Khi học viên đăng ký khóa học → event được gửi qua Kafka → cập nhật ngay dashboard marketing → AI Agent kích hoạt workflow chào mừng.

💡 Tư duy học:

• Làm chủ Kafka / Flink / PubSub.

• Xây streaming pipeline + event schema.

• Kết nối real-time analytics (ClickHouse / BigQuery Streaming).

📘 Mini project:
“Student Registration Stream” – dữ liệu realtime từ website → dashboard → n8n tự gửi email welcome.

6️⃣ 🔐 Data Governance – đảm bảo an toàn khi mở dữ liệu

Khi mọi hệ thống kết nối với nhau, quản trị trở thành tối quan trọng.

🎯 Checklist cần nắm:

• Data Classification: PII, confidential, public.

• Role-Based Access Control: từng user chỉ thấy dữ liệu cần thiết.

• Data Quality & Policy: quy tắc validation, refresh schedule.

• Audit & Logging: mọi truy cập đều được ghi lại.

🧰 Tool gợi ý: Apache Ranger, Great Expectations, Soda, Collibra.

💡 Best Practice:

“Open data, not open chaos.”

7️⃣ ☁️ Triển khai thực tế – Data Fabric trên Cloud

🎯 Kiến trúc mẫu trên GCP:

Airbyte → Cloud Storage (Raw) 
→ BigQuery (Warehouse)
→ dbt (Transform)
→ DataHub (Catalog)
→ Kafka (Streaming)
→ Looker / Chatbot / Agent (Serving)

💡 Alternative AWS:
Glue + Redshift + Lake Formation + MSK + SageMaker Data Wrangler.

🧠 Điểm nhấn:
Tất cả pipeline đều observable + versioned + governed.

8️⃣ 🌟 Insight tổng kết

✅ Data Fabric là nền tảng hạ tầng của AI Stack.
✅ Nó hợp nhất batch + stream + metadata thành một kiến trúc realtime.
✅ Khi doanh nghiệp có Data Fabric, AI có thể học và phản ứng tức thời.
✅ Đây là bước đầu tiên để xây dựng AI OS cho doanh nghiệp.

“Muốn có AI thông minh – phải có dữ liệu chảy tự do, có kiểm soát.”

📞 0352.433.233 | 🌐 mcivietnam.com
📺 youtube.com/@HocVienMCI
👥 facebook.com/groups/dataaivn