1️⃣ Incremental Load – Chỉ Lấy Dữ Liệu Mới 🧭

📌 Nguyên lý

Thay vì load lại toàn bộ bảng mỗi lần ETL, Incremental Load chỉ lấy những bản ghi mới hoặc có thay đổi, dựa vào các cột như last_updated, modified_at, created_at.
Pipeline sẽ lưu checkpoint (ví dụ: giá trị lớn nhất của updated_at ở lần chạy trước), sau đó chỉ query những dòng có giá trị lớn hơn checkpoint này.

⚡ Ưu điểm

• 🚀 Tiết kiệm compute — giảm mạnh khối lượng xử lý

• 💸 Tiết kiệm chi phí lưu trữ, đặc biệt khi mỗi ngày chỉ thay đổi <10% dữ liệu

• 🔒 Không gây tải nặng lên hệ thống nguồn, không cần full scan bảng

💡 Use case

• ETL hằng ngày từ bảng giao dịch ngân hàng 🏦

• Đồng bộ audit log / web log theo chu kỳ

• Thu thập dữ liệu IoT định kỳ (sensor readings) 🌡️

👉 Ví dụ thực tế:
Bảng transactions có 500 triệu dòng, mỗi ngày thêm 2 triệu.
→ Incremental chỉ load 2 triệu → tiết kiệm tới 99% tài nguyên 🔥

2️⃣ CDC (Change Data Capture) – Theo Dõi Sự Kiện Thay Đổi 📡

📌 Nguyên lý

CDC không query bảng, mà nghe trực tiếp transaction log của database (binlog, WAL, redo log…).
→ Ghi nhận INSERT / UPDATE / DELETE theo thời gian thực
→ Publish sự kiện vào message queue như Kafka, Pub/Sub

⚡ Ưu điểm

• ⏱️ Gần real-time: dữ liệu thay đổi vài giây sau đã có ở Data Lake/Warehouse

• ✅ Không bỏ sót record, kể cả DELETE/UPDATE

• 🚫 Không cần full scan, giảm tải tối đa cho DB nguồn

💡 Use case

• Đồng bộ dữ liệu giữa nhiều vùng địa lý (multi-region replication) 🌍

• Streaming dữ liệu vào Kafka để xử lý fraud / gợi ý real-time

• Update cache Redis/ElasticSearch ngay khi DB đổi

🔥 Công cụ hot 2025:

• 🧰 Debezium (open-source CDC cho Kafka)

• 🏢 Oracle GoldenGate (enterprise CDC)

• 🌐 StreamSets, Hevo

👉 Ví dụ thực tế:
Khi đơn hàng đổi từ PENDING → SHIPPED, MySQL ghi log → Debezium đọc log → push Kafka → update Dashboard trong vài giây ⚡

3️⃣ Kiến Trúc Pipeline Kết Hợp Incremental + CDC 🏗️

Một kiến trúc chuẩn hiện đại:

• 🧱 Source: MySQL, PostgreSQL, Oracle, MongoDB…

• 🔌 CDC Connector: Debezium, GoldenGate, Fivetran CDC

• 📡 Message Queue: Kafka, Pub/Sub, Kinesis

• 🧠 Transformation: dbt, Spark, Flink → xử lý Incremental & logic

• 🏪 Data Warehouse: BigQuery, Snowflake, Redshift

• 🧭 Orchestration: Airflow, Dagster, Prefect

💡 Kiến trúc hybrid

• Giao dịch hằng ngày → load Incremental vào DWH

• Sự kiện real-time (INSERT/UPDATE/DELETE) → đẩy CDC qua Kafka để update bảng nhanh
  👉 Vừa có batch pipeline cho báo cáo định kỳ, vừa có streaming pipeline cho near real-time 📈

4️⃣ Best Practices 📝

✅ Xác định cột chuẩn → updated_at hoặc primary key + sequence number
✅ Tách batch & realtime pipeline → tránh nghẽn khi traffic tăng
✅ Data Quality Check → record count, null check, schema drift
✅ Alert & Monitoring → Prometheus + Grafana, Airflow alert khi delay
✅ Rollback Strategy → luôn có kịch bản replay log khi lỗi
✅ Partition & Compaction → giảm chi phí Kafka

💡 Insight: Incremental cho batch + CDC cho streaming = công thức pipeline “chuẩn enterprise”.
→ Vừa tiết kiệm chi phí, vừa cập nhật dữ liệu nhanh, hỗ trợ tốt cho BI, phân tích hành vi khách hàng & AI/ML 🧠🚀

📞 Hotline: 0352.433.233
🌐 mcivietnam.com
📺 youtube.com/@HocVienMCI
👥 facebook.com/groups/dataaivn