Nội dung khóa học

• Buổi 1: Tổng quan về Big Data
Chủ đề:

Big data

Mục tiêu:

-Học viên nắm được các khái niệm cơ bản, các thuật ngữ trong big data cũng như Data engineer
-Quy trình làm việc của một Data engineer
-Tìm hiểu một số mô hình hệ thống dữ liệu phổ biến ở Việt Nam

Ứng dụng:

- Big Data là gì?
- Tác động của Big Data.
- Các khái niệm: xử lý song song, mở rộng quy mô và tính song song dữ liệu.
- Các công cụ Big Data phổ biến.
- Vượt qua sự cường điệu về Big Data.
- Các trường hợp sử dụng Big Data.
- Quan điểm về Big Data.

Case Study:

Thực hành: Phân tích tác động của Big Data đến ngành tài chính hoặc thương mại điện tử (ví dụ: quản lý rủi ro tín dụng của ngân hàng).

• Buổi 2: Hệ sinh thái Hadoop
Chủ đề:

Hadoop

Mục tiêu:

- Học viên tìm hiểu về Hadoop
- Biết cấp lưu trữ xử lý dữ liệu trên Hadoop

Ứng dụng:

- Tổng quan hệ sinh thái Hadoop: HDFS, Hive, HBase, Spark.
- Hiểu cách hoạt động của MapReduce.
- Làm việc với HDFS: lưu trữ và truy xuất dữ liệu.
- Làm việc với HBase: quản lý bảng dữ liệu lớn.

Case Study:

Thực hành: Xây dựng và chạy một ứng dụng MapReduce để xử lý dữ liệu logs từ một website thương mại điện tử: shoppee, tiki..

• Buổi 3: Apache Spark
Chủ đề:

Apache Spark

Mục tiêu:

- học viên nắm được cách xử lý dữ liệu rất lớn với Apache Spark

Ứng dụng:

- Tại sao nên sử dụng Apache Spark?
- Kiến thức cơ bản về lập trình hàm.
- Lập trình song song với RDDs (Resilient Distributed Datasets).
- Phân phối dữ liệu song song trong Spark.

Case Study:

Thực hành: Sử dụng PySpark để xử lý và phân tích dữ liệu giao dịch bán hàng của một công ty bán lẻ lớn (case: dữ liệu khách hàng từ chuỗi siêu thị).

• Buổi 4: DataFrames và SparkSQL
Chủ đề:

SparkSQL

Mục tiêu:

-Học viên nắm được các cú pháp của SparkSQL
-ứng dụng SparkSQL vào xử lý try vấn dữ liệu

Ứng dụng:

- Giới thiệu về DataFrames và SparkSQL.
- RDDs trong lập trình song song và Spark.
- Catalyst và Tungsten.
- Quy trình ETL với DataFrames.
- Ứng dụng thực tế của SparkSQL.

Case Study:

Thực hành: Sử dụng DataFrames để thực hiện ETL dữ liệu khách hàng từ một hệ thống CRM lớn. Truy vấn dữ liệu khách hàng từ một dataset lớn bằng SparkSQL (case: phân tích dữ liệu khách hàng của một ngân hàng).

• Buổi 5: Cấu hình môi trường và tối ưu hóa Spark
Chủ đề:

pySpark

Mục tiêu:

- Tìm hiểu kiến trúc apache spark
- tối ưu hóa môi trường trong spark

Ứng dụng:

- Kiến trúc Apache Spark và các chế độ cụm.
- Cách chạy ứng dụng Apache Spark và cài đặt cấu hình.
- Giới thiệu Spark trên Kubernetes.
- Giao diện người dùng Apache Spark.
- Giám sát và gỡ lỗi các công việc Spark.
- Hiểu về tài nguyên bộ nhớ và xử lý.

Case Study:

Thực hành: Cấu hình và chạy Spark trên Kubernetes để xử lý một dataset lớn từ cảm biến IoT. Giám sát hiệu suất ứng dụng Spark phân tích logs bán hàng online

• Buổi 6: Tổng quan về Data Warehouses và Data Lakes
Chủ đề:

Data Warehouses và Data Lakes

Mục tiêu:

- Học viên tìm hiểu về Data Warehouses và Data Lakes
- Nắm được kiến trúc Data Warehouses và Data Lakes

Ứng dụng:

- Tổng quan về Data Warehouse, Data Marts và Data Lakes.
- Các hệ thống Data Warehouse phổ biến.
- Cách lựa chọn hệ thống Data Warehouse.
- Các khái niệm cơ bản về Data Lakes.

Case Study:

Thực hành: Thiết kế kiến trúc Data Warehouse cho một doanh nghiệp thương mại điện tử (case: xây dựng Data Warehouse cho một nền tảng như Lazada).

• Buổi 7:Thiết kế và triển khai Data Warehouse
Chủ đề:

Data Warehouse

Mục tiêu:

-Học viên nắm được cách triển khai một Data Warehouse

Ứng dụng:

- Kiến trúc Data Warehouse.
- Mô hình hóa dữ liệu: Star Schema, Snowflake Schema.
- Khu vực trung gian (Staging Areas) và xác minh chất lượng dữ liệu.
- Nạp dữ liệu và truy vấn Data Warehouse.

Case Study:

Thực hành: Xây dựng một Star Schema cho hệ thống bán lẻ. Nạp dữ liệu vào Data Warehouse từ một hệ thống nguồn (case: dữ liệu bán hàng của siêu thị).

• Buổi 8: Phân tích dữ liệu với Power BI
Chủ đề:

Power Bi

Mục tiêu:

-Học viên nắm được sử dụng power Bi để xây dựng báo cáo về hệ thống

Ứng dụng:

- Giới thiệu công cụ BI và phân tích dữ liệu (Power BI).
- Tạo báo cáo và bảng điều khiển.

Case Study:

Thực hành: Sử dụng Power BI để tạo một báo cáo động về báo cáo hiệu suất hoạt động của 1 hệ thống dữ liệu phân tích dữ liệu bán hàng và hiển thị các chỉ số KPI cho doanh nghiệp bán lẻ (case: chuỗi siêu thị).

• Buổi 9: Spark ML và Machine Learning
Chủ đề:

Spark ML

Mục tiêu:

- Nắm được về cú pháp Spark ML
- các thuật toán ML cơ bản

Ứng dụng:

- Giới thiệu Spark ML.
- Các kỹ thuật: hồi quy, phân loại, phân cụm.

Case Study:

Thực hành: Xây dựng một mô hình phân loại khách hàng dựa trên dữ liệu hành vi mua sắm (case: phân loại khách hàng VIP của công ty bán lẻ lớn: AMAZONE).

• Buổi 10: Dự án cuối khóa
Chủ đề:

Dự án cuối khóa

Mục tiêu:

Hoàn thành Dự án cuối khóa

Ứng dụng:

- Ôn tập và tổng quan dự án.
- Hướng dẫn làm bài tập cuối khóa

Case Study:

Thực hành: Thực hiện dự án hoàn chỉnh: xây dựng hệ thống ETL với Spark, phân tích dữ liệu giao dịch khách hàng, triển khai báo cáo trên Power BI với các chỉ số KPI từ một doanh nghiệp tài chính hoặc bán lẻ.