Big Data with Hadoop and Spark

Lịch học dự kiến diễn ra

Lớp:	DWDL29SA7L1 LEVEL 1
Địa điểm:	13 Cao Thắng, Quận 3, HCM
Thời gian học:	Thứ 2 - 19H00 - 21H30 & Thứ 6 - 19H00 - 21H30
Lịch khai giảng:	Aug. 5, 2024
Thời gian kết thúc:	Sept. 6, 2024
Giảng viên dự kiến:	None

DWDL level 1

Đây là khóa học Data Lake và Data Warehouse từ cơ bản, giúp cho học viên xây dựng nền tảng tư duy dữ liệu, nắm vững các công cụ và công nghệ quan trọng trong việc xử lý, quản lý và phân tích dữ liệu lớn, đồng thời phát triển kỹ năng thực hành cần thiết để triển khai các giải pháp dữ liệu hiệu quả.

Hình thức đào tạo online và offline trong thời lượng 9 buổi học, mỗi buổi học từ 2.5 - 3 tiếng.

Tên khóa học: Big Data with Hadoop and Spark (DWDL Level 1)

Cơ hội nghề nghiệp nổi bật sau khi tốt nghiệp chương trình đào tạo này là các vị trí hot sau:
• Data Analyst
• Data Engineer
• SQL Developer
• ETL Developer
• Data Analyst
• Big Data Engineer
• Cloud Data Engineer
• BI Developer
• Machine Learning Engineer

4.9 (351)

Đối tượng

Các bạn đang học tập và làm việc trong lĩnh vực Data, Software Engineer, có định hướng chuyển sang các vị trí Data Engineer

Yêu cầu đầu vào

Khóa học cho người mới bắt đầu

Bạn sẽ học những gì

• Học viên có thể thiết lập và sử dụng các nền tảng và phần mềm cần thiết cho xử lý dữ liệu lớn.
• Hiểu và áp dụng các khái niệm cơ bản về Hadoop, HDFS và PySpark.
• Sử dụng Python và Hadoop để truy xuất và quản lý dữ liệu.
• Thiết lập và làm việc với cụm PySpark, thực hiện streaming dữ liệu với Spark.
• Hiểu và triển khai Apache Kafka cho xử lý dữ liệu streaming.
• Thực hiện quy trình ETL (Extract, Transform, Load) và áp dụng vào các tình huống thực tế.
• Làm việc trên các trường hợp dữ liệu cụ thể, giải quyết các vấn đề thực tế.
• Hoàn thành dự án cuối khóa, thể hiện khả năng triển khai luồng công việc dữ liệu hoàn chỉnh.

Nội dung khóa học

Buổi 1: Setup các platform & giới thiệu về khóa học

Chủ đề:

Setup các platform

Mục tiêu:

2023-05-22 18:58:23.245054

Ứng dụng:

- Setup các phần mềm như Python, SQL...
- Giới thiệu về khóa học và chương trình học

Case Study:

2023-05-22 18:57:57.159958

Buổi 2: Sử dụng Python/Hadoop cho việc truy xuất các nguồn dữ liệu

Chủ đề:

Sử dụng Python/Hadoop cho việc truy xuất các nguồn dữ liệu

Mục tiêu:

2023-05-22 18:58:23.245054

Ứng dụng:

- Truy xuất dữ liệu theo các dạng số liệu liên tục và số liệu rời rạc
- Cách xử lý số liệu trên Python

Case Study:

2023-05-22 18:57:57.159958

Buổi 3: Giới thiệu về Hadoop và HDFS

Chủ đề:

Hadoop và HDFS

Mục tiêu:

2023-05-22 18:58:23.245054

Ứng dụng:

- Giới thiệu về Hadoop
- Ứng dụng Hadoop trong việc lấy và lưu trữ dữ liệu

Case Study:

2023-05-22 18:57:57.159958

Buổi 4: Giới thiệu về PySpark và PySpark Cluster setup

Chủ đề:

PySpark và PySpark Cluster setup

Mục tiêu:

2023-05-22 18:58:23.245054

Ứng dụng:

- Giới thiệu về PySpark
- Ứng dụng PySpark trong việc xử lý dữ liệu
- Ứng dụng PySpark Cluster trong các trường hợp

Case Study:

2023-05-22 18:57:57.159958

Buổi 5: Streaming dữ liệu với Spark

Chủ đề:

Streaming dữ liệu với Spark

Mục tiêu:

2023-05-22 18:58:23.245054

Ứng dụng:

- Ứng dụng xử lý dữ liệu streaming

Case Study:

2023-05-22 18:57:57.159958

Buổi 6: Giới thiệu về Kafka và thực hành

Chủ đề:

Kafka

Mục tiêu:

2023-05-22 18:58:23.245054

Ứng dụng:

- Khái niệm cơ bản về Kafka
- Xử lý dòng dữ liệu thời gian thực
- Am hiểu tính chất pub/sub và dữ liệu theo thời gian thực

Case Study:

2023-05-22 18:57:57.159958

Buổi 7: Giới thiệu về ETL

Chủ đề:

ETL

Mục tiêu:

2023-05-22 18:58:23.245054

Ứng dụng:

- Sử dụng Python để thực hành quá trình ETL (Extract - Translate - Load) dữ liệu

Case Study:

2023-05-22 18:57:57.159958

Buổi 8: Thực hành ETL

Chủ đề:

ETL

Mục tiêu:

2023-05-22 18:58:23.245054

Ứng dụng:

- Sơ lược những trường hợp của ETL
- ETL 2 lớp trước và sau Spark

Case Study:

2023-05-22 18:57:57.159958

Buổi 9: Thực hành cơ bản một trường hợp dữ liệu cụ thể

Chủ đề:

Thực hành

Mục tiêu:

2023-05-22 18:58:23.245054

Ứng dụng:

- Xác định yêu cầu một bài toán cụ thể
- Thực hiện các bước từ truy xuất dữ liệu thay đổi và chỉnh sửa giao tiếp dữ liệu và lưu trữ dữ liệu

Case Study:

2023-05-22 18:57:57.159958

Buổi 10: Bài tập cuối khóa

Chủ đề:

Bài tập cuối khóa

Mục tiêu:

2023-05-22 18:58:23.245054

Ứng dụng:

- Bài tập lớn làm theo nhóm

Case Study:

2023-05-22 18:57:57.159958

Tại sao khóa học tại MCI phù hợp với bạn

1. Lộ trình khóa học thiết kế khoa học, theo quy trình làm việc thực tế giúp bạn tiếp thu và nắm chắc kiến thức theo trình tự khoa học
2. Giáo trình đào tạo theo chuẩn Quốc tế kết hợp giữa lý thuyết và thực hành qua các case study thực tế
3. 100% Giảng viên tại MCI là các chuyên gia tư vấn tại Big4 các tập đoàn lớn tại Việt Nam, có chứng chỉ đào tạo nghiên cứu quốc tế trong lĩnh vực lập trình và dữ liệu
4. Giảng viên hướng dẫn tận tay giúp bạn thành thạo Python, Power BI, SQL trong thời gian ngắn nhất
5. Cam kết chất lượng đào tạo, miễn phí học lại trọn đời nếu chưa nắm rõ kiến thức