Facebook
GoogleLịch học dự kiến diễn ra
| Lớp: | DWDL LEVEL 1 |
|---|---|
| Địa điểm: | Tầng 5, Tòa nhà Star City, 23 Lê Văn Lương, HN |
| Thời gian học: | Thứ 2 - 19H00 - 21H30 & Thứ 6 - 19H00 - 21H30 |
| Lịch khai giảng: | Dec. 27, 2024 |
| Thời gian kết thúc: | Jan. 27, 2025 |
| Giảng viên dự kiến: | None |
Big Data with Hadoop and Spark
Đây là khóa học Data Lake và Data Warehouse từ cơ bản, giúp cho học viên xây dựng nền tảng tư duy dữ liệu, nắm vững các công cụ và công nghệ quan trọng trong việc xử lý, quản lý và phân tích dữ liệu lớn, đồng thời phát triển kỹ năng thực hành cần thiết để triển khai các giải pháp dữ liệu hiệu quả.
Hình thức đào tạo online và offline trong thời lượng 9 buổi học, mỗi buổi học từ 2.5 - 3 tiếng.
Tên khóa học: Big Data with Hadoop and Spark (DWDL Level 1)
Cơ hội nghề nghiệp nổi bật sau khi tốt nghiệp chương trình đào tạo này là các vị trí hot sau:
• Data Analyst
• Data Engineer
• SQL Developer
• ETL Developer
• Data Analyst
• Big Data Engineer
• Cloud Data Engineer
• BI Developer
• Machine Learning Engineer
Đối tượng
Các bạn đang học tập và làm việc trong lĩnh vực Data, Software Engineer, có định hướng chuyển sang các vị trí Data EngineerYêu cầu đầu vào
Khóa học cho người mới bắt đầuBạn sẽ học những gì
• Học viên có thể thiết lập và sử dụng các nền tảng và phần mềm cần thiết cho xử lý dữ liệu lớn.• Hiểu và áp dụng các khái niệm cơ bản về Hadoop, HDFS và PySpark.
• Sử dụng Python và Hadoop để truy xuất và quản lý dữ liệu.
• Thiết lập và làm việc với cụm PySpark, thực hiện streaming dữ liệu với Spark.
• Hiểu và triển khai Apache Kafka cho xử lý dữ liệu streaming.
• Thực hiện quy trình ETL (Extract, Transform, Load) và áp dụng vào các tình huống thực tế.
• Làm việc trên các trường hợp dữ liệu cụ thể, giải quyết các vấn đề thực tế.
• Hoàn thành dự án cuối khóa, thể hiện khả năng triển khai luồng công việc dữ liệu hoàn chỉnh.
Nội dung khóa học
- Buổi 1: Setup các platform & giới thiệu về khóa học
- Buổi 2: Sử dụng Python/Hadoop cho việc truy xuất các nguồn dữ liệu
- Buổi 3: Giới thiệu về Hadoop và HDFS
- Buổi 4: Giới thiệu về PySpark và PySpark Cluster setup
- Buổi 5: Streaming dữ liệu với Spark
- Buổi 6: Giới thiệu về Kafka và thực hành
- Buổi 7: Giới thiệu về ETL
- Buổi 8: Thực hành ETL
- Buổi 9: Thực hành cơ bản một trường hợp dữ liệu cụ thể
- Buổi 10: Bài tập cuối khóa
Setup các platform
Mục tiêu:2023-05-22 18:58:23.245054
Ứng dụng:- Setup các phần mềm như Python, SQL...
- Giới thiệu về khóa học và chương trình học
2023-05-22 18:57:57.159958
Sử dụng Python/Hadoop cho việc truy xuất các nguồn dữ liệu
Mục tiêu:2023-05-22 18:58:23.245054
Ứng dụng:- Truy xuất dữ liệu theo các dạng số liệu liên tục và số liệu rời rạc
- Cách xử lý số liệu trên Python
2023-05-22 18:57:57.159958
Hadoop và HDFS
Mục tiêu:2023-05-22 18:58:23.245054
Ứng dụng:- Giới thiệu về Hadoop
- Ứng dụng Hadoop trong việc lấy và lưu trữ dữ liệu
2023-05-22 18:57:57.159958
PySpark và PySpark Cluster setup
Mục tiêu:2023-05-22 18:58:23.245054
Ứng dụng:- Giới thiệu về PySpark
- Ứng dụng PySpark trong việc xử lý dữ liệu
- Ứng dụng PySpark Cluster trong các trường hợp
2023-05-22 18:57:57.159958
Streaming dữ liệu với Spark
Mục tiêu:2023-05-22 18:58:23.245054
Ứng dụng:- Ứng dụng xử lý dữ liệu streaming
Case Study:2023-05-22 18:57:57.159958
Kafka
Mục tiêu:2023-05-22 18:58:23.245054
Ứng dụng:- Khái niệm cơ bản về Kafka
- Xử lý dòng dữ liệu thời gian thực
- Am hiểu tính chất pub/sub và dữ liệu theo thời gian thực
2023-05-22 18:57:57.159958
ETL
Mục tiêu:2023-05-22 18:58:23.245054
Ứng dụng:- Sử dụng Python để thực hành quá trình ETL (Extract - Translate - Load) dữ liệu
Case Study:2023-05-22 18:57:57.159958
ETL
Mục tiêu:2023-05-22 18:58:23.245054
Ứng dụng:- Sơ lược những trường hợp của ETL
- ETL 2 lớp trước và sau Spark
2023-05-22 18:57:57.159958
Thực hành
Mục tiêu:2023-05-22 18:58:23.245054
Ứng dụng:- Xác định yêu cầu một bài toán cụ thể
- Thực hiện các bước từ truy xuất dữ liệu thay đổi và chỉnh sửa giao tiếp dữ liệu và lưu trữ dữ liệu
2023-05-22 18:57:57.159958
Bài tập cuối khóa
Mục tiêu:2023-05-22 18:58:23.245054
Ứng dụng:- Bài tập lớn làm theo nhóm
Case Study:2023-05-22 18:57:57.159958
Tại sao khóa học tại MCI phù hợp với bạn
1. Lộ trình khóa học thiết kế khoa học, theo quy trình làm việc thực tế giúp bạn tiếp thu và nắm chắc kiến thức theo trình tự khoa học2. Giáo trình đào tạo theo chuẩn Quốc tế kết hợp giữa lý thuyết và thực hành qua các case study thực tế
3. 100% Giảng viên tại MCI là các chuyên gia tư vấn tại Big4 các tập đoàn lớn tại Việt Nam, có chứng chỉ đào tạo nghiên cứu quốc tế trong lĩnh vực lập trình và dữ liệu
4. Giảng viên hướng dẫn tận tay giúp bạn thành thạo Python, Power BI, SQL trong thời gian ngắn nhất
5. Cam kết chất lượng đào tạo, miễn phí học lại trọn đời nếu chưa nắm rõ kiến thức
Đội ngũ giảng viên
Do Duy Nam
- Hơn 22 năm kinh nghiệm trong lĩnh vực Công nghệ thông tin và Dữ liệu lớn
- Nhà khoa học dữ liệu cao cấp Senior Data Specialist tại Công ty Cổ phần VNPAY JSC
- Giám đốc công ty LiveZone Vietnam Consulting JSC, đã ký và quản lý 1 team đa quốc gia vận hành dự án về phân tích kinh doanh (business intelligence) giá trị 1 triệu đô cho Công ty lọc hóa dầu Bình Sơn
- Phó Giám đốc Công ty DSI Vietnam, quản trị dự án Báo cáo, làm việc với PHP, Coldfusion, HTML chart
- Nhà khoa học dữ liệu cao cấp tại ACOM Financial Institute, Nhật Bản
Chứng chỉ:
1. MBA Degree at Gloucestershire Business School (United Kingdom)
2. DA-100: Microsoft Certified: Data Analyst Associate
3. Microsoft Certified Excellence Solution Developer
4. IBM Certified Solution Expert
Đặng Lê Khoa
- Chuyên viên cao cấp triển khai và tư vấn Công nghệ Tổng quát tại Hitachi Vantara Việt Nam
- Giảng viên tại CFD-Engineer Việt Nam
- Đảm nhận nhiệm vụ phân tích dữ liệu tại Cộng đồng kĩ sư Việt Nam CFD-Engineer
- Chứng chỉ:
1. Data Manipulation with Python (Advanced, score:166, percentile: 99%)
2. Importing & Cleaning Data with Python (Advanced, score:131, percentile: 85%)
3. Python Programming (Advanced, score:133, percentile: 86%)
