Lịch học dự kiến diễn ra
Lớp: | DWDL LEVEL 1 |
---|---|
Địa điểm: | 59 Cao Thắng, Quận 3, HCM |
Thời gian học: | Thứ 2 - 19H00 - 21H30 & Thứ 6 - 19H00 - 21H30 |
Lịch khai giảng: | Dec. 27, 2024 |
Thời gian kết thúc: | Jan. 27, 2025 |
Giảng viên dự kiến: | None |
Combo Data Engineering Professional
Đây là chương trình đào tạo nâng cao trong lộ trình Data Engineer. Hình thức đào tạo online và offline trong thời lượng 42 buổi học, mỗi buổi học từ 2.5 - 3 tiếng
Tên 04 khóa học nhỏ trong chương trình nâng cao bao gồm:
1. Big Data with Hadoop and Spark (DWDL Level 1) với 10 buổi học
2. Advanced Data Lakes and Data Warehouses (DWDL Level 2) với 10 buổi học
3. AWS Data Engineer for Beginners (AWS Level 1) với 08 buổi học
4. AWS Data Engineer for Beginners (AWS Level 2) với 09 buổi học
Cơ hội nghề nghiệp nổi bật sau khi tốt nghiệp chương trình đào tạo này là các vị trí hot sau:
• Data Analyst
• Data Engineer
• SQL Developer
• ETL Developer
• Data Analyst
• Big Data Engineer
• Cloud Data Engineer
• BI Developer
• Machine Learning Engineer
Đối tượng
• Những bạn muốn nắm vững các kỹ năng về xử lý và quản lý dữ liệu.• Những bạn muốn nâng cao kỹ năng và hiểu biết về các công cụ và công nghệ xử lý dữ liệu lớn, quản lý dữ liệu và trực quan hóa dữ liệu.
• Những bạn cần sử dụng kỹ năng Data Engineering để phát triển các ứng dụng xử lý và quản lý dữ liệu hiệu quả.
• Những bạn muốn mở rộng kiến thức về quản lý cơ sở dữ liệu, các hệ thống lưu trữ và xử lý dữ liệu lớn và hiểu về các công nghệ và quy trình xử lý dữ liệu để quản lý và điều phối các dự án liên quan đến dữ liệu.
• Những bạn có nhu cầu học thêm kỹ năng mới để chuyển sang các vị trí liên quan đến phân tích dữ liệu và quản lý dữ liệu.
• Những bạn khám phá và học hỏi thêm về các công nghệ và kỹ thuật trong Data Engineering để mở rộng kiến thức và kỹ năng cá nhân.
• Những bạn muốn sử dụng các kỹ năng xử lý và phân tích dữ liệu để tối ưu hóa các chiến lược kinh doanh và quản lý tài chính.
Yêu cầu đầu vào
Yêu cầu nắm vững kiến thức cơ bản về dữ liệuYêu cầu nắm vững kiến thức về SQL và Python cơ bản
Bạn sẽ học những gì
• Hiểu và thiết lập các nền tảng phát triển dữ liệu như Python, Hadoop và các công cụ liên quan.• Nắm vững khái niệm và sử dụng HDFS, PySpark và Kafka trong xử lý dữ liệu lớn.
• Thực hiện các quy trình ETL (Extract, Transform, Load) hiệu quả.
• Xây dựng và quản lý Data Warehouse và Data Lake (Hive).
• Áp dụng các kỹ thuật streaming dữ liệu với Spark.
• Hiểu và triển khai Apache Airflow để tự động hóa quy trình ETL.
• Nắm vững kỹ thuật xử lý và chuyển đổi dữ liệu giữa SQL và No-SQL.
• Thiết lập và quản lý môi trường AWS, bao gồm S3, EC2, VPC, Load Balancer, IAM và các dịch vụ khác.
• Hiểu và triển khai các dịch vụ cơ sở dữ liệu trên AWS.
• Xây dựng hệ thống thực tế và tính toán chi phí vận hành trên AWS.
• Hiểu và áp dụng các khái niệm Monolithic và Microservice trong phát triển hệ thống.
• Thực hiện các biện pháp bảo mật cho dữ liệu và hệ thống trên AWS.
• Phát triển kỹ năng quản lý và thực hiện các dự án thực tế thông qua các bài tập và case study.
Nội dung khóa học
- Buổi 1: Setup các platform & giới thiệu về khóa học
- Buổi 2: Sử dụng Python/Hadoop cho việc truy xuất các nguồn dữ liệu
- Buổi 3: Giới thiệu về Hadoop và HDFS
- Buổi 4: Giới thiệu về PySpark và PySpark Cluster setup
- Buổi 5: Streaming dữ liệu với Spark
- Buổi 6: Giới thiệu về Kafka và thực hành
- Buổi 7: Giới thiệu về ETL
- Buổi 8: Thực hành ETL
- Buổi 9: Thực hành cơ bản một trường hợp dữ liệu cụ thể
- Buổi 10: Bài tập cuối khóa
- Buổi 11: Ôn lại kiến thức Khóa 1 & chuẩn bị các phần mềm cần thiết
- Buổi 12: Giới thiệu về Data Warehouse & Data Lake (Hive)
- Buổi 13: Thực hành về Data Warehouse (phần 1)
- Buổi 14: Thực hành về Data Warehouse (phần 2)
- Buổi 15: Giới thiệu và bước đầu thực hành về Apache Airflow (phần 1)
- Buổi 16: Thực hành về Apache Airflow (phần 2)
- Buổi 17: Mô hình dữ liệu SQL và No-SQL
- Buổi 18: Trực quan hóa dữ liệu với Power BI
- Buổi 19: Ôn tập kiến thức đã học (tiết dự trữ)
- Buổi 20: Bài tập cuối khóa (bài tập nhóm trước khi làm bài cuối 2 khóa)
- Buổi 21: Setup và giới thiệu về AWS (trong đó có giới thiệu về các chứng chỉ của AWS trong thực tế)
- Buổi 22: Giới thiệu và thực hành về AWS IAM (Identity and Access Management)
- Buổi 23: Giới thiệu về Amazon Simple Storage Service (S3)
- Buổi 24: Thực hành về Amazon Simple Storage Service (S3)
- Buổi 25: Giới thiệu về Amazon Elastic Compute Cloud (EC2)
- Buổi 26: Thực hành về Amazon Elastic Compute Cloud (EC2)
- Buổi 27: Giới thiệu về Database AWS
- Buổi 28: Thực hành về Database
- Buổi 29: Giới thiệu và thực hành về DNS và Routing
- Buổi 30: Giới thiệu và thực hành về VPC
- Buổi 31: Giới thiệu và thực hành về Load Balancer và HA
- Buổi 32: Thực hành xây dựng hệ thống thực tế và tính chi phí vận hành
- Buổi 33: AWS Application
- Buổi 34: Giới thiệu và thực hành về Monolithic vs Microservice
- Buổi 35: Security
- Buổi 36: Final test và chia sẻ các case study thực tế của Giảng viên (phần 1)
- Buổi 37: Final test và chia sẻ các case study thực tế của Giảng viên (phần 2)
Setup các platform
Mục tiêu:2023-05-22 18:58:23.245054
Ứng dụng:- Setup các phần mềm như Python, SQL...
- Giới thiệu về khóa học và chương trình học
2023-05-22 18:57:57.159958
Sử dụng Python/Hadoop cho việc truy xuất các nguồn dữ liệu
Mục tiêu:2023-05-22 18:58:23.245054
Ứng dụng:- Truy xuất dữ liệu theo các dạng số liệu liên tục và số liệu rời rạc
- Cách xử lý số liệu trên Python
2023-05-22 18:57:57.159958
Hadoop và HDFS
Mục tiêu:2023-05-22 18:58:23.245054
Ứng dụng:- Giới thiệu về Hadoop
- Ứng dụng Hadoop trong việc lấy và lưu trữ dữ liệu
2023-05-22 18:57:57.159958
PySpark và PySpark Cluster setup
Mục tiêu:2023-05-22 18:58:23.245054
Ứng dụng:- Giới thiệu về PySpark
- Ứng dụng PySpark trong việc xử lý dữ liệu
- Ứng dụng PySpark Cluster trong các trường hợp
2023-05-22 18:57:57.159958
Streaming dữ liệu với Spark
Mục tiêu:2023-05-22 18:58:23.245054
Ứng dụng:- Ứng dụng xử lý dữ liệu streaming
Case Study:2023-05-22 18:57:57.159958
Kafka
Mục tiêu:2023-05-22 18:58:23.245054
Ứng dụng:- Khái niệm cơ bản về Kafka
- Xử lý dòng dữ liệu thời gian thực
- Am hiểu tính chất pub/sub và dữ liệu theo thời gian thực
2023-05-22 18:57:57.159958
ETL
Mục tiêu:2023-05-22 18:58:23.245054
Ứng dụng:- Sử dụng Python để thực hành quá trình ETL (Extract - Translate - Load) dữ liệu
Case Study:2023-05-22 18:57:57.159958
ETL
Mục tiêu:2023-05-22 18:58:23.245054
Ứng dụng:- Sơ lược những trường hợp của ETL
- ETL 2 lớp trước và sau Spark
2023-05-22 18:57:57.159958
Thực hành
Mục tiêu:2023-05-22 18:58:23.245054
Ứng dụng:- Xác định yêu cầu một bài toán cụ thể
- Thực hiện các bước từ truy xuất dữ liệu thay đổi và chỉnh sửa giao tiếp dữ liệu và lưu trữ dữ liệu
2023-05-22 18:57:57.159958
Bài tập cuối khóa
Mục tiêu:2023-05-22 18:58:23.245054
Ứng dụng:- Bài tập lớn làm theo nhóm
Case Study:2023-05-22 18:57:57.159958
Ôn tập kiến thức level 1
Mục tiêu:2023-05-22 18:58:23.245054
Ứng dụng:- Ôn lại những kiến thức đã được học về ETL chuẩn bị cho Data warehouse
- Cài đặt các phần cần thiết và set up máy
2023-05-22 18:57:57.159958
Data Warehouse & Data Lake (Hive)
Mục tiêu:2023-05-22 18:58:23.245054
Ứng dụng:- Giới thiệu về Kho dữ liệu
- Ứng dụng ETL để thiết lập nên kho dữ liệu
- Thiết lập Apache Hive
2023-05-22 18:57:57.159958
Data Warehouse
Mục tiêu:2023-05-22 18:58:23.245054
Ứng dụng:- Khái niệm ETL trước và sau kho dữ liệu
- Những thiết lập để lưu trữ dữ liệu hiệu quả
- Những khái niệm của một kho dữ liệu tiêu chuẩn
2023-05-22 18:57:57.159958
Data Warehouse
Mục tiêu:2023-05-22 18:58:23.245054
Ứng dụng:- Khái niệm ETL trước và sau kho dữ liệu
- Những thiết lập để lưu trữ dữ liệu hiệu quả
- Những khái niệm của một kho dữ liệu tiêu chuẩn
2023-05-22 18:57:57.159958
Apache Airflow
Mục tiêu:2023-05-22 18:58:23.245054
Ứng dụng:- Khái niệm Apache Airflow
- Các ứng dụng của Apache Airflow trong việc thiết lập một kho dữ liệu
2023-05-22 18:57:57.159958
Apache Airflow
Mục tiêu:2023-05-22 18:58:23.245054
Ứng dụng:- Thực hành thiết lập một Flow dât cho Kho dữ liệu bằng Apache AirFlow
Case Study:2023-05-22 18:57:57.159958
Mô hình dữ liệu SQL và No-SQL
Mục tiêu:2023-05-22 18:58:23.245054
Ứng dụng:- Mô hình lưu trữ SQL và No-SQL
- Thiết lập mô hình lưu trữ vào Data warehouse
2023-05-22 18:57:57.159958
Trực quan hóa dữ liệu với Power BI
Mục tiêu:2023-05-22 18:58:23.245054
Ứng dụng:- Sử dụng PowerBI để cảm quan về Data lưu trữ
- Thiết lập việc cảm quan lưu lượng lưu trữ cũng như những thứ liên quan để đảm bảo data flow
2023-05-22 18:57:57.159958
Ôn tập kiến thức level 2
Mục tiêu:2023-05-22 18:58:23.245054
Ứng dụng:- Ôn tập
Case Study:2023-05-22 18:57:57.159958
Bài tập cuối khóa
Mục tiêu:2023-05-22 18:58:23.245054
Ứng dụng:- Bài tập cuối khoá 2 và các trường hợp thực tế
Case Study:2023-05-22 18:57:57.159958
Setup và giới thiệu về AWS
Mục tiêu:2023-05-22 18:58:23.245054
Ứng dụng:- Giới thiệu về AWS
- Cài đặt những phần cần thiết cho khoá học
2023-05-22 18:57:57.159958
AWS IAM (Identity and Access Management)
Mục tiêu:2023-05-22 18:58:23.245054
Ứng dụng:- Giới thiệu về IAM
- Phân quyền các user truy cập vào môi trường
- Phân quyền cho các môi trường được phép khởi tạo và chạy
2023-05-22 18:57:57.159958
về Amazon Simple Storage Service (S3)
Mục tiêu:2023-05-22 18:58:23.245054
Ứng dụng:- Giới thiệu về hệ thống lưu trữ của AWS (S3)
- Khái niệm về lưu trữ trong S3 (bucket, key, object, region)
- Quy trình sử dụng S3
2023-05-22 18:57:57.159958
về Amazon Simple Storage Service (S3)
Mục tiêu:2023-05-22 18:58:23.245054
Ứng dụng:- Những tình huống luu trữ
- Phương pháp lưu trữ chống mất dữ liệu
2023-05-22 18:57:57.159958
Amazon Elastic Compute Cloud (EC2)
Mục tiêu:2023-05-22 18:58:23.245054
Ứng dụng:- Tổng quan về mô hình thiết lập của EC2
- Giới thiệu về Ami chuẩn bị cho thiết lập instance
- Phương pháp tạo instance
2023-05-22 18:57:57.159958
Amazon Elastic Compute Cloud (EC2)
Mục tiêu:2023-05-22 18:58:23.245054
Ứng dụng:- Những trường hợp đặc biệt
- Đề án kết hợp S3 và EC2
2023-05-22 18:57:57.159958
Database AWS
Mục tiêu:2023-05-22 18:58:23.245054
Ứng dụng:- Định nghĩa và cách hoạt động của Database trên AWS
- Thiết lập một database trên AWS
2023-05-22 18:57:57.159958
Thực hành về Database
Mục tiêu:2023-05-22 18:58:23.245054
Ứng dụng:- Thực hành thiết lập một database
Case Study:2023-05-22 18:57:57.159958
DNS và Routing
Mục tiêu:2023-05-22 18:58:23.245054
Ứng dụng:- DNS, Zone, Route, Route53 của AWS
- Cách thiết lập Route 53
2023-05-22 18:57:57.159958
VPC
Mục tiêu:2023-05-22 18:58:23.245054
Ứng dụng:- VPC, Subnet, Route Traffic, VPN Connection
Case Study:2023-05-22 18:57:57.159958
Load Balancer và HA
Mục tiêu:2023-05-22 18:58:23.245054
Ứng dụng:- Load Balancer
- Cải thiện khả năng phân bổ lưu lượng
2023-05-22 18:57:57.159958
Thực hành xây dựng hệ thống thực tế và tính chi phí vận hành
Mục tiêu:2023-05-22 18:58:23.245054
Ứng dụng:- Xây dựng hệ thống thực tế
- Tính toán chi phí cho hệ thống
2023-05-22 18:57:57.159958
AWS Application
Mục tiêu:2023-05-22 18:58:23.245054
Ứng dụng:- Kết nối lại những gì đã học
- Tích hợp application với những mục tiêu khác
2023-05-22 18:57:57.159958
Monolithic vs Microservice
Mục tiêu:2023-05-22 18:58:23.245054
Ứng dụng:- Microservice, APIs, Monolithic
- Thực hành microservieces
2023-05-22 18:57:57.159958
Security
Mục tiêu:2023-05-22 18:58:23.245054
Ứng dụng:- Những cách giúp bảo mật dữ liệu trên AWS
- Hệ thống kết hợp bảo mật
2023-05-22 18:57:57.159958
Final test
Mục tiêu:2023-05-22 18:58:23.245054
Ứng dụng:Final test
Case Study:2023-05-22 18:57:57.159958
Final test
Mục tiêu:2023-05-22 18:58:23.245054
Ứng dụng:Final test
Case Study:2023-05-22 18:57:57.159958
Tại sao khóa học tại MCI phù hợp với bạn
1. Lộ trình khóa học thiết kế khoa học, theo quy trình làm việc thực tế giúp bạn tiếp thu và nắm chắc kiến thức theo trình tự khoa học2. Giáo trình đào tạo theo chuẩn Quốc tế kết hợp giữa lý thuyết và thực hành qua các case study thực tế
3. 100% Giảng viên tại MCI là các chuyên gia tư vấn tại Big4 các tập đoàn lớn tại Việt Nam, có chứng chỉ đào tạo nghiên cứu quốc tế trong lĩnh vực lập trình và dữ liệu
4. Giảng viên hướng dẫn tận tay giúp bạn thành thạo Python, Power BI, SQL trong thời gian ngắn nhất
5. Cam kết chất lượng đào tạo, miễn phí học lại trọn đời nếu chưa nắm rõ kiến thức
Đội ngũ giảng viên
Nguyễn Hữu Minh
- 5 năm kinh nghiệm trong ngành Khoa học dữ liệu và Công nghệ thông tin tại Việt Nam
- Hiện đảm nhân vị trí Data Scientist, AI Researcher tại Công ty PIXTA Vietnam Co. Ltd
- Giải nhất cuộc thi Sinh viên Nghiên cứu Khoa học - Khoa Toán ứng dụng và Hệ thống thông tin
- Kĩ sư Toán và Thông tin tại trường Bách Khoa Hà Nội
Nguyễn Kim Quang
- Tốt nghiệp Thạc sĩ Tài chính ngân hàng
- Đã đảm nhận các vị trí Kế toán tín dụng, Chuyên viên thẩm định, thư ký Phó TGĐ, chuyên viên phân tích tài chính doanh nghiệp và dự án tại Quỹ đầu tư phát triển Thành phố Hà Nội.
- Hiện tại đang làm ví trí Phân tích tài chính doanh nghiệp và dự án tại Quỹ đầu tư phát triển Thành phố Hà Nội (từ 2008 đến nay)
- Có hơn 14 năm kinh nghiệm trong phân tích tài chính, phân tích dự báo rủi ro, bảo vệ phương án cho các dự án.
- Sử dụng thành thạo các công cụ SQL, Python đặc biệt các libraries phân tích và trực quan hóa dữ liệu, Machine Learning
- CÁC CHỨNG CHỈ
+ IBM Data Science Professional Certificate (IBM)
+ Python 3 Programming Specialization (University of Michigan)
+ SQL advanced certification (HackerRank)
+ STATSX0001: Statistical Learning (Stanford University)
+ Statistics with Python (University of Michigan)
Lê Văn Mạnh
Fields:
- Giảng viên Data Engineer, Python, SQL và AWS
Experience:
- Senior Data Engineer tại FPT Softwave
- Team Leader về Data Engineer tại F88
Certificate:
- AWS Certified Data Analytics- Specialty
- AWS Certified Database Specialty
- AWS Certified Solutions Architect