Facebook
GoogleLịch học dự kiến diễn ra
| Lớp: | DWDL27A4L1 LEVEL 1 |
|---|---|
| Địa điểm: | Tầng 5, Tòa nhà Star City, 23 Lê Văn Lương, HN |
| Thời gian học: | Thứ 5 - 19H00 - 21H30 & Chủ nhật - 19H00 - 21H30 |
| Lịch khai giảng: | May 12, 2024 |
| Thời gian kết thúc: | June 13, 2024 |
| Giảng viên dự kiến: | None |
Combo Data Engineering Professional
Với sứ mệnh “Thúc đẩy các quốc gia, tổ chức và cá nhân phát triển nhanh, phát triển toàn diện và phát triển bền vững nhờ vào sức mạnh công nghệ”, MCI đồng hành cùng học viên trang bị kiến thức và kỹ năng để đáp ứng yêu cầu công việc của các vị trí Data Engineer. Chương trình cung cấp cho học viên những kiến thức về thiết kế và xây dựng hệ quản trị cơ sở dữ liệu quan hệ và phi quan hệ, thu thập dữ liệu trên mạng Internet, tự động hóa các quy trình làm việc với dữ liệu (Data Pipelines) thông qua kho dữ liệu (Data Warehouse) và hồ dữ liệu (Data Lake), làm việc với bộ dữ liệu lớn (Big Data) và một phần ứng dụng học máy (Machine Learning) vào các bài toán cần sử dụng dữ liệu lớn, triển khai một hệ thống databricks trên nền tảng AWS.
Đối tượng
Các bạn đang học tập và làm việc trong lĩnh vực Data, Software Engineer, có định hướng chuyển sang các vị trí Data EngineerYêu cầu đầu vào
Yêu cầu nắm vững kiến thức cơ bản về dữ liệu, cấu trúc dữ liệu, một số công cụ phân tích dữ liệu cơ bản như Python, SQLBạn sẽ học những gì
• Sử dụng các công cụ để lấy dữ liệu (batch, real-time: open-source…)• Lưu trữ dữ liệu: Data warehouse & Data Lake (Hadoop HDFS, CEPH, Hive…)
• Thiết lập được các quy trình giám sát và tự động hóa trên các data pipelines với Apache Airflow
• Tạo & phân chia các layer trong data warehouse/data lake
• Xây dựng được các mô hình dữ liệu có cấu trúc (SQL) & phi cấu trúc (no-SQL)
• Thao tác và làm việc tốt với các kỹ thuật dữ liệu trên Cloud (AWS, Azure)
• Giám sát, kiểm soát chất lượng dữ liệu (data quality), data catalog, data lineage
• Xây dựng công cụ, platform để hỗ trợ cho ML
• Cách kết nối với các visualization tools
Nội dung khóa học
- Buổi 1: Setup các platform & giới thiệu về khóa học
- Buổi 2: Sử dụng Python/Hadoop cho việc truy xuất các nguồn dữ liệu
- Buổi 3: Giới thiệu về Hadoop và HDFS
- Buổi 4: Giới thiệu về PySpark và PySpark Cluster setup
- Buổi 5: Streaming dữ liệu với Spark
- Buổi 6: Giới thiệu về Kafka và thực hành
- Buổi 7: Giới thiệu về ETL
- Buổi 8: Thực hành ETL
- Buổi 9: Thực hành cơ bản một trường hợp dữ liệu cụ thể
- Buổi 10: Bài tập cuối khóa
- Buổi 11: Ôn lại kiến thức Khóa 1 & chuẩn bị các phần mềm cần thiết
- Buổi 12: Giới thiệu về Data Warehouse & Data Lake (Hive)
- Buổi 13: Thực hành về Data Warehouse (phần 1)
- Buổi 14: Thực hành về Data Warehouse (phần 2)
- Buổi 15: Giới thiệu và bước đầu thực hành về Apache Airflow (phần 1)
- Buổi 16: Thực hành về Apache Airflow (phần 2)
- Buổi 17: Mô hình dữ liệu SQL và No-SQL
- Buổi 18: Trực quan hóa dữ liệu với Power BI
- Buổi 19: Ôn tập kiến thức đã học (tiết dự trữ)
- Buổi 20: Bài tập cuối khóa (bài tập nhóm trước khi làm bài cuối 2 khóa)
- Buổi 21: Setup và giới thiệu về AWS (trong đó có giới thiệu về các chứng chỉ của AWS trong thực tế)
- Buổi 22: Giới thiệu và thực hành về AWS IAM (Identity and Access Management)
- Buổi 23: Giới thiệu về Amazon Simple Storage Service (S3)
- Buổi 24: Thực hành về Amazon Simple Storage Service (S3)
- Buổi 25: Giới thiệu về Amazon Elastic Compute Cloud (EC2)
- Buổi 26: Thực hành về Amazon Elastic Compute Cloud (EC2)
- Buổi 27: Giới thiệu về Database AWS
- Buổi 28: Thực hành về Database
- Buổi 29: Giới thiệu và thực hành về DNS và Routing
- Buổi 30: Giới thiệu và thực hành về VPC
- Buổi 31: Giới thiệu và thực hành về Load Balancer và HA
- Buổi 32: Thực hành xây dựng hệ thống thực tế và tính chi phí vận hành
- Buổi 33: AWS Application
- Buổi 34: Giới thiệu và thực hành về Monolithic vs Microservice
- Buổi 35: Security
- Buổi 36: Final test và chia sẻ các case study thực tế của Giảng viên (phần 1)
- Buổi 37: Final test và chia sẻ các case study thực tế của Giảng viên (phần 2)
Setup các platform
Mục tiêu:2023-05-22 18:58:23.245054
Ứng dụng:- Setup các phần mềm như Python, SQL...
- Giới thiệu về khóa học và chương trình học
2023-05-22 18:57:57.159958
Sử dụng Python/Hadoop cho việc truy xuất các nguồn dữ liệu
Mục tiêu:2023-05-22 18:58:23.245054
Ứng dụng:- Truy xuất dữ liệu theo các dạng số liệu liên tục và số liệu rời rạc
- Cách xử lý số liệu trên Python
2023-05-22 18:57:57.159958
Hadoop và HDFS
Mục tiêu:2023-05-22 18:58:23.245054
Ứng dụng:- Giới thiệu về Hadoop
- Ứng dụng Hadoop trong việc lấy và lưu trữ dữ liệu
2023-05-22 18:57:57.159958
PySpark và PySpark Cluster setup
Mục tiêu:2023-05-22 18:58:23.245054
Ứng dụng:- Giới thiệu về PySpark
- Ứng dụng PySpark trong việc xử lý dữ liệu
- Ứng dụng PySpark Cluster trong các trường hợp
2023-05-22 18:57:57.159958
Streaming dữ liệu với Spark
Mục tiêu:2023-05-22 18:58:23.245054
Ứng dụng:- Ứng dụng xử lý dữ liệu streaming
Case Study:2023-05-22 18:57:57.159958
Kafka
Mục tiêu:2023-05-22 18:58:23.245054
Ứng dụng:- Khái niệm cơ bản về Kafka
- Xử lý dòng dữ liệu thời gian thực
- Am hiểu tính chất pub/sub và dữ liệu theo thời gian thực
2023-05-22 18:57:57.159958
ETL
Mục tiêu:2023-05-22 18:58:23.245054
Ứng dụng:- Sử dụng Python để thực hành quá trình ETL (Extract - Translate - Load) dữ liệu
Case Study:2023-05-22 18:57:57.159958
ETL
Mục tiêu:2023-05-22 18:58:23.245054
Ứng dụng:- Sơ lược những trường hợp của ETL
- ETL 2 lớp trước và sau Spark
2023-05-22 18:57:57.159958
Thực hành
Mục tiêu:2023-05-22 18:58:23.245054
Ứng dụng:- Xác định yêu cầu một bài toán cụ thể
- Thực hiện các bước từ truy xuất dữ liệu thay đổi và chỉnh sửa giao tiếp dữ liệu và lưu trữ dữ liệu
2023-05-22 18:57:57.159958
Bài tập cuối khóa
Mục tiêu:2023-05-22 18:58:23.245054
Ứng dụng:- Bài tập lớn làm theo nhóm
Case Study:2023-05-22 18:57:57.159958
Ôn tập kiến thức level 1
Mục tiêu:2023-05-22 18:58:23.245054
Ứng dụng:- Ôn lại những kiến thức đã được học về ETL chuẩn bị cho Data warehouse
- Cài đặt các phần cần thiết và set up máy
2023-05-22 18:57:57.159958
Data Warehouse & Data Lake (Hive)
Mục tiêu:2023-05-22 18:58:23.245054
Ứng dụng:- Giới thiệu về Kho dữ liệu
- Ứng dụng ETL để thiết lập nên kho dữ liệu
- Thiết lập Apache Hive
2023-05-22 18:57:57.159958
Data Warehouse
Mục tiêu:2023-05-22 18:58:23.245054
Ứng dụng:- Khái niệm ETL trước và sau kho dữ liệu
- Những thiết lập để lưu trữ dữ liệu hiệu quả
- Những khái niệm của một kho dữ liệu tiêu chuẩn
2023-05-22 18:57:57.159958
Data Warehouse
Mục tiêu:2023-05-22 18:58:23.245054
Ứng dụng:- Khái niệm ETL trước và sau kho dữ liệu
- Những thiết lập để lưu trữ dữ liệu hiệu quả
- Những khái niệm của một kho dữ liệu tiêu chuẩn
2023-05-22 18:57:57.159958
Apache Airflow
Mục tiêu:2023-05-22 18:58:23.245054
Ứng dụng:- Khái niệm Apache Airflow
- Các ứng dụng của Apache Airflow trong việc thiết lập một kho dữ liệu
2023-05-22 18:57:57.159958
Apache Airflow
Mục tiêu:2023-05-22 18:58:23.245054
Ứng dụng:- Thực hành thiết lập một Flow dât cho Kho dữ liệu bằng Apache AirFlow
Case Study:2023-05-22 18:57:57.159958
Mô hình dữ liệu SQL và No-SQL
Mục tiêu:2023-05-22 18:58:23.245054
Ứng dụng:- Mô hình lưu trữ SQL và No-SQL
- Thiết lập mô hình lưu trữ vào Data warehouse
2023-05-22 18:57:57.159958
Trực quan hóa dữ liệu với Power BI
Mục tiêu:2023-05-22 18:58:23.245054
Ứng dụng:- Sử dụng PowerBI để cảm quan về Data lưu trữ
- Thiết lập việc cảm quan lưu lượng lưu trữ cũng như những thứ liên quan để đảm bảo data flow
2023-05-22 18:57:57.159958
Ôn tập kiến thức level 2
Mục tiêu:2023-05-22 18:58:23.245054
Ứng dụng:- Ôn tập
Case Study:2023-05-22 18:57:57.159958
Bài tập cuối khóa
Mục tiêu:2023-05-22 18:58:23.245054
Ứng dụng:- Bài tập cuối khoá 2 và các trường hợp thực tế
Case Study:2023-05-22 18:57:57.159958
Setup và giới thiệu về AWS
Mục tiêu:2023-05-22 18:58:23.245054
Ứng dụng:- Giới thiệu về AWS
- Cài đặt những phần cần thiết cho khoá học
2023-05-22 18:57:57.159958
AWS IAM (Identity and Access Management)
Mục tiêu:2023-05-22 18:58:23.245054
Ứng dụng:- Giới thiệu về IAM
- Phân quyền các user truy cập vào môi trường
- Phân quyền cho các môi trường được phép khởi tạo và chạy
2023-05-22 18:57:57.159958
về Amazon Simple Storage Service (S3)
Mục tiêu:2023-05-22 18:58:23.245054
Ứng dụng:- Giới thiệu về hệ thống lưu trữ của AWS (S3)
- Khái niệm về lưu trữ trong S3 (bucket, key, object, region)
- Quy trình sử dụng S3
2023-05-22 18:57:57.159958
về Amazon Simple Storage Service (S3)
Mục tiêu:2023-05-22 18:58:23.245054
Ứng dụng:- Những tình huống luu trữ
- Phương pháp lưu trữ chống mất dữ liệu
2023-05-22 18:57:57.159958
Amazon Elastic Compute Cloud (EC2)
Mục tiêu:2023-05-22 18:58:23.245054
Ứng dụng:- Tổng quan về mô hình thiết lập của EC2
- Giới thiệu về Ami chuẩn bị cho thiết lập instance
- Phương pháp tạo instance
2023-05-22 18:57:57.159958
Amazon Elastic Compute Cloud (EC2)
Mục tiêu:2023-05-22 18:58:23.245054
Ứng dụng:- Những trường hợp đặc biệt
- Đề án kết hợp S3 và EC2
2023-05-22 18:57:57.159958
Database AWS
Mục tiêu:2023-05-22 18:58:23.245054
Ứng dụng:- Định nghĩa và cách hoạt động của Database trên AWS
- Thiết lập một database trên AWS
2023-05-22 18:57:57.159958
Thực hành về Database
Mục tiêu:2023-05-22 18:58:23.245054
Ứng dụng:- Thực hành thiết lập một database
Case Study:2023-05-22 18:57:57.159958
DNS và Routing
Mục tiêu:2023-05-22 18:58:23.245054
Ứng dụng:- DNS, Zone, Route, Route53 của AWS
- Cách thiết lập Route 53
2023-05-22 18:57:57.159958
VPC
Mục tiêu:2023-05-22 18:58:23.245054
Ứng dụng:- VPC, Subnet, Route Traffic, VPN Connection
Case Study:2023-05-22 18:57:57.159958
Load Balancer và HA
Mục tiêu:2023-05-22 18:58:23.245054
Ứng dụng:- Load Balancer
- Cải thiện khả năng phân bổ lưu lượng
2023-05-22 18:57:57.159958
Thực hành xây dựng hệ thống thực tế và tính chi phí vận hành
Mục tiêu:2023-05-22 18:58:23.245054
Ứng dụng:- Xây dựng hệ thống thực tế
- Tính toán chi phí cho hệ thống
2023-05-22 18:57:57.159958
AWS Application
Mục tiêu:2023-05-22 18:58:23.245054
Ứng dụng:- Kết nối lại những gì đã học
- Tích hợp application với những mục tiêu khác
2023-05-22 18:57:57.159958
Monolithic vs Microservice
Mục tiêu:2023-05-22 18:58:23.245054
Ứng dụng:- Microservice, APIs, Monolithic
- Thực hành microservieces
2023-05-22 18:57:57.159958
Security
Mục tiêu:2023-05-22 18:58:23.245054
Ứng dụng:- Những cách giúp bảo mật dữ liệu trên AWS
- Hệ thống kết hợp bảo mật
2023-05-22 18:57:57.159958
Final test
Mục tiêu:2023-05-22 18:58:23.245054
Ứng dụng:Final test
Case Study:2023-05-22 18:57:57.159958
Final test
Mục tiêu:2023-05-22 18:58:23.245054
Ứng dụng:Final test
Case Study:2023-05-22 18:57:57.159958
Tại sao khóa học tại MCI phù hợp với bạn
1. Lộ trình khóa học thiết kế khoa học, theo quy trình làm việc thực tế giúp bạn tiếp thu và nắm chắc kiến thức theo trình tự khoa học2. Giáo trình đào tạo theo chuẩn Quốc tế kết hợp giữa lý thuyết và thực hành qua các case study thực tế
3. 100% Giảng viên tại MCI là các chuyên gia tư vấn tại Big4 các tập đoàn lớn tại Việt Nam, có chứng chỉ đào tạo nghiên cứu quốc tế trong lĩnh vực lập trình và dữ liệu
4. Giảng viên hướng dẫn tận tay giúp bạn thành thạo Python, Power BI, SQL trong thời gian ngắn nhất
5. Cam kết chất lượng đào tạo, miễn phí học lại trọn đời nếu chưa nắm rõ kiến thức
Đội ngũ giảng viên
Tống Châu Nghị
- Hơn 20 năm kinh nghiệm trong ngành Công nghệ thông tin, đặc biệt hiểu biết sâu sắc về quản lý hệ cơ sở dữ liệu và quản lý kho dữ liệu datawarehouse
- Hơn 12 năm kinh nghiệm trong các lĩnh vực triển khai SAP BI , SAP BW, SAP ECC
- Hơn 5 năm kinh nghiệm trong việc triển khai và áp dụng các dịch vụ của Microsoft như Power BI, Microsoft 365, SQL Server, Azure Cloud...
- Đảm nhận vị trí Quản lý Phân tích kinh doanh tại Tập đoàn bán lẻ Central Retail Vietnam từ năm 2013 đến nay
- Tư vấn triển khai hệ thống BIBO tại Công ty Nguyễn Kim Trading, Việt Nam
Nguyễn Hữu Minh
- 5 năm kinh nghiệm trong ngành Khoa học dữ liệu và Công nghệ thông tin tại Việt Nam
- Hiện đảm nhân vị trí Data Scientist, AI Researcher tại Công ty PIXTA Vietnam Co. Ltd
- Giải nhất cuộc thi Sinh viên Nghiên cứu Khoa học - Khoa Toán ứng dụng và Hệ thống thông tin
- Kĩ sư Toán và Thông tin tại trường Bách Khoa Hà Nội
Do Duy Nam
- Hơn 22 năm kinh nghiệm trong lĩnh vực Công nghệ thông tin và Dữ liệu lớn
- Nhà khoa học dữ liệu cao cấp Senior Data Specialist tại Công ty Cổ phần VNPAY JSC
- Giám đốc công ty LiveZone Vietnam Consulting JSC, đã ký và quản lý 1 team đa quốc gia vận hành dự án về phân tích kinh doanh (business intelligence) giá trị 1 triệu đô cho Công ty lọc hóa dầu Bình Sơn
- Phó Giám đốc Công ty DSI Vietnam, quản trị dự án Báo cáo, làm việc với PHP, Coldfusion, HTML chart
- Nhà khoa học dữ liệu cao cấp tại ACOM Financial Institute, Nhật Bản
Chứng chỉ:
1. MBA Degree at Gloucestershire Business School (United Kingdom)
2. DA-100: Microsoft Certified: Data Analyst Associate
3. Microsoft Certified Excellence Solution Developer
4. IBM Certified Solution Expert
Đặng Lê Khoa
- Chuyên viên cao cấp triển khai và tư vấn Công nghệ Tổng quát tại Hitachi Vantara Việt Nam
- Giảng viên tại CFD-Engineer Việt Nam
- Đảm nhận nhiệm vụ phân tích dữ liệu tại Cộng đồng kĩ sư Việt Nam CFD-Engineer
- Chứng chỉ:
1. Data Manipulation with Python (Advanced, score:166, percentile: 99%)
2. Importing & Cleaning Data with Python (Advanced, score:131, percentile: 85%)
3. Python Programming (Advanced, score:133, percentile: 86%)
