Lợi ích của học viên



  • Tặng miễn phí 01 tài khoản trên Hệ thống quản lý học tập của MCI
  • Được support từ đội ngũ IT và CTO của MCI về công nghệ, dữ liệu lớn và hàng trăm job trên Workspace
  • Nhận chứng chỉ sau khóa học
  • Miễn phí học lại không giới hạn
Combo DE Professional

Combo Data Engineering Professional

Với sứ mệnh “Thúc đẩy các quốc gia, tổ chức và cá nhân phát triển nhanh, phát triển toàn diện và phát triển bền vững nhờ vào sức mạnh công nghệ”, MCI đồng hành cùng học viên trang bị kiến thức và kỹ năng để đáp ứng yêu cầu công việc của các vị trí Data Engineer. Chương trình cung cấp cho học viên những kiến thức về thiết kế và xây dựng hệ quản trị cơ sở dữ liệu quan hệ và phi quan hệ, thu thập dữ liệu trên mạng Internet, tự động hóa các quy trình làm việc với dữ liệu (Data Pipelines) thông qua kho dữ liệu (Data Warehouse) và hồ dữ liệu (Data Lake), làm việc với bộ dữ liệu lớn (Big Data) và một phần ứng dụng học máy (Machine Learning) vào các bài toán cần sử dụng dữ liệu lớn, triển khai một hệ thống databricks trên nền tảng AWS.

4.9 (370)

Đối tượng

Các bạn đang học tập và làm việc trong lĩnh vực Data, Software Engineer, có định hướng chuyển sang các vị trí Data Engineer

Yêu cầu đầu vào

Yêu cầu nắm vững kiến thức cơ bản về dữ liệu, cấu trúc dữ liệu, một số công cụ phân tích dữ liệu cơ bản như Python, SQL

Bạn sẽ học những gì

• Sử dụng các công cụ để lấy dữ liệu (batch, real-time: open-source…)
• Lưu trữ dữ liệu: Data warehouse & Data Lake (Hadoop HDFS, CEPH, Hive…)
• Thiết lập được các quy trình giám sát và tự động hóa trên các data pipelines với Apache Airflow
• Tạo & phân chia các layer trong data warehouse/data lake
• Xây dựng được các mô hình dữ liệu có cấu trúc (SQL) & phi cấu trúc (no-SQL)
• Thao tác và làm việc tốt với các kỹ thuật dữ liệu trên Cloud (AWS, Azure)
• Giám sát, kiểm soát chất lượng dữ liệu (data quality), data catalog, data lineage
• Xây dựng công cụ, platform để hỗ trợ cho ML
• Cách kết nối với các visualization tools

Nội dung khóa học

    Chủ đề:

    Setup các platform

    Mục tiêu:

    None

    Ứng dụng:

    - Setup các phần mềm như Python, SQL...
    - Giới thiệu về khóa học và chương trình học

    Case Study:

    None

    Chủ đề:

    Sử dụng Python/Hadoop cho việc truy xuất các nguồn dữ liệu

    Mục tiêu:

    None

    Ứng dụng:

    - Truy xuất dữ liệu theo các dạng số liệu liên tục và số liệu rời rạc
    - Cách xử lý số liệu trên Python

    Case Study:

    None

    Chủ đề:

    Hadoop và HDFS

    Mục tiêu:

    None

    Ứng dụng:

    - Giới thiệu về Hadoop
    - Ứng dụng Hadoop trong việc lấy và lưu trữ dữ liệu

    Case Study:

    None

    Chủ đề:

    PySpark và PySpark Cluster setup

    Mục tiêu:

    None

    Ứng dụng:

    - Giới thiệu về PySpark
    - Ứng dụng PySpark trong việc xử lý dữ liệu
    - Ứng dụng PySpark Cluster trong các trường hợp

    Case Study:

    None

    Chủ đề:

    Streaming dữ liệu với Spark

    Mục tiêu:

    None

    Ứng dụng:

    - Ứng dụng xử lý dữ liệu streaming

    Case Study:

    None

    Chủ đề:

    Kafka

    Mục tiêu:

    None

    Ứng dụng:

    - Khái niệm cơ bản về Kafka
    - Xử lý dòng dữ liệu thời gian thực
    - Am hiểu tính chất pub/sub và dữ liệu theo thời gian thực

    Case Study:

    None

    Chủ đề:

    ETL

    Mục tiêu:

    None

    Ứng dụng:

    - Sử dụng Python để thực hành quá trình ETL (Extract - Translate - Load) dữ liệu

    Case Study:

    None

    Chủ đề:

    ETL

    Mục tiêu:

    None

    Ứng dụng:

    - Sơ lược những trường hợp của ETL
    - ETL 2 lớp trước và sau Spark

    Case Study:

    None

    Chủ đề:

    Thực hành

    Mục tiêu:

    None

    Ứng dụng:

    - Xác định yêu cầu một bài toán cụ thể
    - Thực hiện các bước từ truy xuất dữ liệu thay đổi và chỉnh sửa giao tiếp dữ liệu và lưu trữ dữ liệu

    Case Study:

    None

    Chủ đề:

    Bài tập cuối khóa

    Mục tiêu:

    None

    Ứng dụng:

    - Bài tập lớn làm theo nhóm

    Case Study:

    None

    Chủ đề:

    Ôn tập kiến thức level 1

    Mục tiêu:

    None

    Ứng dụng:

    - Ôn lại những kiến thức đã được học về ETL chuẩn bị cho Data warehouse
    - Cài đặt các phần cần thiết và set up máy

    Case Study:

    None

    Chủ đề:

    Data Warehouse & Data Lake (Hive)

    Mục tiêu:

    None

    Ứng dụng:

    - Giới thiệu về Kho dữ liệu
    - Ứng dụng ETL để thiết lập nên kho dữ liệu
    - Thiết lập Apache Hive

    Case Study:

    None

    Chủ đề:

    Data Warehouse

    Mục tiêu:

    None

    Ứng dụng:

    - Khái niệm ETL trước và sau kho dữ liệu
    - Những thiết lập để lưu trữ dữ liệu hiệu quả
    - Những khái niệm của một kho dữ liệu tiêu chuẩn

    Case Study:

    None

    Chủ đề:

    Data Warehouse

    Mục tiêu:

    None

    Ứng dụng:

    - Khái niệm ETL trước và sau kho dữ liệu
    - Những thiết lập để lưu trữ dữ liệu hiệu quả
    - Những khái niệm của một kho dữ liệu tiêu chuẩn

    Case Study:

    None

    Chủ đề:

    Apache Airflow

    Mục tiêu:

    None

    Ứng dụng:

    - Khái niệm Apache Airflow
    - Các ứng dụng của Apache Airflow trong việc thiết lập một kho dữ liệu

    Case Study:

    None

    Chủ đề:

    Apache Airflow

    Mục tiêu:

    None

    Ứng dụng:

    - Thực hành thiết lập một Flow dât cho Kho dữ liệu bằng Apache AirFlow

    Case Study:

    None

    Chủ đề:

    Mô hình dữ liệu SQL và No-SQL

    Mục tiêu:

    None

    Ứng dụng:

    - Mô hình lưu trữ SQL và No-SQL
    - Thiết lập mô hình lưu trữ vào Data warehouse

    Case Study:

    None

    Chủ đề:

    Trực quan hóa dữ liệu với Power BI

    Mục tiêu:

    None

    Ứng dụng:

    - Sử dụng PowerBI để cảm quan về Data lưu trữ
    - Thiết lập việc cảm quan lưu lượng lưu trữ cũng như những thứ liên quan để đảm bảo data flow

    Case Study:

    None

    Chủ đề:

    Ôn tập kiến thức level 2

    Mục tiêu:

    None

    Ứng dụng:

    - Ôn tập

    Case Study:

    None

    Chủ đề:

    Bài tập cuối khóa

    Mục tiêu:

    None

    Ứng dụng:

    - Bài tập cuối khoá 2 và các trường hợp thực tế

    Case Study:

    None

    Chủ đề:

    Setup và giới thiệu về AWS

    Mục tiêu:

    None

    Ứng dụng:

    - Giới thiệu về AWS
    - Cài đặt những phần cần thiết cho khoá học

    Case Study:

    None

    Chủ đề:

    AWS IAM (Identity and Access Management)

    Mục tiêu:

    None

    Ứng dụng:

    - Giới thiệu về IAM
    - Phân quyền các user truy cập vào môi trường
    - Phân quyền cho các môi trường được phép khởi tạo và chạy

    Case Study:

    None

    Chủ đề:

    về Amazon Simple Storage Service (S3)

    Mục tiêu:

    None

    Ứng dụng:

    - Giới thiệu về hệ thống lưu trữ của AWS (S3)
    - Khái niệm về lưu trữ trong S3 (bucket, key, object, region)
    - Quy trình sử dụng S3

    Case Study:

    None

    Chủ đề:

    về Amazon Simple Storage Service (S3)

    Mục tiêu:

    None

    Ứng dụng:

    - Những tình huống luu trữ
    - Phương pháp lưu trữ chống mất dữ liệu

    Case Study:

    None

    Chủ đề:

    Amazon Elastic Compute Cloud (EC2)

    Mục tiêu:

    None

    Ứng dụng:

    - Tổng quan về mô hình thiết lập của EC2
    - Giới thiệu về Ami chuẩn bị cho thiết lập instance
    - Phương pháp tạo instance

    Case Study:

    None

    Chủ đề:

    Amazon Elastic Compute Cloud (EC2)

    Mục tiêu:

    None

    Ứng dụng:

    - Những trường hợp đặc biệt
    - Đề án kết hợp S3 và EC2

    Case Study:

    None

    Chủ đề:

    Database AWS

    Mục tiêu:

    None

    Ứng dụng:

    - Định nghĩa và cách hoạt động của Database trên AWS
    - Thiết lập một database trên AWS

    Case Study:

    None

    Chủ đề:

    Thực hành về Database

    Mục tiêu:

    None

    Ứng dụng:

    - Thực hành thiết lập một database

    Case Study:

    None

    Chủ đề:

    DNS và Routing

    Mục tiêu:

    None

    Ứng dụng:

    - DNS, Zone, Route, Route53 của AWS
    - Cách thiết lập Route 53

    Case Study:

    None

    Chủ đề:

    VPC

    Mục tiêu:

    None

    Ứng dụng:

    - VPC, Subnet, Route Traffic, VPN Connection

    Case Study:

    None

    Chủ đề:

    Load Balancer và HA

    Mục tiêu:

    None

    Ứng dụng:

    - Load Balancer
    - Cải thiện khả năng phân bổ lưu lượng

    Case Study:

    None

    Chủ đề:

    Thực hành xây dựng hệ thống thực tế và tính chi phí vận hành

    Mục tiêu:

    None

    Ứng dụng:

    - Xây dựng hệ thống thực tế
    - Tính toán chi phí cho hệ thống

    Case Study:

    None

    Chủ đề:

    AWS Application

    Mục tiêu:

    None

    Ứng dụng:

    - Kết nối lại những gì đã học
    - Tích hợp application với những mục tiêu khác

    Case Study:

    None

    Chủ đề:

    Monolithic vs Microservice

    Mục tiêu:

    None

    Ứng dụng:

    - Microservice, APIs, Monolithic
    - Thực hành microservieces

    Case Study:

    None

    Chủ đề:

    Security

    Mục tiêu:

    None

    Ứng dụng:

    - Những cách giúp bảo mật dữ liệu trên AWS
    - Hệ thống kết hợp bảo mật

    Case Study:

    None

    Chủ đề:

    Final test

    Mục tiêu:

    None

    Ứng dụng:

    Final test

    Case Study:

    None

    Chủ đề:

    Final test

    Mục tiêu:

    None

    Ứng dụng:

    Final test

    Case Study:

    None

Tại sao khóa học tại MCI phù hợp với bạn

1. Lộ trình khóa học thiết kế khoa học, theo quy trình làm việc thực tế giúp bạn tiếp thu và nắm chắc kiến thức theo trình tự khoa học
2. Giáo trình đào tạo theo chuẩn Quốc tế kết hợp giữa lý thuyết và thực hành qua các case study thực tế
3. 100% Giảng viên tại MCI là các chuyên gia tư vấn tại Big4 các tập đoàn lớn tại Việt Nam, có chứng chỉ đào tạo nghiên cứu quốc tế trong lĩnh vực lập trình và dữ liệu
4. Giảng viên hướng dẫn tận tay giúp bạn thành thạo Python, Power BI, SQL trong thời gian ngắn nhất
5. Cam kết chất lượng đào tạo, miễn phí học lại trọn đời nếu chưa nắm rõ kiến thức

Đội ngũ giảng viên


Tống Châu Nghị

- Hơn 20 năm kinh nghiệm trong ngành Công nghệ thông tin, đặc biệt hiểu biết sâu sắc về quản lý hệ cơ sở dữ liệu và quản lý kho dữ liệu datawarehouse
- Hơn 12 năm kinh nghiệm trong các lĩnh vực triển khai SAP BI , SAP BW, SAP ECC
- Hơn 5 năm kinh nghiệm trong việc triển khai và áp dụng các dịch vụ của Microsoft như Power BI, Microsoft 365, SQL Server, Azure Cloud...
- Đảm nhận vị trí Quản lý Phân tích kinh doanh tại Tập đoàn bán lẻ Central Retail Vietnam từ năm 2013 đến nay
- Tư vấn triển khai hệ thống BIBO tại Công ty Nguyễn Kim Trading, Việt Nam


Nguyễn Hữu Minh

- 5 năm kinh nghiệm trong ngành Khoa học dữ liệu và Công nghệ thông tin tại Việt Nam
- Hiện đảm nhân vị trí Data Scientist, AI Researcher tại Công ty PIXTA Vietnam Co. Ltd
- Giải nhất cuộc thi Sinh viên Nghiên cứu Khoa học - Khoa Toán ứng dụng và Hệ thống thông tin
- Kĩ sư Toán và Thông tin tại trường Bách Khoa Hà Nội


Do Duy Nam

- Hơn 22 năm kinh nghiệm trong lĩnh vực Công nghệ thông tin và Dữ liệu lớn
- Nhà khoa học dữ liệu cao cấp Senior Data Scientist tại Công ty Cổ phần VNPAY JSC
- Giám đốc công ty LiveZone Vietnam Consulting JSC, đã ký và quản lý 1 team đa quốc gia vận hành dự án về phân tích kinh doanh (business intelligence) giá trị 1 triệu đô cho Công ty lọc hóa dầu Bình Sơn
- Phó Giám đốc Công ty DSI Vietnam, quản trị dự án Báo cáo, làm việc với PHP, Coldfusion, HTML chart
- Nhà khoa học dữ liệu cao cấp tại ACOM Financial Institute, Nhật Bản
Chứng chỉ:
1. MBA Degree at Gloucestershire Business School (United Kingdom)
2. DA-100: Microsoft Certified: Data Analyst Associate
3. Microsoft Certified Excellence Solution Developer
4. IBM Certified Solution Expert


Đặng Lê Khoa

- Chuyên viên cao cấp triển khai và tư vấn Công nghệ Tổng quát tại Hitachi Vantara Việt Nam
- Giảng viên tại CFD-Engineer Việt Nam
- Đảm nhận nhiệm vụ phân tích dữ liệu tại Cộng đồng kĩ sư Việt Nam CFD-Engineer
- Chứng chỉ:
1. Data Manipulation with Python (Advanced, score:166, percentile: 99%)
2. Importing & Cleaning Data with Python (Advanced, score:131, percentile: 85%)
3. Python Programming (Advanced, score:133, percentile: 86%)