Khi đã dấn thân vào con đường tìm hiểu về data, chắc hẳn cái tên Data Engineer không còn quá xa lạ với bạn. Tuy nhiên, trên thị trường lao động hiện nay, vị trí Data Engineer lại không “nổi tiếng” bằng cái tên Data Analyst. Chính vì vậy khiến cho các ứng viên mông lung không biết DE khác DA như thế nào. Và các kỹ năng cơ bản của DE có giống DA hay không. Cùng MCI khám phá các kỹ năng cơ bản của một DE trong công việc hằng ngày nhé!

3 KỸ NĂNG CƠ BẢN DATA ENGINEER PHẢI CÓ

Data warehouse + SQL + ETL / ELT

Data warehouse thường được dân data ví là “chiếc dạ dày” của dữ liệu. Nó bao gồm phương pháp, kỹ thuật và công nghệ có thể kết hợp, hỗ trợ nhau để thu thập và quản lý dữ liệu từ nhiều nguồn, môi trường khác nhau để cung cấp thông tin cho người sử dụng. Với data warehouse,  bạn cần nắm rõ các kiến thức về kiến trúc, vận hành, thu thập dữ liệu và đưa lên hệ thống báo cáo. Việc thành thạo data data warehouse giúp sử dụng dữ liệu của doanh nghiệp trở nên hiệu quả hơn bằng tính năng xử lý và phân tích dữ liệu. Bên cạnh đó, nó còn giúp tích hợp dữ liệu lại về một nguồn, cùng một định dạng, giải quyết tính phân mảnh và rời rạc của dữ liệu nhằm đáp ứng mọi yêu cầu về thông tin của người sử dụng. Từ đó, giúp tiết kiệm thời gian và hiệu quả khi tìm thấy dữ liệu cần thiết. Hãy tìm hiểu thêm về Google BigQuery, AWS RedShift, Snowflakes sẽ giúp ích bạn trong con đường trở thành Data Engineer

Nói đến SQL chắc hẳn không còn xa lạ gì với dân data. SQL giúp bạn thu thập, xử lý và chuyển hóa dữ liệu. Đối với một Data Engineer, bạn phải trở thành “cao thủ” SQL mới có thể hoàn thành tốt các công việc của DE. 

Bên cạnh SQL và data warehouse thì bạn cũng cần chú ý đến ETL và ELT. ETL là viết tắt của Extract, Transform và Load. ELT được viết tắt của cụm Extract, Load, Transform. Đây là 2 quy trình khác nhau dùng để tiếp cận thu thập, chuyển hóa dữ liệu để sử dụng cho nhiều mục đích khác nhau. Mô hình ETL được sử dụng cho dữ liệu on-premises, dữ liệu có cấu trúc và quan hệ trong khi ELT được sử dụng cho các nguồn dữ liệu có cấu trúc và phi cấu trúc trên hệ thống đám mây mở rộng.

Database

Database là cơ sở dữ liệu, là một bộ sưu tập dữ liệu được tổ chức bày bản và thường được truy cập từ hệ thống máy tính hoặc tồn tại dưới dạng tập tin trong hệ quản trị cơ sở dữ liệu. Database còn có thể được lưu trữ trên thiết bị có chức năng ghi nhớ như: thẻ nhớ, đĩa cứng, CD…

Đối với database, các DE phải thành thạo cách vận hành của các loại database lớn hiện nay (MySQL, Postgres, SQL Server, Oracle).  Bạn phải hiểu rõ chúng chạy ra sao, làm sao để tối ưu SQL khi cần lấy dữ liệu. Không chỉ như vậy, bạn cần hiểu rõ những loại database nào sử dụng cho những mục đích nào: database về dữ liệu địa lý,... Ngoài ra, hãy tìm hiểu kỹ về NoSQL database. Đây là loại database mới thường được ứng dụng ở nhiều công ty hiện nay. Nó là cơ sở dữ liệu được xây dựng dành riêng cho mô hình dữ liệu và có sơ đồ linh hoạt để xây dựng các ứng dụng hiện đại

Hạ tầng và cloud

Hạ tầng là những thứ liên quan tới server, Linux, cách lưu trữ, cách dùng Docker, và mở rộng hơn là sử dụng cloud để làm công việc của bạn. Bạn phải thành thạo cách dựng nên một con server, các thiết lập nó, cài các công cụ cần thiết để làm việc, cách để hạ tầng scale ra tùy theo nhu cầu và lượng data cần xử lý… 

Đừng quên truy cập nhóm: Data Analytics VietNam để tham khảo các kiến thức về data, thảo luận và cùng chia sẻ về ngành nghề đang được săn đón nhiều nhất hiện nay.