1. Data Engineer là gì ?

Data Engineer là thuật ngữ chỉ những nhân sự có trách nhiệm xây dựng hệ thống dữ liệu, lưu trữ - xuất dữ liệu khi cần thiết. Họ sẽ cần phải sử dụng các nghiệp vụ chuyên môn để tìm ra xu hướng ở các dữ liệu của doanh nghiệp. Từ đó sẽ phát triển những thuật toán, giúp các dữ liệu thô này được hữu ích hơn đối với doanh nghiệp.

2. Công việc chính của Data Engineer

Tất nhiên nhiệm vụ chính của bạn là làm những việc liên quan tới dữ liệu. Tại các công ty ở Việt Nam và nước ngoài, Data Engineer sẽ xây dựng các luồng dữ liệu để phân tích, vận hành và để tích hợp các hệ thống với nhau.

Bạn có thể dễ dàng thấy vai trò của Data Engineer là xây dựng luồng dữ liệu (data pipeline) để phục vụ cho nhu cầu phát triển data warehouse - nơi lưu trữ đặc biệt dùng cho mục đích phân tích, theo dõi số liệu, lên báo cáo, dashboard và phục vụ một vài việc về vận hành. Data pipeline sẽ mang dữ liệu từ những chỗ khác nhau về data warehouse, trong quá trình đó có thể sẽ cần dọn dẹp dữ liệu một chút.

Ngoài ra, ở một số công ty, Data Engineer sẽ làm nhiệm vụ đem dữ liệu từ một hệ thống A sang hệ thống B để phục vụ cho một tính năng mới. Nói chung, Data Engineer là vị trí làm hết mọi thứ về kĩ thuật liên quan tới data. 

3. Những kỹ năng cơ bản của Data Engineer

1. Kỹ năng chuyên môn 

Đầu tiêu là kỹ năng xây dựng Data warehouse. Bạn cần biết về kiến trúc data warehouse, cách vận hành, cách thực thi với các câu lệnh SQL, cách lấy dữ liệu ra và đưa lên những hệ thống báo cáo / visualization. Hiện nay, data warehouse trên cloud đang được nhiều công ty sử dụng, thế nên bạn cũng cần coi Google BigQuery, AWS RedShift, Snowflakes, và những thứ tương tự.

Tiếp theo là kỹ năng sử dụng công cụ SQL. Đây là công cụ bạn dùng để tương tác với data, lấy và chuyển hóa data. SQL là công cụ mà bạn bắt buộc phải giỏi nhất. 

Ngoài ra, bạn cũng nên tìm hiểu về kỹ thuật ETL và ELT. Đây là hai cách tiếp cận khác nhau trong việc thu thập, chuyển hóa dữ liệu để sử dụng cho nhiều mục đích khác nhau. ETL và ELT là 2 từ khóa quan trọng mà data engineer nhất định phải tìm hiểu thật kỹ. 

2. Kỹ năng sử dụng ngôn ngữ lập trình

Bạn làm data engineer thì bạn cũng phải biết được những hệ thống sinh ra data hoạt động như thế nào. Vậy nên hãy tìm hiểu về front end (web, app) và backend để hiểu chúng được xây dựng ra sao, dùng ngôn ngữ gì. Khi bạn có hiểu biết thì bạn mới có thể giải quyết được những vấn đề xảy ra khi làm việc 

Những công việc của data engineer đôi khi liên quan tới data pipeline cũng cần sử dụng các ngôn ngữ lập trình trong việc xây dựng backend. Hiện nay rất nhiều data pipeline được xây nên nhờ Python, Java, Scala.., và đây cũng là ngôn ngữ dùng để làm ra backend của các hệ thống . 

3. Kỹ năng vận hành Database

Data Engineer phải biết được cách vận hành của các loại database lớn hiện nay như: MySQL, Postgres, SQL Server, Oracle,.. Bạn phải hiểu cách vận hành, làm sao để tối ưu SQL khi cần lấy dữ liệu.

Bên cạnh đó hãy tìm hiểu những database sử dụng cho các mục đích riêng biệt, ví dụ như database về dữ liệu địa lý, database về dữ liệu streaming và xử lý thời gian thực… 

Ngoài ra, hãy tìm hiểu về NoSQL database, một loại database mới đang được dùng ngày càng nhiều. 

4. Kỹ năng giao tiếp

Một trong những kỹ năng không thể thiếu của các vị trí làm việc trong lĩnh vực data là kỹ năng giao tiếp và làm việc nhóm. Công việc của bạn sẽ thường xuyên giao tiếp với các phòng ban khác ở khối kinh doanh. Vậy nên hãy tập trình bày ngắn gọn, súc tích và giải thích những thứ phức tạp theo cách đơn giản thì mới làm tốt được việc của data engineer.

KẾT LUẬN

Ngoài những kỹ năng trên bạn còn phải tìm hiểu về kiến thức business. Những kiến thức về business này sẽ giúp bạn làm việc của mình tốt hơn vì bạn biết nó là gì, bạn cần làm gì để giúp công ty tạo ra giá trị có liên quan. Hãy cố gắng trau dồi kỹ năng của mình qua những project bạn làm hay những công ty bạn làm việc. Chúc bạn thành công!

Tổng hợp và biên tập lại từ chia sẻ của anh Duy Luân