Feb 27, 2022

7 “thứ” mà mọi Data Engineer cần phải biết

Trong thời đại hiện nay, mỗi ngày trôi qua các doanh nghiệp lại thu về lượng dữ liệu khổng lồ. Để có được thông tin chi tiết từ dữ liệu này, các công ty cần phải nắm bắt và xử lý chúng thật hiệu quả. Đây chính là lúc các nhà Kỹ sư dữ liệu (Data Engineer) phát huy vai trò của mình. Bài viết này chúng ta sẽ cùng thảo luận về những kỹ năng mà bạn sẽ cần trong vị trí này.

Data Engineer cần nhiều kiến thức và công cụ

1. SQL

SQL hay Structured Query Language là một tiêu chuẩn công nghiệp để giao tiếp với các cơ sở dữ liệu quan hệ. Trong khi cơ sở dữ liệu quan hệ là một trong những tiêu chuẩn để lưu trữ lượng lớn dữ liệu kinh doanh.

Trong các cơ sở dữ liệu quan hệ, dữ liệu được lưu trữ trong các bảng và liên kết với nhau thông qua các trường phổ biến. Ví dụ cơ sở dữ liệu của Uber có một bảng tài xế, một bảng khách hàng và một bảng chuyến xe. Bảng chuyến xe sẽ tham chiếu tới ID tài xế và ID khách hàng tương ứng. Kết nối này giúp bạn lấy ra thông tin chi tiết dễ dàng chỉ bằng một câu truy vấn.

Cơ sở dữ liệu quan hệ là cách tuyệt vời để lưu trữ thông tin về nhiều thứ. Chúng lưu trữ dữ liệu về người dùng mạng xã hội với sở thích và hoạt động của họ. Các bản ghi thông tin khách hàng cùng lịch sử mua hàng, phản hồi với các chiến dịch quảng cáo,.... Ngày càng nhiều công ty sử dụng cơ sở dữ liệu quan hệ, vì thế các Data Engineer có kiến thức và biết cách tương tác hiệu quả với cơ sở dữ liệu quan hệ luôn được đánh giá cao.

Một cuộc khảo sát nhà phát triển hằng năm của Stack Overflow năm 2021 cho thấy SQL nằm trong số các ngôn ngữ lập trình hàng đầu.

2. Python

Sự phổ biến của Python đã tăng vọt trong vài năm qua, bạn có thể thấy rõ trong bảng xếp hạng của Stack Overflow ở trên. Thậm chí nó còn lọt vào top 3 ngôn ngữ lập trình được các nhà phát triển chuyên nghiệp sử dụng.

Phần lớn sự phổ biến của nó đến từ lĩnh vực khoa học dữ liệu và trí tuệ nhân tạo (AI). Xe tự lái, máy dịch thuật và các ứng dụng AI khác đều được thúc đẩy bởi các mô hình học máy được viết bằng Python.

Ngôn ngữ lập trình này đã cách mạng hóa việc phân tích dữ liệu, mô hình thống kê và trực quan dữ liệu. Cú pháp đơn giản và hiệu quả sâu sắc khiến Python trở thành ngôn ngữ lập trình được yêu thích của các nhà nghiên cứu, kỹ sư học máy, nhà phân tích dữ liệu, nhà khoa học dữ liệu và bất kỳ ai muốn tự động hóa công việc hằng ngày của họ.

Không ngạc nhiên khi Python trở thành một công cụ quan trọng của các Data Engineer. Họ thường dùng Python để tạo các đường ống dữ liệu hiệu quả và chuẩn bị dữ liệu cho phân tích và mô hình hóa trong tương lai.

3. Apache Spark

Khi dữ liệu trở nên lớn, các kỹ sư dữ liệu dùng Apache Spark. Đây là một framework nguồn mở dành cho việc phát triển các đường ống xử lý dữ liệu. Apache Spark có thể hỗ trợ họ chuyển đổi dữ liệu khổng lồ một cách hiệu quả bằng cách phân phối quy trình này trên nhiều máy trong một cụm.

Nếu không có nhiều máy, các ứng dụng Spark cũng có thể chạy hiệu quả trên một node mà không cần bất kỳ cơ sở hạ tầng nào. Điều này sẽ giúp bạn linh hoạt khi làm việc trên các dự án nhỏ, quy mô dữ liệu không quá lớn và tận hưởng những lợi ích từ Apache Spark.

Ngoài hiệu quả và tính linh hoạt, Apache Spark còn dễ sử dụng, nó có thể được truy cập tương tác từ các shell Scala, Python, R và SQL. Hơn nữa, nó cho phép kết hợp SQL, streaming và phân tích phức tạp một cách liền mạch trong cùng một ứng dụng.

4. Apache Kafka

Các Data Engineers sử dụng Apache Kafka để nắm bắt dữ liệu thời gian thực thông qua phát trực tuyến sự kiện. Điều đó có ý nghĩa gì?

Trong các cơ sở dữ liệu truyền thống, dữ liệu thường được xem dưới dạng tập hợp các giá trị như khách hàng, sản phẩm, đơn đặt hàng,.... Nếu có bất kỳ liên kết nào đến các giá trị được thu thập, chúng ta có thể dễ dàng cập nhật cơ sở dữ liệu để phản ánh những thay đổi (ví dụ như cập nhật địa chỉ email của khách hàng hay thay đổi số lượng của một sản phẩm).

Tuy nhiên, không phải mọi thứ mà Data Engineer xử lý đều là dữ liệu dạng này. Với mức độ hoạt động của người dùng trực tuyến như hiện nay, các công ty đã bắt đầu quan tâm đến việc thu thập và xử lý thông tin về các hoạt động này. Các hoạt động này là một chuỗi các sự kiện, về cơ bản ở dạng tệp nhật ký được chia tỷ lệ lên hàng triệu hoặc thậm chí hàng tỷ bản ghi.

Hãy hình dung bạn có một ứng dụng với hàng triệu người dùng hằng ngày. Bạn muốn ghi lại hành động của mỗi người dùng - lượt click chuột, rê chuột, di chuyển,... dẫn đến hàng triệu sự kiện hành động của người dùng mỗi giờ. Bạn muốn truy cập các bản ghi này, bạn không cần thay đổi chúng, các sự kiện là không thay đổi và do đó có thể xử lý hiệu quả hơn. Với sự linh hoạt và phản hồi nhanh, Apache Kafka là một trong những công cụ hàng đầu để xử lý các luồng sự kiện.

5. Apache Hadoop

Apache Hadoop là một framework nguồn mở để xử lý Big Data. Nó không phải là một nền tảng đơn lẻ mà là sự kết hợp của các mô-đun hỗ trợ xử lý phân tán các tập dữ liệu lớn trên các cụm máy chủ.

Hadoop Distributed File System (HDFS) cung cấp khả năng truy cập thông lượng cao vào dữ liệu ứng dụng.
Hadoop YARN chịu trách nhiệm lập lịch công việc và quản lý tài nguyên cụm.
Hadoop MapReduce cho phép xử lý song song các tập dữ liệu lớn.

Mặc dù, đây là công cụ mạnh mẽ nhất trong Big Data, Hadoop có một số hạn chế như tốc độ xử lý chậm, cần viết nhiều mã. Dù vậy, nó vẫn được sử dụng rộng rãi bởi các nhà thực hành dữ liệu cho tính toán phân tán đáng tin cậy và có thể mở rộng.

6. Amazon Redshift

Đối với phân tích dữ liệu, bạn thường cần xem dữ liệu trong phạm vi dài theo thời gian, thường được lưu trong một cloud data warehouse. Amazon Redshift là một trong những ứng dụng lưu trữ dữ liệu hàng đầu nhờ tốc độ, khả năng mở rộng và bảo mật.

Với Amazon Redshift, bạn có thể truy vấn và kết hợp các exabyte dữ liệu bằng cách sử dụng SQL tiêu chuẩn, sau đó tận dụng dữ liệu đó trong BI, phân tích phát trực tiếp thời gian thực và mô hình học máy.

Việc quen thuộc với các ứng dụng lưu trữ dữ liệu như Amazon Redshift thường là một bằng cấp bắt buộc trong mô tả công việc kỹ thuật dữ liệu.

7. Snowflake

Tương tự như Redshift ở chỗ Snowflake cũng cung cấp một dịch vụ phân tích và lưu trữ dữ liệu dựa trên đám mây. Tất nhiên, so với Redshift, nó thiếu tích hợp với bộ dịch vụ đám mây phong phú của Amazon. Nhưng nó cũng có một số lợi thế:

Cung cấp khả năng mở rộng quy mô tức thì, mặc dù Amazon Redshift có thể mất vài phút để thêm các node.
Có nhiều chế độ bảo trì tự động hơn.
Hỗ trợ tốt hơn cho các chức năng và truy vấn dựa trên JSON.

Snowflake tuyên bố rằng với công cụ của họ, các Data Engineer không cần mất thời gian quản lý cơ sở hạ tầng, năng lực lập kế hoạch và xử lý đồng thời, họ sẽ làm tất cả. Sự phổ biến của công cụ này chính là một bằng chứng cụ thể nhất.

Trên đây là những điều quan trọng mà các bạn kỹ sư dữ liệu nên quan tâm. Mong rằng những chia sẻ trong bài viết đã mang đến cho bạn đọc các thông tin hữu ích, đừng quên đón xem các bài viết mới nhất tại BAC's Blog.

Nguồn tham khảo:

https://learnsql.com/

Nhu cầu đào tạo doanh nghiệp

BAC là đơn vị đào tạo BA đầu tiên tại Việt Nam. Đối tác chính thức của IIBA quốc tế. Ngoài các khóa học public, BAC còn có các khóa học in house dành riêng cho từng doanh nghiệp. Chương trình được thiết kế riêng theo yêu cầu của doanh nghiệp, giúp doanh nghiệp giải quyết những khó khăn và tư vấn phát triển.

CÁC KHOÁ HỌC BUSINESS ANALYST BACs.VN DÀNH CHO BẠN

Khoá học Online:

Khoá học Offline:

Tại Tp.HCM:

Tại Hà Nội:

Tham khảo lịch khai giảng TẤT CẢ các khóa học mới nhất

Ban biên tập nội dung - BAC

Click để đọc tiếp

TỪ PHÂN TÍCH ĐẾN HÀNH ĐỘNG: NHÀ PHÂN TÍCH KINH DOANH VÀ GIẢI PHÁP BỀN VỮNG

Sự bền vững đang trở thành yếu tố quan trọng đối với các doanh nghiệp khi người tiêu dùng ngày càng yêu cầu sự minh bạch và hành động có trách nhiệm. Với vai trò là Nhà Phân Tích Kinh Doanh (Business Analysts - BAs), chúng ta góp phần thúc đẩy sự thay đổi bằng cách tích hợp các nguyên lý bền vững vào chiến lược và hoạt động. Không chỉ giúp doanh nghiệp giảm thiểu tác động đến môi trường, chúng ta còn tạo ra giá trị lâu dài và góp phần vào sự phát triển bền vững.
Bí quyết thúc đẩy đổi mới: Phân tích kinh doanh và vai trò trong phát triển sản phẩm mới

Phân tích nghiệp vụ (Business Analysis - BA) là mấu chốt giúp doanh nghiệp hiện thực hóa các ý tưởng sản phẩm mới. Từ việc xác định nhu cầu thị trường đến quản lý các bên liên quan, BA tạo nên cầu nối giữa chiến lược kinh doanh và thực tiễn thực thi. Họ đảm bảo sản phẩm ra mắt không chỉ phù hợp với yêu cầu thị trường mà còn mang lại giá trị lâu dài. Trong bài viết này, BAC sẽ dẫn bạn khám phá vai trò của các Chuyên viên Phân tích Nghiệp vụ trong hành trình phát triển sản phẩm cùng những kỹ năng giúp họ làm chủ quá trình này. Đây chính là chìa khóa cho sự thành công của bất kỳ sản phẩm nào.
DATA ANALYST LÀ GÌ? MÔ TẢ CÔNG VIỆC, KỸ NĂNG VÀ NHIỀU HƠN THẾ NỮA

Trong thời đại dữ liệu bùng nổ, Data Analyst (Nhà phân tích dữ liệu) đóng vai trò quan trọng trong việc biến dữ liệu thô thành thông tin giá trị, giúp doanh nghiệp đưa ra quyết định chiến lược. Công việc của họ bao gồm thu thập, làm sạch, phân tích và trực quan hóa dữ liệu bằng các công cụ như SQL, Python, Tableau hay Power BI.
Roadmap Business Analyst

Business Analyst (BA) là nhân tố kết nối giữa chiến lược kinh doanh và giải pháp kỹ thuật, tạo ra giá trị trong mọi khía cạnh vận hành của doanh nghiệp. Từ việc hiểu nhu cầu thị trường đến triển khai các giải pháp, BAs đảm bảo sự hài hòa giữa mục tiêu kinh doanh và công nghệ.

Bình luận

Nguyễn Thị Mai Bình

Business Analyst

Với một người ngoại đạo như mình thì những chuyên đề về "kỹ thuật" của BA hết sức quan trọng. Ví dụ như sử dụng các diagram để mô hình hóa requirement, viết User Story/Use case, v...v..

Đến với khóa học Fundamental Business Analysis, mình đã được gặp thầy Lộc, một người người rất nhiệt tình và có tâm. Ngoài việc chia sẻ các kinh nghiệm thực tế trên lớp thì thầy còn dành thời gian ra để tư vấn, hỗ trợ, góp ý CV cho mình. Bên cạnh đó trung tâm và anh Phụng cũng hỗ trợ gửi CV, kết nối học viên tới mạng lưới các công ty đối tác chất lượng, điều này giúp học viên như mình tìm được công việc phù hợp nhất. Cảm ơn BAC.
Xem chi tiết +
Phạm Quế

Business Analyst

Khoá học Product Design của BAC đã cung cấp cho tôi nhiều kiến thức và nền tảng vô cùng hữu ích. Giảng viên giảng dạy rất nhiệt tình, truyền cho chúng tôi ngọn lửa đam mê và nhiệt huyết trong ngành. Đồng thời chia sẻ các kiến thức và kỹ năng cần thiết trong bài giảng một cách dễ hiểu hơn. Số lượng học viên không quá nhiều nên chất lượng giảng giạy vô cùng tốt. Giảng viên sửa bài tập 1-1 nên bài giảng sẽ chuyên sâu hơn.
Xem chi tiết +
Nguyễn Văn Long

Chuyên viên về chế độ kế toán & Giải pháp nghiệp vụ Tài chính kế toán trong ứng dụng CNTT - Tập đoàn Điện lực Việt Nam (EVN)

Tôi đã tham gia khóa Phân tích nghiệp vụ phần mềm cơ bản 3.0 tại BAC. Ở đây, tài liệu đào tạo cung cấp nhiều nội dung bổ ích và trình bày dễ hiểu. Giảng viên rất nhiệt tình, ngoài nội dung giảng dạy theo giáo trình còn chia sẻ nhiều kinh nghiệm thực tiễn, các câu hỏi của học viên đều được giải đáp ngay trên lớp và có minh họa từ các dự án trong thực tế. Sau tất cả, tôi cảm ơn BAC và Thầy giáo Thái Sơn.
Xem chi tiết +