Trong bài viết trước, chúng ta đã thảo luận về các công cụ trích xuất dữ liệu nguồn mở. Mục tiêu chính của "công cụ ETL" là thu thập nội dung từ các cơ sở dữ liệu hoặc hệ thống vận hành khác nhau trong tổ chức và di chuyển/sao chép/chuyển tất cả dữ liệu này vào một cơ sở dữ liệu tập trung. "Cơ sở dữ liệu tập trung" này thường được gọi là "Kho dữ liệu" (Data warehouse). Ngoài ra, công cụ ETL còn được dùng để thực hiện các chuyển đổi dữ liệu phức tạp khó thực hiện bằng các câu lệnh SQL đơn giản.
Dưới đây là danh sách một số công cụ ETL thương mại:
-
IBM INFOSPHERE DATASTAGE –
Đây là công cụ ETL và một phần của bộ giải pháp IBM Information Platforms và IBM InfoSphere. Nó sử dụng ký hiệu đồ họa để xây dựng giải pháp tích hợp dữ liệu. Nó tích hợp dữ liệu trên nhiều hệ thống bằng khung song song hiệu suất cao, hỗ trợ quản lý metadata mở rộng và kết nối doanh nghiệp. Nền tảng có khả năng mở rộng cung cấp tích hợp linh hoạt hơn cho mọi loại dữ liệu, bao gồm big data tại chỗ (dựa trên Hadoop) hoặc chuyển động (dựa trên stream), trên các nền tảng phân tán và mainframe.
-
Microsoft SQL Server Integration Services (SSIS) –
Microsoft SSIS là công cụ tích hợp dữ liệu doanh nghiệp, chuyển đổi dữ liệu và di chuyển dữ liệu được tích hợp sẵn trong cơ sở dữ liệu SQL Server của Microsoft. Nó có thể dùng cho nhiều tác vụ liên quan đến tích hợp, như phân tích và làm sạch dữ liệu cũng như chạy quy trình trích xuất, chuyển đổi và tải (ETL) để cập nhật kho dữ liệu.
-
ADEPTIA ETL SUITE –
Adeptia cung cấp đầy đủ chức năng ETL kết hợp với giao diện dễ sử dụng, trực quan; cho phép người dùng chuyển đổi nhiều loại tệp tin khác nhau. Adeptia ETL Suite được thiết kế cho cả người không phải IT, trao quyền cho người dùng kinh doanh truy cập dữ liệu thời gian thực và tự chuyển đổi dữ liệu cho phù hợp với vận hành, đồng thời cho phép IT quản lý quy trình và đảm bảo dữ liệu được quản lý an toàn, chính xác.
-
Informatica Powercenter –
Informatica Power Center là công cụ trích xuất, chuyển đổi và tải (ETL) phổ biến dùng để xây dựng kho dữ liệu doanh nghiệp. Các thành phần chính bao gồm công cụ client, server, repository server và repository. Power Center server và repository server tạo thành lớp ETL, hoàn thành xử lý ETL.
-
IBI IWAY DATAMIGRATOR –
Data Migrator là công cụ tự động hóa mạnh mẽ, toàn diện được thiết kế để đơn giản hóa đáng kể các quy trình trích xuất, chuyển đổi và tải (ETL), bao gồm tạo, bảo trì và mở rộng kho dữ liệu, data mart và kho dữ liệu vận hành. Giao diện trực quan cho phép tạo quy trình ETL end-to-end nhanh chóng liên quan đến các cấu trúc dữ liệu hétérogènes trên nhiều nền tảng tính toán khác nhau. Tính năng nắm bắt dữ liệu thay đổi chỉ tải các bản ghi đã thay đổi vào nguồn dữ liệu, giảm đáng kể thời gian làm mới dữ liệu và hỗ trợ kho dữ liệu near-real-time.
-
Elixir Data ETL –
Elixir Data ETL được thiết kế để cung cấp thao tác dữ liệu tự phục vụ, theo nhu cầu cho người dùng kinh doanh cũng như nhu cầu xử lý dữ liệu cấp doanh nghiệp. Mô hình trực quan giảm đáng kể thời gian thiết kế, kiểm tra và triển khai trích xuất, tổng hợp và chuyển đổi dữ liệu – quy trình quan trọng cho mọi ứng dụng xử lý, báo cáo doanh nghiệp và đo lường hiệu suất, data mart hoặc dự án kho dữ liệu.
-
SYNCSORT DMX –
Syncsort DMX đưa tất cả các chuyển đổi dữ liệu vào một công cụ ETL in-memory hiệu suất cao. Các chuyển đổi được xử lý ngay lập tức, loại bỏ nhu cầu các khu vực staging database tốn kém hoặc đẩy thủ công các chuyển đổi xuống database.
-
SAS Data Management –
SAS Data Management cho phép người dùng kinh doanh cập nhật dữ liệu, điều chỉnh quy trình và phân tích kết quả tự mình, giải phóng nguồn lực cho dự án khác. Thêm vào đó, từ điển kinh doanh tích hợp cũng như quản lý metadata SAS và bên thứ ba và khả năng trực quan hóa lineage giúp mọi người cùng trên một trang.
-
SAP Data Services –
Giúp tích hợp, chuyển đổi và cải thiện dữ liệu ở cấp dự án hoặc doanh nghiệp. Cung cấp giải pháp lớp doanh nghiệp đơn lẻ cho tích hợp dữ liệu, chất lượng dữ liệu, profiling dữ liệu và xử lý dữ liệu văn bản, cho phép người dùng tích hợp, chuyển đổi, cải thiện và phân phối dữ liệu.
-
ORACLE DATA INTEGRATOR ENTERPRISE EDITION –
Cung cấp công nghệ Extract Load and Transform (E-LT) cải thiện hiệu suất và giảm chi phí tích hợp dữ liệu – ngay cả trên các hệ thống hétérogènes. Cung cấp hiệu suất cao và TCO thấp, hỗ trợ nền tảng hétérogènes cho tích hợp dữ liệu doanh nghiệp và knowledge module để tối ưu hóa năng suất nhà phát triển và khả năng mở rộng.
-
Meta Suite –
Meta Suite mang lại thời gian tạo giá trị nhanh, khả năng mở rộng và lựa chọn phong phú các loại tệp và database nguồn/đích được hỗ trợ. Bên cạnh hoạt động bình thường trích xuất, tải và hợp nhất dữ liệu vận hành, nó cũng có thể dùng để hợp nhất và hợp lý hóa dữ liệu cũng như hỗ trợ Quản trị dữ liệu chủ (Master Data Management).
-
PERVASIVE'S DATA INTEGRATOR –
Giờ đây là một phần của Actian. Thực hiện các hoạt động tích hợp phức tạp, tuy nhiên phần mềm dễ sử dụng đáng chú ý và không yêu cầu kỹ năng chuyên biệt. Các tính năng phong phú rất trực quan và có thể cấu hình cho thiết kế, triển khai và quản lý – mà không có "sốc giá". Nó có cùng UI web đầy đủ tính năng cho cả phiên bản on-premise và cloud.
-
Sagent Data Flow –
Là công cụ tích hợp mạnh mẽ, linh hoạt thu thập dữ liệu từ các nguồn phân tán. Được thiết kế bởi Pitney Bowes Software và cung cấp bộ công cụ chuyển đổi dữ liệu toàn diện để tăng giá trị kinh doanh. Cho phép phân tích thông tin và tạo báo cáo ý nghĩa để hỗ trợ hiểu rõ về doanh nghiệp của bạn.
Cũng đọc: Top 15 công cụ Big Data năm 2017
Việc chọn phần mềm hay công cụ nào phụ thuộc vào loại yêu cầu của từng doanh nghiệp. Doanh nghiệp viễn thông sẽ có dữ liệu lớn và phức tạp hơn so với cửa hàng bán lẻ. Vì vậy, doanh nghiệp viễn thông sẽ chọn công cụ có tính năng xử lý dữ liệu phức tạp. Trong khi cửa hàng bán lẻ sẽ chọn công cụ dễ dùng, ít phức tạp hơn, vì họ không có kỹ năng lập trình và nền tảng kỹ thuật.
Trong bài viết tiếp theo, tôi sẽ liệt kê các công cụ cho lớp tiếp theo trong Kiến trúc tham chiếu.