Trong blog trước, tôi đã liệt kê các Công cụ Tích hợp dữ liệu Độc lập tốt nhất giúp tích hợp tất cả các công cụ khác nhau qua Kiến trúc Big Data để làm cho toàn bộ quy trình Big Data hoạt động mượt mà. Trong blog này, tôi sẽ liệt kê các Công cụ Tích hợp dữ liệu tốt nhất mà là mã nguồn mở.
Một dự án tích hợp dữ liệu thường涉及 các bước sau:
- Truy cập Dữ liệu từ tất cả nguồn tại chỗ (on-premise), nguồn đám mây và nguồn khác (nếu có).
- Tích hợp Dữ liệu: dữ liệu được truy cập ở bước trước.
- Cung cấp dữ liệu tích hợp theo thời gian thực hoặc gần thời gian thực cho doanh nghiệp.
Các Công cụ Tích hợp dữ liệu Mã nguồn mở tốt nhất
1. Apatar
Apatar là Công cụ Tích hợp dữ liệu Mã nguồn mở nổi tiếng nhất viết bằng Java. Nhóm Gartner ước tính nhà phát triển doanh nghiệp dành 65% nỗ lực xây dựng cầu nối giữa các ứng dụng. Apatar tích hợp hiệu quả dữ liệu và ứng dụng, cung cấp khả năng làm sạch và xác thực dữ liệu cho nhà phát triển tiết kiệm thời gian khi tích hợp thông tin giữa cơ sở dữ liệu, tệp tin và ứng dụng dị chất.
Apatar có một bộ khả năng không đối thủ trong gói mã nguồn mở:
- Tùy chọn triển khai linh hoạt
- Tích hợp hai chiều (Bi-directional integration)
- Độc lập nền tảng, chạy trên Windows, Linux, Mac; 100% dựa trên Java
- Tùy chỉnh dễ dàng, mã nguồn Java đi kèm
- Người không phải lập trình viên cũng có thể thiết kế và thực hiện biến đổi.
- Kết nối đến Salesforce, SugarCRM, Goldmine, bất kỳ nguồn dữ liệu JDBC nào, Sybase, DB2, Oracle, MS SQL, MySQL, XML
Xem thêm: Ứng dụng của Công nghệ LIDAR
2. Clover –
Công cụ Tích hợp dữ liệu Clover có phiên bản xây dựng trên Engine Mã nguồn mở JAVA. Nó không có bất kỳ thành phần Giao diện Người dùng Đồ họa nào. Nó cho phép bạn phát triển, triển khai và tự động hóa chuyển đổi dữ liệu minh bạch hiệu quả, từ tải tệp-đến-cơ-sở-dữ-liệu đến tự động hóa chuyển động dữ liệu phức tạp giữa cơ sở dữ liệu, tệp tin và Web Service API. Phiên bản này của Clover cũng có quyền truy cập vào hầu hết các tính năng biến đổi dữ liệu và ETL mạnh mẽ có sẵn trong toàn bộ phạm vi sản phẩm của nó.
3. Jaspersoft ETL –
Jaspersoft ETL dễ triển khai và vượt trội hơn nhiều công cụ Tích hợp dữ liệu độc quyền. Nó giúp tạo kho dữ liệu (data warehouse) hoặc data mart bằng cách trích xuất dữ liệu từ hệ thống giao dịch cho báo cáo và phân tích. Nó được hỗ trợ bởi Talend — công cụ mã nguồn mở linh hoạt, mạnh mẽ và giá cả phải chăng nhất cho yêu cầu tích hợp dữ liệu. Công cụ được thiết kế để hỗ trợ từ một đến nhiều nhà phát triển trong khi mở rộng đến mức cao nhất về thể tích dữ liệu và độ phức tạp quy trình. Người dùng có thể thiết kế đồ họa, lên lịch và thực thi chuyển động và biến đổi dữ liệu cho dự án trí tuệ kinh doanh, như tải Operational Data Store (ODS), Data Mart, hoặc Data Warehouse.
4. KETL –
Đây là một trong những công cụ tích hợp dữ liệu mã nguồn mở tốt nhất. Nền tảng tích hợp dữ liệu KETL có tính năng như kiến trúc dựa trên Java di động và cấu hình dựa trên XML mở và ngôn ngữ job. Nó ngang ngửa với tất cả các công cụ thương mại khác trong cuộc cạnh tranh. Các tính năng quan trọng khác:
- Tích hợp công cụ an ninh và quản trị dữ liệu được hỗ trợ trong công cụ.
- Công cụ có thể mở rộng qua nhiều máy chủ và CPU và bất kỳ thể tích dữ liệu nào.
- Không yêu cầu liên quan đến công cụ lập lịch, phụ thuộc và thông báo của bên thứ ba.
5. Pentaho Data Integration –
Đây là một trong những công cụ tích hợp dữ liệu tốt nhất và còn được gọi là Kettle. Nó có khả năng trích xuất, biến đổi và tải (ETL) mạnh mẽ, sử dụng phương pháp meta-driven (dựa trên metadata) đột phá. Nó có môi trường thiết kế trực quan, kéo thả (drag-and-drop) trực quan. Bạn có thể dùng ứng dụng độc lập này để trực quan hóa thiết kế biến đổi và job trích xuất dữ liệu hiện có và làm cho chúng khả dụng cho báo cáo và phân tích dễ dàng.
6. Talend Open Studio –
Phần mềm tích hợp dữ liệu mã nguồn mở này cho bạn sự linh hoạt không đối thủ để giải quyết thách thức tích hợp. Nó cung cấp bộ sản phẩm mã nguồn mở mạnh mẽ và đa năng cho phát triển, kiểm tra, triển khai và quản trị dự án quản lý dữ liệu và tích hợp ứng dụng. Nó đã chứng minh là công cụ hiệu quả vì có môi trường đồ họa dựa trên Eclipse dễ sử dụng kết hợp tích hợp dữ liệu, chất lượng dữ liệu, MDM, tích hợp ứng dụng và big data.
7. Jedox –
Jedox là công cụ tích hợp dữ liệu thân thiện và mạnh mẽ. Nó cho phép bạn kết hợp tất cả hệ thống cơ sở dữ liệu với máy chủ OLAP đa chiều Jedox và do đó tích hợp ứng dụng BI/PM với Jedox nhanh chóng và dễ dàng vào Lैंड스케이پ CNTT hiện có. Jedox Integrator có thể vận hành cả từ cấp độ dòng lệnh và, thuận tiện hơn, sử dụng thành phần Integrator dựa trên web của Jedox Web.
Với sự giúp đỡ của Jedox Integrator, việc nhập dữ liệu linh hoạt có thể thực hiện dễ dàng và hoàn toàn tự động. Tất cả cơ sở dữ liệu quan hệ đã thiết lập có thể kết nối làm nguồn dữ liệu qua giao diện chuẩn hóa. Hơn nữa, các biến đổi và tổng hợp phức tạp có thể được mô hình hóa.
Tích hợp dữ liệu涉及 kết hợp dữ liệu từ một số nguồn khác biệt, được lưu trữ bằng các công nghệ khác nhau và cung cấp cái nhìn thống nhất của dữ liệu. Cung cấp đúng dữ liệu, đúng định dạng và đúng thời điểm sẽ nâng cao phân tích và quy trình kinh doanh.
Blog này đã cho bạn danh sách tất cả công cụ tích hợp dữ liệu mã nguồn mở. Trong blog tiếp theo chúng ta sẽ xem danh sách công cụ trong nhóm thứ 3 tức là tích hợp tích hợp sẵn trong Bộ sản phẩm Lớn hơn (Larger Suite of Products).