Trong các blog trước về Big Data, chúng tôi đã nói rất nhiều về Big Data từ nó là gì, kiến trúc Big Data là gì, đến những công cụ giúp chúng ta quản lý, vận hành, lưu trữ và thực sự tận dụng khối lượng Dữ liệu Khổng lồ mà chúng ta có hôm nay. Chúng ta thậm chí đã thảo luận một số sự thật, và dos and don'ts của Big Data. Gần đây, chúng ta đã thảo luận về một số V của Big Data đại diện cho đặc điểm của Big Data và các thách thức có thể cho Big Data.
Vì vậy, chỉ cần ôn lại nhanh các công cụ chúng tôi đã bao gồm như sau:
- Công cụ Trích xuất dữ liệu (Data Extraction tools) cả mã nguồn mở và thương mại.
- Công cụ Lưu trữ đám mây (Cloud Data Storage Tools) để lưu trữ big data của doanh nghiệp.
- Công cụ Làm sạch dữ liệu (Data Cleaning tools) dùng offline để sửa lỗi trong big data.
- Khai phá dữ liệu (Data Mining) để đào thông tin hữu ích ẩn giấu trong terabyte dữ liệu này
- Công cụ Trực quan hóa dữ liệu (Data Visualization tools) để cho insight dữ liệu diện mạo đồ họa.
Chuyển sang lớp chức năng tiếp theo của Kiến trúc Big Data, đó là kết nối giữa tất cả các chức năng khác tức là Tích hợp dữ liệu (Data Integration). Tích hợp dữ liệu là quá trình kết hợp dữ liệu từ nhiều nguồn khác nhau, thường để phân tích, trí tuệ kinh doanh, báo cáo, hoặc tải vào ứng dụng.
Các công cụ tích hợp dữ liệu có thể chia thành 3 nhóm như sau:
- Tích hợp sẵn trong Bộ sản phẩm Lớn hơn (In-built in Larger Suite of Products)
- Nền tảng Độc lập (Independent Platforms)
- Công cụ Mã nguồn mở (Open Source Tools)
Công cụ Tích hợp dữ liệu Độc lập
1. Adeptia Suite
Đây là nền tảng phần mềm tích hợp linh hoạt và toàn diện nhất trên thị trường. Đây là phần mềm tích hợp dữ liệu cấp doanh nghiệp được quản trị tập trung để đảm bảo hiệu suất mượt mà và uptime. Phần mềm này có giải pháp cho cả tích hợp đám mây và tại chỗ (on-premise).
2. Apatar
Nó giúp bạn thiết lập kết nối giữa nhiều ứng dụng và nguồn dữ liệu (Oracle, MS SQL, MySQL, Sybase, DB2, SalesForce.Com, SugarCRM, và hơn nữa). Nó có thể hoạt động theo hai cách: nền tảng độc lập và qua Visual Job Designer (Thiết kế công việc trực quan) không cần viết code. Cũng có phiên bản hỗ trợ Salesforce và Quick Books.
3. Centerprise Data Integrator
Công cụ Tích hợp dữ liệu này cung cấp nền tảng tích hợp mạnh mẽ, có khả năng mở rộng, hiệu suất cao, và giá cả phải chăng được thiết kế cho sự dễ dàng và đủ mạnh để đối phó với thách thức tích hợp dữ liệu phức tạp. Nó có khả năng ánh xạ dữ liệu phức tạp nên trở thành nền tảng tốt để vượt qua thách thức của cấu trúc phân cấp phức tạp như XML, trao đổi dữ liệu điện tử, dịch vụ web, và hơn nữa.
4. Clover ETL
Clover ETL là bộ tích hợp dữ liệu thuần túy giúp phát triển nhanh chóng. Dòng sản phẩm này có trong danh sách phần mềm miễn phí cho chức năng cốt lõi và ba phiên bản trả phí tăng dần bao gồm nhiều connector hơn, lập lịch và tự động hóa, và xử lý song song cũng như hỗ trợ big data. Nó cho phép tự động hóa hỗ trợ đường ống dữ liệu. Nó có mô hình thực thi đa luồng (multi-threaded execution model), cho hoạt động hàng loạt.
5. Elixir Data ETL
Công cụ Tích hợp dữ liệu Elixir cung cấp thao tác dữ liệu tự phục vụ, theo nhu cầu cho cả người dùng kinh doanh và doanh nghiệp cho nhu cầu xử lý dữ liệu. Nó cung cấp tính năng mã nguồn mở để dễ dàng tích hợp và tùy chỉnh dữ liệu qua các nguồn khác nhau và nổi tiếng với sự bao quát, được xây dựng để đáp ứng nhu cầu phân tích dữ liệu vận hành.
6. Informatica
Informatica là nhà cung cấp hàng đầu phần mềm tích hợp dữ liệu. Công cụ tích hợp dữ liệu này truy cập và tích hợp dữ liệu từ bất kỳ hệ thống kinh doanh nào, bất kỳ định dạng nào và phân phối dữ liệu đó khắp doanh nghiệp ở quy mô và tốc độ bất kỳ. Nó loại bỏ rủi ro nhập thủ công, qua kỹ thuật di chuyển dữ liệu hướng hiệu suất cao, bao gồm tự động hóa, tái sử dụng dữ liệu và hỗ trợ agile.
Informatica Cloud kết nối với nhiều loại ứng dụng tại chỗ và dựa trên đám mây — bao gồm ứng dụng doanh nghiệp, cơ sở dữ liệu, tệp tin phẳng, feed tệp tin và thậm chí trang mạng xã hội.
7. Sản phẩm Tích hợp dữ liệu của Talend
Sản phẩm Tích hợp dữ liệu Talend giúp bạn tối đa hóa giá trị dữ liệu cho doanh nghiệp. Nền tảng dữ liệu Talend dựa trên kiến trúc mở và có khả năng mở rộng. Nó có bộ công cụ mã nguồn mở để truy cập, biến đổi và tích hợp dữ liệu từ bất kỳ hệ thống kinh doanh nào theo thời gian thực hoặc batch để đáp ứng cả nhu cầu tích hợp dữ liệu vận hành và phân tích. Để tích hợp chức năng, nó có thể kết nối với cơ sở dữ liệu gốc, ứng dụng đóng gói (ERP, CRM, v.v.), SaaS và Ứng dụng Đám mây, mainframe, tệp tin, Dịch vụ Web, kho dữ liệu, data mart, ứng dụng OLAP và nhiều hơn nữa.
8. Syncsort
DMExpress — sản phẩm tích hợp dữ liệu旗舰 của Syncsort, là phiên bản nhanh nhất với công nghệ nén hiệu suất cao và thuật toán join hiệu suất cao. Nó có tất cả thành phần cần thiết để tăng tốc quy trình tích hợp dữ liệu. Nó hỗ trợ trao đổi metadata, cho phép bạn dễ dàng nhập job từ nền tảng khác, như Informatica và IBM DataStage, để đẩy nhanh triển khai.
Xem thêm: Thuật ngữ và Công nghệ Điện toán đám mây
Có hai biến thể khác của nhà cung cấp này
- DMX-h — Cung cấp hỗ trợ cho HaoopSort và Hadoop ETL
- Syncsort MFX — Loại bỏ độ trễ dữ liệu bằng cách giảm thời gian CPU, thời gian trôi qua, và hoạt động I/O đĩa trong khi sử dụng tài nguyên tối thiểu trên phần cứng thương phẩm. Nó là giải pháp sắp xếp mainframe duy nhất chuyển chu kỳ CPU sang engine zIIP.
Danh sách trên là các công cụ Tích hợp dữ liệu Độc lập tốt nhất. Trong blog tiếp theo tôi sẽ liệt kê hai nhóm khác của Công cụ Tích hợp dữ liệu. Một nhóm có công cụ cũng giúp nhiều chức năng Big Data khác. Và nhóm kia bao gồm công cụ rơi vào danh mục Mã nguồn mở.