Microsoft SQL Server Integration Services (SSIS) là nền tảng cấp doanh nghiệp để thiết lập tích hợp dữ liệu (data integration) và biến đổi dữ liệu (data transformation).
SSIS được tích hợp sẵn trong hệ quản trị cơ sở dữ liệu quan hệ (RDBMS) SQL Server. Nó dùng để quản lý đối tượng và dữ liệu SQL Server, thực thi các tác vụ liên quan dữ liệu: làm sạch (cleansing), khai thác (mining), quy trình ELT (extract, load, transform) từ nhiều nguồn, sao chép/tải file, nạp kho dữ liệu (data warehouse).
SSIS trích xuất, biến đổi, gộp dữ liệu từ nhiều cơ sở dữ liệu quan hệ, file XML, file flat, sau đó nạp vào kho dữ liệu doanh nghiệp hoặc hệ thống đích khác. Bao gồm bộ công cụ phát triển/kiểm tra gọi là SQL Server Data Tools (SSDT), thành phần máy chủ để triển khai/chạy gói, và SQL Server Management Studio (SSMS) để quản lý, giám sát các quy trình tích hợp.
Kiến trúc SSIS
Hai engine chính tạo nên kiến trúc SSIS, tách biệt luồng dữ liệu (data movement/transformation) và luồng điều khiển gói (package control flow/management):
- Data Flow Engine: Engine hiệu năng cao chuyên xử lý luồng dữ liệu – trích xuất, biến đổi, nạp (ETL) từ nguồn phân tán. Mỗi task Data Flow chứa các component: nguồn (sources), biến đổi (transformations), đích (destinations). Các component này có thể tạo/cấu hình tự động bằng cách lập trình engine. Developer cũng có thể tạo custom object.
- Run-time Engine: Điều khiển quản lý và thực thi gói. Triển khai hạ tầng control flow, package management: thứ tự thực thi, logging, biến, xử lý sự kiện. Cho phép lập trình tự động tạo, cấu hình, thực thi gói, điều khiển luồng thực thi, thiết lập logging, event handler, biến.
Các yếu tố kiến trúc khác: SSIS Designer, SSIS Wizards, Custom applications, Command-line utilities, Log providers, Data sources, Event handlers, Enumerators, Tasks/custom tasks, Data flow components/custom components.
Tính năng chính của SSIS
- Built-in data source connectors. Kết nối nguồn phổ biến (SQL Server, MySQL, PostgreSQL, Azure Blob, Oracle, Excel…) qua SQL Server Import and Export Wizard.
- Nhiều built-in tasks và transformations. Developer có thể viết custom task.
- Kết nối và task Hadoop/HDFS.
- Nguồn và đích ODBC.
- Kết nối và task Azure data source.
- Công cụ profiling dữ liệu cơ bản.
Các tính năng trên có sẵn ở cả phiên bản Standard và Enterprise của SQL Server.
Phiên bản Enterprise bổ sung:
- Nguồn/đích nâng cao: Oracle, Teradata source, Attunity destination, SAP BW source/destination, dimension processing destination.
- Task/biến đổi nâng cao: Data mining query transformation, fuzzy grouping/lookup, v.v.
Lập trình SSIS
Hai engine (data flow, run-time) có thể tự động hóa và mở rộng bằng lập trình để đáp ứng yêu cầu tích hợp của tổ chức. Engine viết bằng native code nhưng truy cập qua SSIS object model.
Khi lập trình SSIS, developer có thể:
- Mở rộng gói bằng custom data flow components (source, transformation, destination) – có sẵn trong SSIS Designer (công cụ đồ họa).
- Tạo, cấu hình, chạy gói bằng chương trình từ ứng dụng khác.
- Tạo custom integration: connection managers, tasks, enumerators, log providers, data flow components – dùng base class trong SSIS object model.
- Viết code trong Script task cho mở rộng ad-hoc (không tái sử dụng) – SSIS lo phần infrastructure, dev tập trung logic nghiệp vụ.
- Tạo và thao tác gói động (dynamic packages) theo chương trình: tải gói hiện có (giữ nguyên hoặc cấu hình lại), dùng làm template, thực thi; tạo gói mới hoàn toàn cấu hình object-by-object, property-by-property.
SSIS hỗ trợ đầy đủ .NET Framework và SSIS object model, cho phép lập trình bằng ngôn ngữ tuân thủ .NET (C#, VB.NET). .NET SDK (bao gồm compiler VB/C#) cần cài thêm để bật tài liệu SQL Server trong Visual Studio. Lưu ý: SSIS APIs không tương thích với VBScript và ngôn ngữ COM-based khác.
SSIS Object Model
Object model được quản lý hoàn toàn (fully managed), làm cho hai engine có sẵn và lập trình được. Cho phép tạo, cấu hình gói (kể cả metadata-driven) theo dòng code, sau đó thực thi bằng bất kỳ ngôn ngữ managed nào. Cũng cho phép code custom task và các đối tượng gói khác. Gần như mọi khía cạnh của gói SSIS đều có thể lập trình và mở rộng.
Kết hợp object model với công cụ no-code đồ họa (SSIS Designer) tạo nên tổ hợp mạnh mẽ để trích xuất, biến đổi dữ liệu giải quyết thách thức kinh doanh phức tạp.
Các yếu tố cốt lõi của SSIS
SSIS là nền tảng tích hợp và biến đổi dữ liệu hoàn chỉnh cho SQL Server và SSIS Integration Runtime trong Azure Data Factory. Bao gồm:
- Built-in tasks (control flow elements trong gói).
- Built-in transformations (aggregate, merge, distribute, modify data).
- SSIS Designer (công cụ đồ họa no-code).
- SSIS Database Catalog (SSISDB).
Tasks: Định nghĩa đơn vị công việc trong control flow. Loại task: Data Flow, Data Preparation, Workflow, SQL Server tasks. Custom task viết bằng .NET hoặc COM-supported language.
Transformations: Thành phần gói tổng hợp, hợp nhất, phân phối, sửa đổi data. Loại: BI transformations (cleansing, mining), row transformations (cập nhật giá trị cột, tạo cột mới). Custom transformation có output đồng bộ/bất đồng bộ.
SSIS Designer: GUI với tab, dialog, window thân thiện. Xây dựng control/data flow, thêm event handler, undo/redo, xem tiến độ thực thi runtime – không cần code. Dịch vụ SSIS không cần chạy để tạo/sửa gói trong Designer.
SSISDB Catalog: Lưu trữ projects, packages, parameters, environments, lịch sử vận hành. Cần thiết để triển khai project trong SSIS. Cho phép truy vấn view trong SSISDB để kiểm tra đối tượng, gọi stored procedure để quản lý. Có thể chạy on-premises hoặc di chuyển workload lên Azure (giảm chi phí, tăng khả dụng, mở rộng). Triển khai, chạy, quản lý project/gói trên Azure SQL Database dùng công cụ quen thuộc (SSMS).
Tính năng mới trong SQL Server 2025 Integration Services (v17.x Preview, tháng 7/2025)
- Tính năng mới: ADO.NET connection manager hỗ trợ Microsoft SqlClient Data Provider. Cho phép gói truy cập nguồn dữ liệu (SQL Server) qua provider .NET. SSIS tạo connection manager và thiết lập thuộc tính (lập trình hoặc qua SSIS Designer).
- Breaking change: Tác động tổ chức nâng cấp lên SSIS 2025 dùng .NET API Microsoft.SqlServer.Dts.Runtime Namespace. Project phải cập nhật tham chiếu và rebuild khi gói chứa Execute SQL Task hoặc có task SSIS phụ thuộc vào SQL Server Management Objects (SMO).
- Deprecated: SSMS legacy SSIS service; Integration Services 32-bit mode (chỉ hỗ trợ 64-bit từ nay); SqlClient Data Provider (SDS) connection type (khuyên dùng ADO.NET).
- Removed: Attunity CDC components và CDC service cho Oracle; Microsoft Connector for Oracle; Hadoop Hive Task, Pig Task, File System Task components.
Cải tiến các phiên bản trước
SQL Server 2016: SSISDB Upgrade Wizard (nâng cấp catalog database, hỗ trợ disaster recovery). Thêm SSIS catalog vào AlwaysOn Availability Group. Cải tiến quản lý gói (lưu container/control flow task thành template tái dùng). SSIS Feature Pack cho Azure (kết nối nguồn Azure, truyền dữ liệu cloud-on-prem). Các connector: SAP BW, Oracle/Teradata v4.0, Analytics Platform System.
SQL Server 2017: Scale Out cho SSIS (chạy SSIS trên nhiều máy, tránh single point of failure). Cải tiến failover handling execution logs từ Scale Out Workers (log persist ổ cục nếu worker dừng đột ngột). Thuộc tính global mới chỉ định chế độ thực thi gói mặc định khi gọi stored procedure với runinscaleout=null.
Lịch sử SSIS
SSIS ra mắt với SQL Server 2005 thay thế Data Transformation Services (DTS – xuất hiện SQL Server 7.0 năm 1998). Trước DTS, DBA viết tool tùy biến hoặc dùng tool bên thứ ba. Microsoft liên tục bổ sung tính năng: công cụ/wizard đồ họa, workflow (FTP), thực thi SQL, gửi email, nguồn/đích ETL, biến đổi (thu gom, làm sạch, merge, copy), dịch vụ quản trị, API object model. Tính năng phổ biến: Import/Export Wizard, packaged data source connectors.
Hỗ trợ SSIS
SSIS phụ thuộc phiên bản: phải dùng phiên bản SSIS khớp với edition SQL Server. Không hỗ trợ trên SQL Express hay Workgroup. Cần mua Standard, Business Intelligence hoặc Enterprise để có SSIS Designer, runtime components, basic profiling tools, prebuilt transformations. Advanced adapters và advanced transformations chỉ có ở Enterprise edition.