Trong quy trình data warehousing, khu vực data staging (staging area) bao gồm data staging server software và data store archive (repository) lưu kết quả hoạt động extraction (trích xuất), transformation (chuyển đổi), loading (tải).
Data staging software server tạm thời lưu trữ và thay đổi dữ liệu trích xuất từ nguồn dữ liệu OLTP và archival repository lưu trữ dữ liệu đã làm sạch, chuyển đổi và thuộc tính để tải vào data marts và data warehouses.
Quy trình data staging nhập thông tin dưới dạng streams hoặc files, thay đổi nó, tạo ra dữ liệu tích hợp, sạch, và stage (chuẩn bị) nó để tải vào data warehouses, data marts, hoặc Operational Data Stores.
Một data staging tool có sẵn, và dữ liệu nằm trong database. Luồng dữ liệu bắt đầu từ hệ thống nguồn, đi qua transformation engine, vào staging database.
Trong phương pháp thứ hai, có thể bắt đầu từ hệ thống legacy mainframe, trích xuất bản ghi mong muốn vào flat file, chuyển file đến staging server, chuyển đổi nội dung, và tải thông tin đã chuyển đổi vào staging database.
Khu vực staging data warehouse là khu vực tạm thời nơi dữ liệu từ hệ thống nguồn được sao chép. Staging area thường cần trong Data Warehousing Architecture vì lý do thời gian (timing). Tóm lại, tất cả thông tin cần thiết phải có sẵn trước khi dữ liệu có thể được hợp nhất vào Data Warehouse.
Do chu kỳ kinh doanh khác nhau, chu kỳ xử lý dữ liệu, hạn chế phần cứng và tài nguyên mạng, và yếu tố địa lý, không thể trích xuất tất cả thông tin từ tất cả Operational databases chính xác cùng một lúc.
Ví dụ: Có thể hợp lý trích xuất dữ liệu bán hàng hàng ngày, nhưng trích xuất hàng ngày không phù hợp cho thông tin tài chính cần quy trình đối soát cuối tháng. Tương tự, trích xuất dữ liệu "khách hàng" từ database Singapore lúc 12h trưa EST có thể hợp lý, nhưng không phù hợp cho dữ liệu "khách hàng" trong database Chicago.
Dữ liệu trong Data Warehouse có thể là persistent (còn lại lâu dài) hoặc transitory (chỉ tồn tại tạm thời). Không phải tất cả doanh nghiệp đều cần data warehouse staging area. Đối với nhiều doanh nghiệp, việc dùng ETL để copy dữ liệu trực tiếp từ operational databases vào Data Warehouse là phù hợp.
Ưu và Nhược Điểm Của Data Staging
Ưu điểm
- Quá trình staging được kiểm soát song song với quá trình transformation.
- Disk I/O giảm một nửa vì staging table chỉ được ghi vào, thay vì ghi vào rồi trích xuất lại.
Nhược điểm
- Nếu quá trình transformation thất bại, quá trình staging cũng sẽ dừng lại.