ETL là viết tắt của Extract, transform, and load (Trích xuất, biến đổi, và tải). Đây là quy trình tổ chức dựa trên dữ liệu dùng để thu thập dữ liệu từ nhiều nguồn và sau đó gom lại để hỗ trợ khám phá, báo cáo, phân tích, và ra quyết định.
Nguồn dữ liệu có thể khác biệt về loại, định dạng, khối lượng, và độ tin cậy, do đó dữ liệu cần được xử lý để hữu ích khi giao phối cùng nhau. Kho dữ liệu đích có thể là cơ sở dữ liệu, kho dữ liệu, hoặc hồ dữ liệu, dựa trên mục tiêu và thực thi kỹ thuật. Có các bước sau của ETL:
Trích xuất (Extract) – Trong quá trình trích xuất, ETL nhận diện dữ liệu và sao chép nó từ nguồn, do đó nó có thể vận chuyển dữ liệu đến kho dữ liệu đích. Dữ liệu có thể xuất hiện từ nguồn có cấu trúc và không cấu trúc, bao gồm tệp, email, phần mềm kinh doanh, cơ sở dữ liệu, thiết bị, cảm biến, bên thứ ba, v.v.
Có nhiều cách thực hiện trích xuất như:
Trích xuất một phần (Partial Extraction) – Cách đơn giản nhất để truy cập thông tin là nếu hệ thống nguồn thông báo cho chúng ta khi bản ghi đã được sửa đổi.
Trích xuất một phần (có thông báo cập nhật) (Partial Extraction with update notification) – Không phải tất cả hệ thống có thể cung cấp thông báo trong trường hợp cập nhật đã xảy ra; nhưng chúng có thể đánh dấu những bản ghi đã được biến đổi và hỗ trợ trích xuất các bản ghi như vậy.
Trích xuất đầy đủ (Full extract) – Một số hệ thống không thể xác định dữ liệu nào đã thay đổi. Trong trường hợp này, trích xuất đầy đủ là khả thi duy nhất để trích xuất bản ghi ra khỏi hệ thống. Phương pháp này cần có bản sao trích xuất cuối cùng cùng định dạng để có thể xác định thay đổi đã được tạo.
Biến đổi (Transform) – Bước thứ hai bao gồm biến đổi thông tin thô đã được trích xuất từ nguồn thành định dạng có thể dùng bởi nhiều ứng dụng. Trong giai đoạn này, dữ liệu được làm sạch, ánh xạ, và biến đổi, tuân theo schema xác định, để nó tìm thấy nhu cầu vận hành.
Quy trình này yêu cầu nhiều loại biến đổi cung cấp chất lượng và toàn vẹn dữ liệu. Dữ liệu không thường được tải chính xác vào nguồn dữ liệu đích, mà thay vào đó, thường để tải nó vào cơ sở dữ liệu dàn dựng (staging database).
Bước này đảm bảo rollback nhanh trong trường hợp điều gì không đi như kế hoạch. Trong giai đoạn này, có thể tạo tài liệu kiểm toán cho tuân thủ quy định, hoặc chẩn đoán và sửa chữa một số vấn đề dữ liệu.
Tải (Load) – ETL di chuyển thông tin đã biến đổi vào kho dữ liệu đích. Bước này có thể yêu cầu tải ban đầu tất cả thông tin nguồn, hoặc có thể là tải thay đổi tăng dần trong thông tin nguồn. Có thể tải dữ liệu thời gian thực hoặc theo lô theo lịch trình.