Computer >> Hướng Dẫn Máy Tính >  >> Lập Trình >> Lập Trình

Các quy trình của Kho dữ liệu là gì?

Staging dữ liệu là quy trình chính bao gồm các quy trình con sau:

Trích xuất (Extracting) – Bước trích xuất là giai đoạn đầu tiên đưa thông tin vào môi trường kho dữ liệu. Trích xuất định nghĩa đọc và học dữ liệu nguồn, và sao chép các yếu tố cần thiết vào khu vực staging dữ liệu để làm việc thêm.

Biến đổi (Transforming) – Vì dữ liệu được trích xuất vào khu vực staging dữ liệu, có một số quy trình biến đổi có thể, như sau:

  • Làm sạch dữ liệu bằng cách sửa lỗi chính tả, giải quyết xung đột miền (bao gồm tên thành phố không nhất quán với mã bưu chính), xử lý thành phần dữ liệu thiếu, và quy chuẩn hóa thành định dạng chuẩn.

  • Dùng để loại bỏ các trường được chọn từ bản ghi legacy không hữu ích cho kho dữ liệu.

  • Kết hợp nguồn dữ liệu, bằng cách khớp chính xác trên giá trị khóa hoặc bằng cách thực hiện khớp mờ (fuzzy match) trên thuộc tính không phải khóa, như tra cứu dạng văn bản của mã hệ thống legacy.

  • Tạo khóa thay thế (surrogate keys) cho mỗi dữ liệu chiều để tránh phụ thuộc vào khóa được định nghĩa bởi legacy, nơi quy trình tạo khóa thay thế thực thi tính toàn vẹn tham chiếu giữa bảng chiều và bảng sự thật.

  • Dùng để xây dựng tổng hợp (aggregates) để tăng hiệu suất truy vấn phổ biến.

Tải và Lập chỉ mục (Loading and Indexing) – Ở cuối giai đoạn biến đổi, dữ liệu ở dạng hình ảnh dữ liệu tải (load data images). Tải trong môi trường kho dữ liệu thường lấy dạng phản chiếu bảng chiều và bảng sự thật và cung cấp các bảng này cho cơ sở tải kích thước của mỗi data mart nhận.

Kiểm tra Đảm bảo Chất lượng (Quality Assurance Checking) – Khi mỗi data mart đã được tải và lập chỉ mục và cung cấp với tổng hợp thích hợp, bước cuối cùng trước khi phát hành là bước đảm bảo chất lượng. Đảm bảo chất lượng có thể kiểm tra bằng cách chạy báo cáo ngoại lệ toàn diện trên toàn bộ tập dữ liệu mới tải.

Tất cả yếu tố báo cáo phải có mặt, và tất cả số đếm và tổng phải đầy đủ. Tất cả giá trị báo cáo phải đáng tin cậy với chuỗi thời gian của cùng giá trị dự báo chúng. Báo cáo ngoại lệ được xây dựng với cơ sở ghi báo cáo người dùng cuối của data mart.

Phát hành/Xuất bản (Release/Publishing) – Khi mỗi data mart đã được tải hiện tại và đảm bảo chất lượng, cộng đồng người dùng nên được thông báo dữ liệu mới sẵn sàng. Xuất bản cũng truyền đạt bản chất bất kỳ thay đổi nào đã xuất hiện trong chiều cơ bản và giả định mới đã được đưa vào sự thật đo lường hoặc tính toán.

Truy vấn (Querying) – Truy vấn là thuật ngữ rộng bao quát tất cả hoạt động yêu cầu thông tin từ data mart, như truy vấn ad hoc bởi người dùng cuối, viết báo cáo, ứng dụng hỗ trợ quyết định phức tạp, yêu cầu từ mô hình, và khai thác dữ liệu tinh vi.