Computer >> Hướng Dẫn Máy Tính >  >> Lập Trình >> Lập Trình

Thiết Kế Data Warehouse Được Động Bởi Chất Lượng (Quality-driven Data Warehouse Design)


Data warehouse định nghĩa cơ sở dữ liệu duy trì độc lập với cơ sở dữ liệu vận hành của tổ chức. Hệ thống data warehouse cho phép tích hợp nhiều hệ thống ứng dụng. Chúng hỗ trợ xử lý dữ liệu bằng cách cung cấp nền tảng vững chắc của bản ghi hợp nhất, lịch sử để phân tích.

Data warehouse có thể được xem như một tập hợp materialized views được định nghĩa trên các base relations từ xa. Khi một truy vấn được hình thức hóa, nó được tính toán cục bộ, sử dụng materialized views, mà không truy cập nguồn dữ liệu ban đầu.

Data warehouse là một thực thể chủ động phát triển liên tục theo thời gian. Theo thời gian, các truy vấn mới cần được trả lời bởi chúng. Các truy vấn khác nhau có thể được trả lời chỉ dùng materialized views. Nói chung, tuy nhiên, các view mới cần được thêm vào data warehouse.

Sau khi hạ tầng online transaction processing (OLTP) cơ bản đã có mặt trong một số tổ chức, không ít nhất thông qua các công cụ enterprise resource planning chuẩn hóa như SAP/R3, mục tiêu quan tâm hiện đang mở rộng theo ít nhất ba hướng:

  • Phạm vi rộng hơn các nguồn dữ liệu multimedia nội bộ và bên ngoài tổ chức.
  • Phạm vi rộng hơn các client với hồ sơ quan tâm, khả năng đa dạng và tham số tình huống.
  • Chuyển đổi khối lượng lớn dữ liệu kinh nghiệm do xử lý giao dịch tạo ra thành kiến thức áp dụng cho thông tin và hành động tổ chức.

Một loạt rộng rãi kiến trúc logistics luồng dữ liệu đang được đề xuất dưới nhãn như supply chain management và business-to-business e-commerce. Trong các kiến trúc này, database có thể được xem như kho dữ liệu trung gian ngắn và trung hạn trong khi data warehouse phục vụ cho bộ nhớ dài hạn, tạo kiến thức và quản lý.

Hệ thống data warehouse bao gồm databases (source databases, materialized views trong data warehouse), data transport agents (các tác tử truyền dữ liệu) chuyển bản ghi từ database này sang database khác, và repository lưu trữ metadata về hệ thống và sự mở rộng của nó.

Trong kiến trúc này, các nguồn dữ liệu dị chất trước tiên được làm cho phù hợp theo cách thống nhất thông qua các cơ chế trích xuất gọi là wrappers, sau đó mediators đảm nhận dịch vụ tích hợp dữ liệu và giải quyết xung đột. Sự tách biệt giữa wrappers và mediators là quyết định thiết kế có chủ đích, phản ánh sự tách biệt giữa service wrappers và request brokers trong hệ thống middleware như CORBA.

Các bản ghi tiêu chuẩn hóa và tích hợp kết quả được lưu trữ như materialized views trong data warehouse. Các base views này thường được tổng hợp nhẹ. Có thể tùy chỉnh chúng cho nhiều analist users, data marts với thông tin tổng hợp hơn về các lĩnh vực quan tâm cụ thể được xây dựng như second-level caches, sau đó được truy cập bởi các công cụ phân tích dữ liệu từ query facilities đến spreadsheet tools đến hệ thống khai thác dữ liệu đầy đủ.