Computer >> Máy Tính >  >> Lập trình >> Lập trình

Triển khai Kho dữ liệu là gì?

Kho dữ liệu chứa khối lượng dữ liệu khổng lồ. Máy chủ OLAP yêu cầu các truy vấn hỗ trợ quyết định phải được xác nhận theo thứ tự giây. Do đó, điều cần thiết đối với các hệ thống kho dữ liệu là cung cấp các kỹ thuật tính toán khối lập phương, kỹ thuật truy cập và kỹ thuật xử lý truy vấn hiệu quả cao.

Tính toán hiệu quả các khối dữ liệu

Cốt lõi của phân tích dữ liệu đa chiều là tính toán hiệu quả các tổng hợp trên nhiều nhóm thứ nguyên. Theo thuật ngữ SQL, những tập hợp này được gọi là từng nhóm một. Mỗi nhóm nhỏ có thể được biểu thị bằng một khối lập phương, trong đó tập hợp các nhóm nhỏ lại tạo thành một mạng hình khối xác định một khối dữ liệu.

Có ba lựa chọn để thực hiện hóa khối dữ liệu với một khối cơ sở -

  • Không hiện thực hóa - Nó không tính toán trước bất kỳ khối lập phương “nonbase” nào. Điều này dẫn đến việc tính toán các tổng hợp đa chiều đắt tiền khi đang di chuyển, có thể cực kỳ chậm.

  • Hiện thực hóa đầy đủ - Nó có thể tính toán trước tất cả các hình khối. Mạng kết quả của các khối lập phương được tính toán được định nghĩa là khối đầy đủ. Lựa chọn này thường yêu cầu một lượng lớn không gian bộ nhớ để lưu trữ tất cả các khối lập phương được tính toán trước.

  • Hiện thực hóa một phần - Nó có thể tính toán một cách có chọn lọc một tập hợp con thích hợp của toàn bộ tập hợp các hình khối có thể có. Ngoài ra, nó có thể tính toán một tập hợp con của khối lập phương, chỉ bao gồm những ô đáp ứng một số tiêu chí do người dùng chỉ định, bao gồm cả nơi số lượng bộ của mỗi ô đang tuân theo một số ngưỡng.

Lập chỉ mục Dữ liệu OLAP

Nó có thể hỗ trợ truy cập dữ liệu hiệu quả, một số hệ thống kho dữ liệu cung cấp cấu trúc chỉ mục và các khung nhìn cụ thể hóa (sử dụng hình khối). Phương pháp lập chỉ mục bitmap nổi tiếng trong các sản phẩm OLAP vì nó cho phép tìm kiếm nhanh trong các khối dữ liệu. Chỉ mục bitmap là một đại diện thay thế của danh sách ID bản ghi (RID).

Trong chỉ mục bitmap cho một thuộc tính nhất định, có một vectơ bit riêng biệt, Bv, cho mỗi giá trị v trong miền của thuộc tính. Nếu miền của một thuộc tính nhất định bao gồm n giá trị, thì n bit được yêu cầu cho mỗi mục nhập trong chỉ mục bitmap (tức là có n vectơ bit). Nếu thuộc tính có giá trị v cho một hàng nhất định trong bảng dữ liệu, thì bit xác định giá trị đó được đặt thành 1 trong hàng tương ứng của chỉ mục bitmap. Tất cả các bit khác cho hàng đó được đặt thành 0.

Xử lý hiệu quả các truy vấn OLAP

Mục tiêu của việc hiện thực hóa khối lập phương và xây dựng cấu trúc chỉ mục OLAP là để tăng tốc độ xử lý truy vấn trong khối dữ liệu.

  • Xác định thao tác nào nên được thực hiện trên các hình khối có sẵn - Điều này bao gồm việc chuyển đổi một số hoạt động chọn, chiếu, cuộn lên (từng nhóm) và chi tiết hóa được biểu thị trong truy vấn thành các hoạt động SQL và / hoặc OLAP tương ứng. Ví dụ:cắt và cắt một khối dữ liệu có thể tương ứng với các hoạt động lựa chọn và chiếu trên một khối lập phương được vật chất hóa.

  • Xác định (các) khối lập phương cụ thể hóa mà các hoạt động liên quan sẽ được áp dụng - Điều này bao gồm việc xác định một số hình khối đã được vật chất hóa có khả năng được sử dụng để trả lời truy vấn, lược bỏ tập hợp sau bằng cách sử dụng kiến ​​thức về mối quan hệ “thống trị” giữa các hình khối, ước tính giá trị của việc sử dụng các hình khối được vật chất hóa còn lại và chọn hình khối với chi phí tối thiểu.