Kho dữ liệu (Data Warehousing) là kỹ thuật chính dùng thu thập và quản lý dữ liệu từ nhiều nguồn để đưa ra cái nhìn kinh doanh có ý nghĩa. Kho dữ liệu được thiết kế đặc biệt hỗ trợ quyết định quản trị.
Nói đơn giản, kho dữ liệu là cơ sở dữ liệu được duy trì riêng biệt từ cơ sở dữ liệu vận hành của tổ chức. Hệ thống kho dữ liệu cho phép tích hợp nhiều hệ thống ứng dụng. Cung cấp xử lý dữ liệu bằng nền tảng vững chắc của thông tin lịch sử tổng hợp để phân tích.
Kho dữ liệu tổng quát và hợp nhất thông tin trong không gian đa chiều. Xây dựng kho dữ liệu bao gồm làm sạch dữ liệu, tích hợp dữ liệu, và chuyển đổi dữ liệu, coi là bước tiền xử lý quan trọng cho khai thác dữ liệu. Các công cụ và tiện ích thực hiện các chức năng sau:
Trích Xuất Dữ Liệu
Làm Sạch Dữ Liệu − Làm sạch dữ liệu bằng cách điền giá trị thiếu, làm mịn dữ liệu nhiễu, xác định và loại bỏ giá trị ngoại lai, loại bỏ không nhất quán.
Loại Làm Sạch Dữ Liệu
Giá Trị Thiếu − Điền giá trị phù hợp. Các phương pháp điền giá trị.
Dữ Liệu Nhiễu − Nhiễu là lỗi ngẫu nhiên hoặc biến thiên của biến đo lường. Các kỹ thuật làm mịn xử lý nhiễu:
Binning − Làm mịn giá trị dữ liệu đã sắp xếp bằng cách tham khảo "láng giềng". Giá trị sắp xếp chia thành nhiều bucket/bin. Vì tham khảo láng giềng, binning thực hiện làm mịn cục bộ.
Hồi Quy − Làm mịn dữ liệu bằng cách khớp bản ghi vào hàm, ví dụ hồi quy. Hồi quy tuyến tính tìm đường "tốt nhất" khớp hai thuộc tính để một dự đoán cái kia. Hồi quy tuyến tính đa biến mở rộng, nhiều hơn hai thuộc tính, khớp dữ liệu vào bề mặt đa chiều.
Cụm (Clustering) − Giúp xác định giá trị ngoại lai. Giá trị tương tự gom vào cụm, giá trị ngoài cụm gọi là ngoại lai.
Chuyển Đổi Dữ Liệu − Biến đổi hoặc hợp nhất dữ liệu thành dạng phù hợp khai thác. Bao gồm:
Làm Mịn − Loại bỏ nhiễu. Kỹ thuật: binning, hồi quy, cụm.
Tổng Hợp − Áp dụng phép tóm tắt/tổng hợp.
Tổng Quát Hóa − Thay thế dữ liệu cấp thấp/nguyên thủy bằng khái niệm cấp cao qua hệ thống khái niệm.
Tải (Load) − Sắp xếp, tóm tắt, hợp nhất, tính view, kiểm tra toàn vẹn, xây chỉ mục và phân vùng.
Làm Mới (Refresh) − Lan truyền cập nhật từ nguồn dữ liệu đến kho dữ liệu.