Lưu trữ dữ liệu (Data Warehousing) là phương pháp thu thập và xử lý dữ liệu từ nhiều nguồn để đưa ra thông tin kinh doanh có ý nghĩa. Kho dữ liệu thiết kế đặc biệt hỗ trợ quyết định quản trị.
Nói đơn giản, kho dữ liệu định nghĩa database duy trì độc lập từ database vận hành của tổ chức. Hệ thống kho dữ liệu cho phép tích hợp nhiều hệ thống ứng dụng. Cung cấp xử lý dữ liệu bằng nền tảng vững chắc thông tin hợp nhất, lịch sử để phân tích.
Kho dữ liệu khái quát hóa và tập trung dữ liệu trong không gian đa chiều. Phát triển kho dữ liệu bao gồm làm sạch dữ liệu, tích hợp dữ liệu, chuyển đổi dữ liệu và coi như bước tiền xử lý thiết yếu cho khai thác dữ liệu.
OLAP là phương pháp bao quanh lưu trữ dữ liệu. Trong mô hình này, dữ liệu lưu theo định dạng cho phép tạo khai thác dữ liệu/tài liệu hiệu quả. Thiết kế OLAP nên đáp ứng ghi chép trên tập bản ghi lớn với giảm sút nhỏ hiệu quả vận hành.
Thuật ngữ hoàn chỉnh biểu diễn lấy cấu trúc dữ liệu trong cấu trúc OLTP và ảnh hưởng dữ liệu tương tự trong cấu trúc OLAP là "Mô hình chiều" (Dimensional Modeling). Là khối xây dựng cơ bản của Lưu trữ dữ liệu.
Kiểm thử kho dữ liệu kiểm tra chất lượng dữ liệu như đầy đủ dữ liệu (data completeness) đảm bảo tất cả dữ liệu kỳ vọng được tải và chuyển đổi dữ liệu (data transformation) đảm bảo tất cả dữ liệu thay đổi đúng theo quy tắc kinh doanh hoặc thông số thiết kế.
Kiểm thử môi trường vận hành kho dữ liệu là tập thử nghiệm quan trọng khác phải thực hiện. Có các khía cạnh cần kiểm tra:
- Bảo mật – Khó kiểm tra trừ khi có tài liệu, nhưng không được tiết lộ tất cả thông tin. Nếu có tài liệu bảo mật kho dữ liệu riêng, kiểm tra là vấn đề đơn giản trích xuất danh sách hoạt động bị cấm và thiết kế thử nghiệm cho mỗi hoạt động. Bộ thử này nên chạy nhiều lần trong kiểm thử hệ thống để đảm bảo dữ liệu mới thêm không phá vỡ ràng buộc bảo mật.
- Trong kiểm thử hệ thống, cấu hình đĩa nên kiểm tra kỹ để xác định tắc nghẽn I/O tiềm ẩn.
- Điều khiển hoạt động hàng ngày của kho dữ liệu, phần mềm lập lịch cần thiết và cần kiểm tra kỹ trong kiểm thử hệ thống. Phần mềm lập lịch cần scheduler kiểm soát quá xử lý và quản lý tổng hợp.
Các thách thức kiểm thử kho dữ liệu:
- Lựa chọn dữ liệu từ nhiều hệ thống nguồn.
- Khối lượng và độ phức tạp dữ liệu.
- Thông tin không nhất quán và dư thừa trong kho dữ liệu.
- Không có bài kiểm tra toàn diện.