Kho dữ liệu thường có kiến trúc ba cấp (tier) bao gồm:
Tầng dưới (bottom tier) là máy chủ cơ sở dữ liệu kho, thường là hệ thống CSDL quan hệ. Công cụ back-end dùng để nạp bản ghi vào tầng dưới từ CSDL vận hành hoặc nguồn bên ngoài (dữ liệu hồ sơ người dùng do chuyên gia ngoài hỗ trợ).
Các công cụ này thực hiện trích xuất, làm sạch, chuyển đổi (ví dụ: gộp dữ liệu cùng nguồn thành định dạng thống nhất), và nạp, làm mới để cập nhật kho dữ liệu. Dữ liệu trích xuất qua giao diện lập trình ứng dụng gọi là gateway.
Gateway được hỗ trợ bởi DBMS nền tảng, cho phép chương trình client tạo mã SQL thực thi tại server. Ví dụ gateway: ODBC (Open Database Connection), OLEDB (Microsoft), JDBC (Java Database Connection). Tầng này cũng chứa kho metadata, lưu thông tin về kho dữ liệu và nội dung.
Tầng giữa (middle tier) là máy chủ OLAP, thường triển khai bằng mô hình OLAP quan hệ (ROLAP) - DBQL quan hệ mở rộng ánh xạ phép toán đa chiều sang phép toán quan hệ chuẩn, hoặc mô hình OLAP đa chiều (MOLAP) - server chuyên dụng trực tiếp thực hiện dữ liệu và phép toán đa chiều.
Tầng trên (top tier) là lớp client front-end. Bao gồm công cụ truy vấn và báo cáo, công cụ phân tích, và/hoặc công cụ khai thác dữ liệu (phân tích xu hướng, dự đoán, v.v.).
Về góc độ kiến trúc, có ba mô hình kho dữ liệu: kho doanh nghiệp (enterprise warehouse), kho dữ liệu chuyên đề (data mart), và kho ảo (virtual warehouse).
Kho Doanh Nghiệp − Thu thập tất cả dữ liệu về chủ đề trải rộng toàn tổ chức. Hỗ trợ tích hợp dữ liệu toàn công ty, thường từ một hoặc nhiều hệ thống vận hành hoặc nhà cung cấp dữ liệu ngoài, phạm vi cross-functional. Chứa dữ liệu chi tiết và tóm tắt, kích thước từ vài GB đến hàng nghìn GB, TB. Triển khai trên mainframe truyền thống, super server, hoặc nền tảng song song. Cần mô hình hóa kinh doanh kỹ lưỡng, có thể mất nhiều năm để thiết kế và xây dựng.
Data Mart − Chứa tập con dữ liệu toàn công ty có giá trị cho nhóm người dùng xác định. Phạm vi giới hạn chủ đề đã chọn. Ví dụ: data mart marketing giới hạn chủ đề khách hàng, mặt hàng, bán hàng. Dữ liệu trong data mart thường được tóm tắt.
Kho Ảo − Tập hợp view trên CSDL vận hành. Để xử lý truy vấn hiệu quả, chỉ một số view tóm tắt khả thi được vật chất hóa. Kho ảo dễ xây dựng nhưng cần dung lượng dư trên server CSDL vận hành.