Hệ thống cơ sở dữ liệu đa phương tiện lưu trữ và quản lý một tập hợp lớn dữ liệu đa phương tiện, như âm thanh, video, hình ảnh, đồ họa, lời nói, văn bản, tài liệu, và siêu văn bản, chứa văn bản, đánh dấu văn bản và liên kết. Hệ thống cơ sở dữ liệu đa phương tiện ngày càng phổ biến nhờ sử dụng phổ biến thiết bị âm thanh-video, máy ảnh kỹ thuật số, CD-ROM và Internet. Có các hệ thống cơ sở dữ liệu đa phương tiện bao gồm EOS (Hệ thống Quan sát Trái Đất) của NASA, nhiều loại cơ sở dữ liệu hình ảnh và âm thanh video, và cơ sở dữ liệu Internet.
Có hai nhóm chính của hệ thống lập chỉ mục và truy xuất đa phương tiện:
Hệ thống truy xuất dựa trên mô tả (Description-based retrieval systems) – Dùng để xây dựng chỉ mục và thực hiện truy xuất đối tượng dựa trên mô tả hình ảnh, như từ khóa, chú thích, kích thước và thời gian tạo. Truy xuất dựa trên mô tả tốn nhiều công sức nếu làm thủ công. Nếu tự động, kết quả thường chất lượng kém.
Ví dụ: gán từ khóa cho hình ảnh có thể là chức năng khó khăn và tùy tiện. Phát triển mới nhất của các kỹ thuật phân cụm và phân loại hình ảnh dựa trên Web đã cải thiện chất lượng truy xuất hình ảnh Web dựa trên định nghĩa vì thông tin văn bản bao quanh hình ảnh và thông tin liên kết Web có thể được dùng để trích xuất mô tả thích hợp và nhóm các hình ảnh mô tả chủ đề tương tự lại với nhau.
Hệ thống truy xuất dựa trên nội dung (Content-based retrieval systems) – Hỗ trợ truy xuất dựa trên nội dung hình ảnh, như histogram màu, kết cấu, mẫu, topology hình ảnh, hình dạng đối tượng và bố cục, vị trí của chúng trong hình ảnh. Truy xuất dựa trên nội dung tận dụng đặc trưng thị giác để lập chỉ mục hình ảnh và cải thiện truy xuất đối tượng dựa trên độ tương đồng đặc trưng, rất mong muốn trong nhiều ứng dụng.
Trong hệ thống truy xuất hình ảnh dựa trên nội dung, thường có hai loại truy vấn – truy vấn dựa trên mẫu hình ảnh và truy vấn quy định đặc trưng hình ảnh. Truy vấn dựa trên mẫu hình ảnh tìm tất cả hình ảnh tương tự với mẫu hình ảnh cho trước. Tìm kiếm này phân tích vector đặc trưng (hoặc chữ ký) được trích xuất từ mẫu với các vector đặc trưng của hình ảnh đã được trích xuất và sắp xếp trong cơ sở dữ liệu hình ảnh.
Truy vấn quy định đặc trưng hình ảnh định nghĩa hoặc vẽ đặc trưng hình ảnh như màu, kết cấu, hoặc hình dạng, được chuyển đổi thành vector đặc trưng để so khớp với vector đặc trưng của hình ảnh trong cơ sở dữ liệu.
Truy xuất dựa trên nội dung có ứng dụng rộng, bao gồm chẩn đoán y tế, dự báo thời tiết, sản xuất TV, công cụ tìm kiếm Web cho hình ảnh, và thương mại điện tử. Một số hệ thống bao gồm QBIC (Truy vấn Theo Nội Dung Hình Ảnh), cung cấp cả truy vấn dựa trên mẫu và yêu cầu đặc trưng hình ảnh. Cũng có hệ thống hỗ trợ cả truy xuất dựa trên nội dung và dựa trên mô tả.