Hệ thống cơ sở dữ liệu đa phương tiện lưu trữ và quản lý một bộ sưu tập lớn các dữ liệu đa phương tiện, chẳng hạn như âm thanh, video, hình ảnh, đồ họa, lời nói, văn bản, tài liệu và siêu dữ liệu, chứa văn bản, đánh dấu văn bản, và các mối liên kết. Hệ thống cơ sở dữ liệu đa phương tiện ngày càng phổ biến do việc sử dụng phổ biến thiết bị âm thanh-video, máy ảnh kỹ thuật số, CD-ROM và Internet. Có các hệ thống cơ sở dữ liệu đa phương tiện bao gồm EOS của NASA (Hệ thống quan sát Trái đất), các loại cơ sở dữ liệu hình ảnh và video âm thanh và cơ sở dữ liệu Internet.
Có hai nhóm hệ thống truy xuất và lập chỉ mục đa phương tiện chính là asfollows -
Hệ thống truy xuất dựa trên mô tả - Nó được sử dụng để xây dựng các chỉ mục và thực hiện truy xuất đối tượng dựa trên mô tả hình ảnh, chẳng hạn như từ khóa, chú thích, kích thước và thời gian tạo. Việc truy xuất dựa trên mô tả tốn nhiều công sức nếu được thực hiện theo cách thủ công. Nếu được tự động hóa, các kết quả thường có chất lượng kém.
Ví dụ, việc gán các từ khóa cho hình ảnh có thể là một dịch vụ khó và tùy tiện. Sự phát triển mới nhất của phân nhóm và phân loại hình ảnh dựa trên Web đã nâng cao chất lượng truy xuất hình ảnh Web dựa trên độ nét vì thông tin văn bản bao quanh hình ảnh và thông tin liên kết Web có thể được sử dụng để trích xuất mô tả phù hợp và nhóm các hình ảnh mô tả một chủ đề tương tự với nhau.
Hệ thống truy xuất dựa trên nội dung - Nó có thể hỗ trợ truy xuất dựa trên nội dung hình ảnh, chẳng hạn như biểu đồ màu, kết cấu, mẫu, cấu trúc liên kết hình ảnh, và hình dạng của các đối tượng cũng như bố cục và vị trí của chúng trong hình ảnh. Tính năng truy xuất dựa trên nội dung tạo điều kiện thuận lợi cho các đặc điểm trực quan để lập chỉ mục hình ảnh và cải thiện khả năng truy xuất đối tượng dựa trên sự tương đồng về tính năng, điều này rất được mong đợi trong một số ứng dụng.
Trong hệ thống truy xuất hình ảnh dựa trên nội dung, thường có hai loại truy vấn - truy vấn dựa trên mẫu hình ảnh và truy vấn đặc tả tính năng hình ảnh. Các truy vấn dựa trên mẫu hình ảnh tìm tất cả các hình ảnh tương tự với mẫu hình ảnh đã cho. Tìm kiếm này phân tích vectơ đặc trưng (hoặc chữ ký) được trích xuất từ mẫu với các vectơ đặc trưng của hình ảnh đã được trích xuất và sắp xếp trong cơ sở dữ liệu hình ảnh.
Các truy vấn đặc tả tính năng hình ảnh xác định hoặc vẽ các đặc điểm hình ảnh như màu sắc, kết cấu hoặc hình dạng, được dịch thành một vectơ đặc trưng để được kết nối với các vectơ đặc trưng của hình ảnh trong cơ sở dữ liệu.
Truy xuất dựa trên nội dung có nhiều ứng dụng, bao gồm chẩn đoán y tế, dự đoán thời tiết, sản xuất TV, công cụ tìm kiếm hình ảnh trên web và thương mại điện tử. Một số hệ thống bao gồm QBIC (Truy vấn bằng nội dung hình ảnh), cung cấp cả truy vấn yêu cầu tính năng hình ảnh và dựa trên mẫu. Ngoài ra còn có các hệ thống hỗ trợ cả truy xuất dựa trên nội dung và dựa trên mô tả.