Công cụ tìm kiếm web là máy chủ máy tính chuyên dụng tìm kiếm dữ liệu trên Web. Kết quả tìm kiếm của truy vấn người dùng được khôi phục dưới dạng danh sách (gọi là hits). Các hits có thể bao gồm trang web, hình ảnh, và các loại tệp khác.
Có nhiều công cụ tìm kiếm cũng tìm kiếm và trả về dữ liệu có sẵn trong cơ sở dữ liệu công khai hoặc thư mục mở. Công cụ tìm kiếm khác với thư mục web ở chỗ thư mục web được hỗ trợ bởi biên tập viên con người trong khi công cụ tìm kiếm hoạt động theo thuật toán hoặc kết hợp thuật toán và đầu vào con người.
Công cụ tìm kiếm web là ứng dụng khai phá dữ liệu lớn. Có nhiều kỹ thuật khai phá dữ liệu được dùng trong tất cả các yếu tố của công cụ tìm kiếm, từ thu thập (crawling - ví dụ: quyết định trang nào phải thu thập và tần suất thu thập), lập chỉ mục (indexing - ví dụ: chọn trang để lập chỉ mục và xác định mức độ chỉ mục phải được xây dựng), và tìm kiếm (searching - ví dụ: xác định cách trang phải được xếp hạng, quảng cáo nào phải thêm, và cách kết quả tìm kiếm có thể được tùy chỉnh hoặc làm "nhận biết ngữ cảnh").
Công cụ tìm kiếm web đặt ra thách thức lớn cho khai phá dữ liệu. Trước hết, chúng phải quản lý lượng dữ liệu lớn và tăng lên. Thường, dữ liệu như vậy không thể xử lý bằng một vài máy. Thay vào đó, công cụ tìm kiếm cần dùng đám mây máy tính (computer clouds), bao gồm hàng nghìn hoặc thậm chí hàng trăm nghìn máy tính cộng tác khai phá lượng lớn thông tin. Mở rộng quy mô phương pháp khai phá dữ liệu trên đám mây máy tính và tập dữ liệu phân tán lớn là chủ đề nghiên cứu ứng dụng.
Thứ hai, công cụ tìm kiếm web phải đối phó với bản ghi trực tuyến. Công cụ tìm kiếm có thể chịu được xây dựng mô hình ngoại tuyến trên tập dữ liệu lớn. Nó có thể tạo bộ phân loại truy vấn tạo truy vấn tìm kiếm thành các yếu tố xác định trước dựa trên chủ đề truy vấn. Dù mô hình được xây dựng ngoại tuyến, ứng dụng mô hình trực tuyến phải nhanh để giải quyết truy vấn người dùng trong thời gian thực.
Thách thức khác là hỗ trợ và làm mới tăng dần mô hình trên luồng dữ liệu tăng nhanh. Ví dụ, bộ phân loại truy vấn có thể cần được duy trì tăng dần liên tục vì truy vấn mới liên tục tăng và yếu tố xác định trước và phân phối dữ liệu có thể thay đổi. Một số phương pháp huấn luyện mô hình hiện tại là ngoại tuyến và tĩnh và do đó không thể dùng theo cách như vậy.
Thứ ba, công cụ tìm kiếm web phải đối phó với truy vấn chỉ được hỏi một số lần nhỏ. Giả sử công cụ tìm kiếm cần hỗ trợ gợi ý truy vấn nhận biết ngữ cảnh. Khi người dùng đặt truy vấn, công cụ tìm kiếm cố gắng suy ra ngữ cảnh của truy vấn dùng hồ sơ khách hàng và lịch sử truy vấn của nó để trả lời tùy chỉnh hơn trong một phần nhỏ của giây.