Khai thác Web có thể được xem rộng rãi là việc áp dụng các phương pháp khai thác dữ liệu thích ứng cho web, trong khi khai thác dữ liệu được biểu diễn là việc áp dụng thuật toán để tìm mẫu trên dữ liệu có cấu trúc chủ yếu cố định trong quy trình khám phá kiến thức.
Khai thác Web có đặc điểm riêng biệt hỗ trợ tập hợp nhiều kiểu dữ liệu. Web có nhiều khía cạnh tạo ra nhiều cách tiếp cận cho quá trình khai thác, như trang web bao gồm văn bản, trang web được kết nối qua siêu liên kết, và hoạt động người dùng có thể được theo dõi qua log máy chủ web.
Dựa trên các quan sát sau, Web cũng đặt ra thách thức lớn cho việc khám phá tài nguyên và kiến thức hiệu quả.
Web quá lớn cho kho dữ liệu và khai thác dữ liệu hiệu quả
Kích thước Web đạt hàng trăm terabyte và vẫn tăng nhanh. Nhiều tổ chức và xã hội đặt nhiều dữ liệu công khai trên Web. Có thể thiết lập kho dữ liệu để sao chép, lưu trữ hoặc tích hợp một số dữ liệu trên Web.
Độ phức tạp trang Web lớn hơn bất kỳ tập tài liệu văn bản truyền thống nào
Trang Web thiếu cấu trúc thống nhất. Chúng chứa nhiều biến thể phong cách tác giả và nội dung hơn bất kỳ tập sách hoặc tài liệu văn bản dựa trên văn bản truyền thống nào.
Web được xem như một thư viện số khổng lồ; tuy nhiên, số lượng khổng lồ bản ghi trong thư viện này không được sắp xếp theo bất kỳ thứ tự sắp xếp cụ thể nào. Không có chỉ mục theo yếu tố, cũng không theo tiêu đề, tác giả, trang bìa, mục lục, v.v. Việc tìm kiếm thông tin mong muốn trong thư viện như vậy rất thách thức.
Web là nguồn thông tin động cao
Không chỉ Web phát triển nhanh, mà thông tin của nó cũng được cập nhật liên tục. Tin tức, chứng khoán, thời tiết, thể thao, mua sắm, quảng cáo công ty và nhiều trang Web khác được cập nhật thường xuyên. Thông tin liên kết và bản ghi truy cập cũng được cập nhật thường xuyên.
Web phục vụ cộng đồng người dùng đa dạng
Internet hiện kết nối hơn 100 triệu trạm làm việc, và cộng đồng người dùng của nó vẫn mở rộng nhanh. Người dùng có thể có nhiều nền tảng, sở thích và mục tiêu sử dụng khác nhau. Một số người dùng có thể không có kiến thức tốt về cấu trúc mạng dữ liệu và không nhận ra chi phí khổng lồ của một tìm kiếm cụ thể. Họ dễ dàng lạc lối khi mò mẫm trong "bóng tối" của mạng hoặc chán nản vì phải thực hiện nhiều "nhảy" truy cập và chờ đợi không kiên nhẫn một mảnh thông tin.