Trình thu thập web tập trung (focused web crawler) là hệ thống siêu văn bản điều tra, thu thập, lập chỉ mục và hỗ trợ trang về một tập chủ đề xác định định nghĩa phân đoạn hẹp tương đối của web. Yêu cầu đầu tư rất nhỏ phần cứng và tài nguyên web nhưng vẫn quản lý độ phủ đáng kính với tốc độ nhanh, đơn giản vì có ít việc phải làm.
Focused web crawler được điều khiển bởi bộ phân loại (classifier) học nhận diện độ liên quan từ ví dụ nhúng trong phân loại chủ đề (topic taxonomy), và bộ tinh chế (distiller) nhận diện điểmvantage chủ đề trên internet.
Focused web crawler dùng công cụ tìm kiếm dọc (vertical search engines) để thu thập trang web cụ thể cho chủ đề mục tiêu. Mỗi trang tải được phân loại vào chủ đề mục tiêu định nghĩa trước. Nếu trang dự đoán on-topic, thì liên kết của nó được trích xuất và thêm vào hàng đợi URL. Ngược lại, quy trình thu thập không tiếp tục từ trang này. Loại focused web crawler này gọi là "full-page" focused web crawler vì phân loại toàn bộ nội dung trang. Nói cách khác, bối cảnh tất cả liên kết trên trang là chính nội dung toàn trang.
Loại web crawler này tạo lập chỉ mục hiệu quả hơn trực tiếp giúp đạt yêu cầu cơ bản: truy xuất dữ liệu nhanh hơn và liên quan hơn từ kho chứa khổng lồ World Wide Web. Một số công cụ tìm kiếm bắt đầu dùng phương pháp này cung cấp trải nghiệm phong phú hơn cho người dùng khi tạo nội dung web trực tiếp tăng hit counts.
Crawler manager là yếu tố quan trọng của hệ thống sau Hypertext Analyzer. Thành phần tải tệp từ web toàn cầu. URL trong kho URL được khôi phục và tạo đến buffer trong Crawler Manager.
Buffer URL là hàng đợi ưu tiên. Tùy thuộc kích thước buffer URL, crawler manager động tạo instance cho crawler, sẽ tải tệp. Để hiệu quả hơn, crawler manager có thể tạo pool crawler. Manager cũng chịu trách nhiệm giới hạn tốc độ crawler và cân bằng tải giữa chúng. Hoàn thành bằng cách kiểm tra crawler.
Crawler là mã Java đa luồng, phù hợp tải trang web từ internet và lưu tệp trong kho tài liệu. Mỗi crawler có hàng đợi riêng, ảnh hưởng tệp URL sẽ thu thập. Crawler khôi phục URL từ hàng đợi.
Các crawler khác nhau sẽ có yêu cầu chung đến cùng server. Nếu vậy, gửi yêu cầu đến server tương tự sẽ dẫn đến quá tải server. Server hoạt động hoàn thành yêu cầu phải đến từ crawler chia sẻ yêu cầu và chờ đợi phản hồi.