Các thành phần của trình thu thập web tập trung:
Bộ phát hiện Seed (Seed detector) – Chức năng của Seed detector là quyết định URL seed cho từ khóa xác định bằng cách lấy n URL đầu tiên. Trang seed được nhận diện và gán ưu tiên tùy thuộc vào thuật toán PageRank hoặc thuật toán hits hoặc thuật toán tương tự.
Trình quản lý Crawler (Crawler Manager) – Crawler Manager là thành phần thiết yếu của hệ thống sau Bộ phân tích Siêu văn bản (Hypertext Analyzer). Thành phần tải tệp từ web toàn cầu. URL trong kho URL được khôi phục và tạo đến buffer trong Crawler Manager.
Buffer URL là hàng đợi ưu tiên (priority queue). Tùy thuộc kích thước buffer URL, Crawler Manager động tạo instance cho crawler, sẽ tải tệp. Để hiệu quả hơn, crawler manager có thể tạo pool crawler. Manager cũng chịu trách nhiệm giới hạn tốc độ crawler và cân bằng tải giữa chúng. Hoàn thành bằng cách kiểm tra crawler.
Crawler (Trình thu thập) – Crawler là mã Java đa luồng, phù hợp tải trang web từ web và lưu tệp trong kho tài liệu. Mỗi crawler có hàng đợi riêng, ảnh hưởng danh sách URL sẽ thu thập. Crawler khôi phục URL từ hàng đợi.
Các crawler khác nhau sẽ có yêu cầu chung đến cùng một server. Do đó gửi yêu cầu đến server tương tự sẽ dẫn đến quá tải server. Server hoạt động hoàn thành yêu cầu phải đến từ crawler chia sẻ yêu cầu và chờ đợi phản hồi.
Server được tạo đồng bộ (synchronized). Nếu yêu cầu URL chưa từng chia sẻ trước, yêu cầu chuyển đến cấu trúc HTTP. Điều này đảm bảo crawler không quá tải bất kỳ server nào.
Bộ trích xuất liên kết (Link Extractor) – Link extractor trích xuất liên kết từ tệp hiện diện trong kho tài liệu. Thành phần kiểm tra URL có trong URL đã khôi phục. Nếu không tìm thấy, văn bản bao quanh trước và sau siêu liên kết, tiêu đề hoặc phụ đề dưới đó liên kết hiện diện, được trích xuất.
Bộ phân tích Siêu văn bản (Hypertext Analyzer) – Hypertext Analyzer lấy từ khóa từ Link Extractor và khám phá độ liên quan của phương pháp với từ khóa tìm kiếm định nghĩa Taxonomy Hierarchy (Phân cấp phân loại).
Mô-đun Giao thức HTTP (HTTP Protocol Module) – HTTP Protocol Module chia sẻ yêu cầu tệp có URL được xác nhận từ hàng đợi. Nhận được tài liệu, URL tài liệu tải xuống lưu trong URL đã lấy cùng dấu thời gian và tài liệu lưu trong kho tài liệu.