Cụm hóa tài liệu là kỹ thuật quan trọng để tổ chức tệp theo cách không giám sát. Khi tài liệu được biểu diễn như vector thuật ngữ, các phương pháp cụm hóa có thể áp dụng. Không gian tài liệu liên tục có chiều lớn, từ vài trăm đến hàng nghìn.
Do lời nguyền chiều, có ý nghĩa đầu tiên chiếu tài liệu vào subspace chiều thấp hơn mà trong đó cấu trúc ngữ nghĩa của không gian tài liệu trở nên rõ ràng. Trong không gian ngữ nghĩa chiều thấp, các thuật toán cụm hóa truyền thống có thể dùng.
Có một vài phương pháp phân tích cụm hóa tài liệu:
Cụm hóa phổ (Spectral clustering) − Phương pháp spectral clustering trước thực hiện spectral embedding (giảm chiều) trên dữ liệu gốc, sau đó áp dụng thuật toán cụm hóa truyền thống (ví dụ k-means) trên không gian tài liệu giảm chiều.
Nó hoạt động trên spectral clustering cho thấy khả năng xử lý dữ liệu phi tuyến tính cao (không gian dữ liệu có độ cong cao tại mọi vùng cục bộ). Liên kết mạnh với hình học vi phân làm cho nó có khả năng tìm kiến trúc manifold của không gian tệp.
Hạn chế của các thuật toán spectral clustering này dùng nhúng phi tuyến tính (giảm chiều), chỉ được biểu diễn trên dữ liệu "huấn luyện". Chúng phải dùng một số điểm dữ liệu để học nhúng. Khi tập dữ liệu lớn, tốn kém tính toán để học nhúng như vậy. Điều này hạn chế ứng dụng spectral clustering trên tập dữ liệu lớn.
Mô hình hỗn hợp (Mixture model) − Phương pháp cụm hóa mô hình hỗn hợp mô hình hóa dữ liệu văn bản với mô hình hỗn hợp, thường liên quan đến mô hình thành phần multinomial. Cụm hóa bao gồm hai bước:
Ước lượng tham số mô hình dựa trên dữ liệu văn bản và bất kỳ kiến thức trước bổ sung nào.
Suy ra cụm dựa trên tham số mô hình ước lượng. Tùy thuộc vào cách mô hình hỗn hợp được định nghĩa, các phương pháp này có thể cụm hóa từ và tài liệu cùng lúc.
Probabilistic Latent Semantic Analysis (PLSA) và Latent Dirichlet Allocation (LDA) là hai ví dụ của các phương pháp này. Lợi thế của phương pháp cụm hóa là cụm có thể được thiết kế để hỗ trợ phân tích so sánh tệp.
Phương pháp Latent Semantic Indexing (LSI) và Locality Preserving Indexing (LPI) là phương pháp giảm chiều tuyến tính. Dùng để đạt vector biến đổi (hàm nhúng) trong LSI và LPI. Các hàm nhúng này được biểu diễn mọi nơi; do đó, có thể dùng phần dữ liệu để học hàm nhúng và nhúng dữ liệu nào đó vào không gian chiều thấp.
Mục tiêu của LSI là tìm xấp xỉ subspace tốt nhất cho không gian tài liệu gốc theo nghĩa giảm thiểu lỗi tái tạo toàn cục. Nói cách khác, LSI tìm kiếm khám phá đặc trưng đại diện nhất thay vì đặc trưng phân biệt nhất cho biểu diễn tài liệu. Do đó, LSI có thể không tối ưu trong phân biệt tài liệu với ngữ nghĩa khác nhau, đây là mục tiêu cuối cùng của cụm hóa.