Tổng quan các yêu cầu
Để phân cụm hiệu quả trong khai thác dữ liệu, cần đáp ứng 8 yêu cầu sau:
1. Khả năng mở rộng (Scalability)
Thuật toán tốt trên dữ liệu nhỏ (vài trăm đối tượng) nhưng CSDL lớn có triệu đối tượng. Phân cụm trên mẫu dữ liệu lớn có thể cho kết quả chệch. Cần thuật toán mở rộng cao.
2. Xử lý các loại thuộc tính khác nhau
Một số thuật toán chỉ dành cho dữ liệu số (interval-based). Thực tế cần phân cụm: nhị phân, phân loại (nominal), thứ tự (ordinal) hoặc kết hợp.
3. Phát hiện cụm hình dạng tùy ý
Thuật toán dựa trên khoảng cách Euclidean/Manhattan thường chỉ tìm cụm hình cầu cùng kích thước/mật độ. Cụm thực tế có hình dạng bất kỳ. Cần thuật toán nhận diện hình dạng tùy ý.
4. Yêu cầu tối thiểu kiến thức miền cho tham số đầu vào
Một số thuật toán yêu cầu người dùng nhập tham số (số cụm mong muốn). Kết quả nhạy cảm với tham số. Tham số khó xác định, nhất là dữ liệu chiều cao. Gây gánh nặng người dùng và khó kiểm soát chất lượng.
5. Xử lý dữ liệu nhiễu
CSDL thực chứa ngoại lai, giá trị thiếu, không biết, sai sót. Thuật toán nhạy cảm dẫn đến cụm chất lượng kém.
6. Phân cụm tăng dần và bất biến thứ tự bản ghi
Một số thuật toán không tích hợp được dữ liệu mới (cập nhật CSDL) vào cấu trúc phân cụm hiện có, phải tính toán lại từ đầu. Một số nhạy cảm thứ tự bản ghi: cùng tập dữ liệu, thứ tự khác → cụm khác hoàn toàn. Cần thuật toán tăng dần và bất biến thứ tự.
7. Chiều cao (High dimensionality)
CSDL/kho dữ liệu có nhiều chiều/thuộc tính. Thuật toán tốt cho dữ liệu thấp chiều (2-3 chiều). Mắt người đánh giá chất lượng phân cụm tốt nhất đến 3 chiều. Khó tìm cụm trong không gian chiều cao, dữ liệu thường thưa và bịa lệch cao.