Các yêu cầu và ứng dụng của phân cụm trong khai thác dữ liệu
Phân cụm đóng vai trò quan trọng trong nhiều lĩnh vực, tuy nhiên để áp dụng hiệu quả cần đáp ứng các yêu cầu sau:
1. Khả năng mở rộng (Scalability)
Nhiều thuật toán phân cụm hoạt động tốt trên tập dữ liệu nhỏ (dưới 200 đối tượng), nhưng cơ sở dữ liệu thực tế có thể chứa hàng triệu đối tượng. Phân cụm trên mẫu của tập dữ liệu lớn có thể dẫn đến kết quả chệch. Cần các thuật toán phân cụm có khả năng mở rộng cao.
2. Xử lý các loại thuộc tính khác nhau
Một số thuật toán chỉ thiết kế cho dữ liệu số (dựa trên khoảng cách). Tuy nhiên ứng dụng thực tế cần phân cụm nhiều loại dữ liệu: nhị phân, phân loại (nominal), thứ tự (ordinal) hoặc kết hợp các loại này.
3. Phát hiện cụm với hình dạng tùy ý
Thuật toán dựa trên khoảng cách Euclidean hoặc Manhattan thường chỉ tìm thấy các cụm hình cầu cùng kích thước và mật độ. Thực tế cụm có thể bất kỳ hình dạng nào. Cần phát triển thuật toán nhận diện cụm hình dạng tùy ý.
4. Yêu cầu tối thiểu về kiến thức miền để xác định tham số đầu vào
Một số thuật toán yêu cầu người dùng nhập tham số cụ thể (ví dụ: số cụm mong muốn). Kết quả phân cụm rất nhạy cảm với tham số, đặc biệt với dữ liệu chiều cao. Việc xác định tham số khó khăn, làm giảm khả năng kiểm soát chất lượng.
5. Xử lý dữ liệu nhiễu
Cơ sở dữ liệu thực thường chứa giá trị ngoại lai, thiếu, sai lệch. Một số thuật toán nhạy cảm với dữ liệu này dẫn đến cụm chất lượng kém.
6. Không nhạy cảm với thứ tự bản ghi đầu vào
Một số thuật toán cho kết quả khác nhau hoàn toàn khi trình bày cùng một tập dữ liệu theo thứ tự khác nhau. Cần thuật toán không phụ thuộc thứ tự đầu vào.
7. Chiều cao (High dimensionality)
Cơ sở dữ liệu/kho dữ liệu có nhiều chiều/đặc trưng. Thuật toán tốt cho dữ liệu thấp chiều (2-3 chiều) nhưng khó khăn với không gian chiều cao, nơi dữ liệu thưa và bịa lệch.
8. Phân cụm dựa trên ràng buộc (Constraint-based clustering)
Ứng dụng thực tế thường yêu cầu phân cụm dưới các ràng buộc. Ví dụ: chọn vị trí ATM mới trong thành phố phải đáp ứng ràng buộc về khách hàng giá trị cao, khách hàng thường, chi phí, v.v.