Phân cụm dựa trên mô hình là một phương pháp thống kê để phân cụm dữ liệu. Dữ liệu quan sát (đa biến) được coi là đã được tạo ra từ một tổ hợp hữu hạn các mô hình thành phần. Mỗi mô hình thành phần là một phân phối xác suất, thường là phân phối đa biến tham số.
Ví dụ, trong mô hình hỗn hợp Gaussian đa biến, mỗi thành phần là một phân phối Gaussian đa biến. Thành phần chịu trách nhiệm tạo ra một quan sát cụ thể quyết định cụm mà quan sát đó thuộc về.
Phân cụm dựa trên mô hình cố gắng cải thiện sự phù hợp giữa dữ liệu cho trước và một số mô hình toán học, dựa trên giả định rằng dữ liệu được tạo ra bởi tổ hợp của một phân phối xác suất cơ bản.
Có các loại phân cụm dựa trên mô hình sau:
Phương pháp thống kê – Tối đa hóa kỳ vọng (Expectation Maximization) là thuật toán lặp phổ biến. Mở rộng của k-means:
- Có thể gán mỗi đối tượng vào cụm theo trọng số (phân phối xác suất).
- Trung bình mới được tính dựa trên các phép đo trọng số.
Ý tưởng cơ bản như sau:
- Bắt đầu với ước lượng ban đầu của vectơ tham số.
- Dùng để chấm điểm lại các mẫu so với mật độ hỗn hợp do vectơ tham số tạo ra.
- Các mẫu đã chấm điểm lại dùng để cập nhật ước lượng tham số.
- Các mẫu thuộc cùng một cụm nếu chúng được đặt bởi điểm số của chúng trong một thành phần cụ thể.
Thuật toán
- Ban đầu, gán ngẫu nhiên k tâm cụm. >
- Lặp lại tinh chỉnh cụm dựa trên hai bước:
Bước kỳ vọng (Expectation step) – Gán mỗi điểm dữ liệu Xi vào cụm Ck với xác suất sau:
$$\mathrm{P(X_{i}\in\:C_{k})\:=\:P(C_k\arrowvert\:X_i)\:=\:\frac{P(C_k)P(X_i\arrowvert\:C_k)}{P(X_i)}}$$
Bước tối đa hóa (Maximization step) – Ước lượng tham số mô hình:
$$\mathrm{m_k\:=\:\frac{1}{N}\displaystyle\sum\limits_{i=1}^N \frac{X_{i}P(X_i\:\in\:C_k)}{X_{j}P(X_i)\in\:C_j}}$$
Phương pháp học máy (Machine learning approach) – Học máy là phương pháp tạo thuật toán phức tạp cho xử lý dữ liệu lớn và hỗ trợ kết quả cho người dùng. Sử dụng chương trình phức tạp có thể học từ kinh nghiệm và tạo dự đoán.
Các thuật toán tự cải thiện bằng việc nhập thường xuyên thông tin huấn luyện. Mục tiêu chính của học máy là học dữ liệu và xây dựng mô hình từ dữ liệu có thể hiểu và dùng bởi con người.
Đây là phương pháp nổi tiếng của học khái niệm tăng tiến (incremental conceptual learning), tạo ra phân cụm phân cấp dưới dạng cây phân loại. Mỗi nút định nghĩa một khái niệm và bao gồm biểu diễn xác suất của khái niệm đó.
Hạn chế
- Giả định các thuộc tính độc lập nhau thường quá mạnh vì tương quan có thể tồn tại.
- Không phù hợp phân cụm cơ sở dữ liệu lớn, cây lệch và phân phối xác suất tốn kém.
Phương pháp Mạng nơ-ron (Neural Network Approach) – Mạng nơ-ron biểu diễn mỗi cụm như một ví dụ, đóng vai trò mẫu gốc của cụm. Các đối tượng mới được phân phối vào cụm có ví dụ tương tự nhất theo某种 đo lường khoảng cách.