Phân loại (Classification)
Phân loại là phương pháp khai thác dữ liệu gán nhãn cho tập dữ liệu để hỗ trợ dự đoán và phân tích hiệu quả hơn. Là một trong các phương pháp định sẵn để làm cho phân tích tập dữ liệu lớn hiệu quả.
"Phân loại" thường dùng khi có đúng hai lớp mục tiêu gọi là phân loại nhị phân (binary classification). Khi dự đoán hơn hai lớp, đặc biệt trong bài toán nhận diện mẫu, gọi là phân loại đa thức (multinomial classification). Tuy nhiên, phân loại đa thức cũng dùng cho dữ liệu phản hồi xác định, nơi cần dự đoán thể loại nào trong nhiều thể loại có thực thể với xác suất lớn nhất.
Phân loại là yếu tố quan trọng nhất trong khai thác dữ liệu. Định nghĩa quá trình gán nhãn lớp định nghĩa trước cho thực thể dựa trên thuộc tính. Có sự tương đồng với phân cụm, trông giống nhau nhưng khác biệt. Khác biệt chính: phân loại gán nhãn mục theo thành viên trong các nhóm định nghĩa trước.
Phân cụm (Clustering)
Quá trình gom nhóm tập đối tượng vật lý hoặc trừu tượng thành các lớp đối tượng tương tự gọi là phân cụm. Cụm là tập đối tượng dữ liệu giống nhau trong cùng cụm và khác với đối tượng trong các cụm khác. Cụm dữ liệu có thể coi như một nhóm trong nhiều ứng dụng. Phân tích cụm là hoạt động thiết yếu của con người.
Phân tích cụm dùng để tạo nhóm/cụm các bản ghi tương tự dựa trên các phép đo trên các bản ghi. Ý tưởng chính là xác định cụm theo cách hữu ích cho mục đích phân tích. Dữ liệu này dùng trong nhiều lĩnh vực: thiên văn, khảo cổ, y học, hóa học, giáo dục, tâm理学, ngôn ngữ học, xã hội học.
Một ứng dụng nổi tiếng của phân tích cụm trong marketing là phân đoạn thị trường (market segmentation): khách hàng được phân đoạn dựa trên dữ liệu nhân khẩu học và lịch sử giao dịch, chiến lược marketing tùy chỉnh cho mỗi phân đoạn.
Phân tích cụm dùng cho lượng lớn dữ liệu. Ví dụ: công cụ tìm kiếm internet dùng phương pháp phân cụm để gom cụm truy vấn người dùng gửi. Các cụm này dùng để phát triển thuật toán tìm kiếm.
Thông thường, dữ liệu cơ bản dùng để phân cụm là bảng đo lường trên nhiều biến, mỗi cột là một biến, mỗi hàng là một bản ghi. Mục tiêu tạo nhóm dữ liệu sao cho bản ghi tương tự ở cùng nhóm. Số cụm có thể chỉ định trước hoặc quyết định từ dữ liệu.