Phân loại là thủ tục khám phá mô hình định nghĩa và phân loại các lớp dữ liệu hoặc khái niệm. Mô hình dựa trên tìm kiếm tập dữ liệu huấn luyện (tức là đối tượng dữ liệu mà nhãn lớp nổi tiếng). Mô hình có thể dự đoán nhãn lớp của đối tượng mà nhãn lớp là ẩn danh.
Mô hình suy ra có thể được biểu diễn dưới một vài hình thức, bao gồm quy tắc phân loại (tức là luật IF-THEN), cây quyết định, công thức số học, hoặc mạng nơ-ron. Cây quyết định là cấu trúc dạng sơ đồ luồng cây, nơi mỗi nút chỉ ra kiểm tra trên giá trị thuộc tính, mỗi nhánh định nghĩa kết quả của kiểm tra, và lá cây mô tả lớp hoặc phân phối lớp.
Cây quyết định có thể chuyển đổi thành quy tắc phân loại. Mạng nơ-ron, khi dùng cho phân loại, thường là tập hợp các đơn vị xử lý giống nơ-ron với kết nối có trọng số giữa các đơn vị. Có một vài phương pháp xây dựng mô hình phân loại, bao gồm phân loại Bayes ngây thơ, máy vector hỗ trợ, và phân loại k-nearest-neighbor.
Phân loại dự đoán nhãn phân loại (rời rạc, không có thứ tự), mô hình hồi quy mô hình hóa hàm giá trị liên tục. Hồi quy có thể dự đoán giá trị dữ liệu thống kê thiếu hoặc không có sẵn thay vì nhãn lớp (rời rạc).
Dự báo định nghĩa cả dự báo số và dự báo nhãn lớp. Phân tích hồi quy là phương pháp thống kê dùng cho dự báo số, mặc dù một vài kỹ thuật cũng tồn tại. Hồi quy cũng bao quanh việc nhận diện xu hướng phân phối dựa trên dữ liệu có sẵn.
Phân loại và hồi quy có thể cần được đi trước bởi phân tích liên quan, cố gắng nhận diện thuộc tính có ý nghĩa áp dụng cho quy trình phân loại và hồi quy. Các thuộc tính như vậy sẽ được chọn cho quy trình phân loại và hồi quy. Có nhiều thuộc tính, không liên quan, có thể bị loại khỏi xem xét.
Giả sử như quản lý bán hàng của AllElectronics cần định nghĩa tập lớn mặt hàng trong cửa hàng, dựa trên ba loại phản hồi cho chiến dịch bán hàng như phản hồi tốt, phản hồi nhẹ và không phản hồi.
Có thể suy ra mô hình cho mỗi trong ba lớp này dựa trên đặc trưng mô tả của mặt hàng, bao gồm giá, thương hiệu, nơi làm, loại, và danh mục. Phân loại kết quả nên phân biệt tối đa mỗi lớp từ các lớp khác, trình bày hình ảnh có tổ chức của tập dữ liệu.
Cây quyết định có thể xác định giá là yếu tố đơn lẻ phân biệt tốt nhất ba lớp. Cây có thể tiết lộ rằng ngoài giá, các đặc trưng khác hỗ trợ phân biệt đối tượng của mỗi lớp từ nhau bao gồm thương hiệu và nơi làm. Cây quyết định như vậy có thể cho phép học tác động của chiến dịch bán hàng cho trước và thiết kế chiến dịch hiệu quả hơn trong tương lai.