Phân loại là một phương pháp khai phá dữ liệu gán các phần tử vào một tập dữ liệu để hỗ trợ dự đoán và phân tích hiệu quả hơn. Phân loại thường được dùng khi có hai lớp mục tiêu được gọi là phân loại nhị phân (binary classification).
Khi nhiều hơn hai lớp có thể được dự đoán, đặc biệt trong các vấn đề nhận dạng mẫu, điều này được định nghĩa là phân loại đa thức (multinomial classification). Tuy nhiên, phân loại đa thức có thể dùng cho dữ liệu phản hồi phân loại, nơi cần dự đoán danh mục nào trong nhiều phần tử có thể có thể có xác suất lớn nhất.
Phân loại dữ liệu là quy trình hai bước. Ở giai đoạn đầu, một bộ phân loại được xây dựng định nghĩa một tập hợp các lớp dữ liệu hoặc khái niệm xác định trước. Đây là giai đoạn học (hoặc huấn luyện), nơi thuật toán phân loại phát triển bộ phân loại bằng cách phân tích hoặc "học từ" một tập huấn luyện tạo thành các tuple cơ sở dữ liệu và nhãn lớp liên quan của chúng.
Một tuple X được mô tả bởi vector thuộc tính n chiều, X = (x₁, x₂, … xₙ), định nghĩa n phép đo thực hiện trên tuple từ n thuộc tính cơ sở dữ liệu, tương ứng A₁, A₂, … Aₙ.
Mọi tuple X được coi là thuộc về một lớp xác định trước như được quyết định bởi một thuộc tính cơ sở dữ liệu khác gọi là thuộc tính nhãn lớp. Thuộc tính nhãn lớp là giá trị rời rạc và không có thứ tự. Nó mang tính phân loại vì mỗi giá trị phục vụ như một danh mục hoặc lớp.
Các tuple đơn lẻ tạo thành tập huấn luyện được định nghĩa là tuple huấn luyện và được chọn từ cơ sở dữ liệu đang phân tích. Trong khung phân loại, các tuple dữ liệu có thể được định nghĩa như mẫu, trường hợp, điểm dữ liệu, hoặc đối tượng.
Vì nhãn lớp của mỗi tuple huấn luyện được hỗ trợ, bước này được gọi là học có giám sát (supervised learning). Nó so sánh với học không giám sát (hoặc cụm), nơi nhãn lớp của mỗi tuple huấn luyện không phổ biến, và số lượng hoặc tập hợp các lớp cần học không thể biết trước.
Ở giai đoạn thứ hai, mô hình có thể được dùng cho phân loại. Trước tiên, độ chính xác dự báo của bộ phân loại được dự đoán. Nếu dùng tập huấn luyện để tính độ chính xác của bộ phân loại, ước lượng này có thể lạc quan, vì bộ phân loại có xu hướng overfit (quá khớp) bản ghi (tức là, trong học nó có thể kết hợp một số bất thường cụ thể của bản ghi huấn luyện không có trong tập dữ liệu chung hoàn chỉnh).
Do đó, một tập kiểm tra được sử dụng, tạo thành các tuple kiểm tra và nhãn lớp liên quan. Các tuple này được chọn ngẫu nhiên từ tập dữ liệu chung. Chúng độc lập với các tuple huấn luyện, định nghĩa rằng chúng không được dùng để tạo bộ phân loại.