Phân loại là phương pháp khai thác dữ liệu dùng dự đoán thành viên nhóm cho instance dữ liệu. Là thủ tục hai bước. Bước đầu, xây dựng mô hình định nghĩa tập lớp dữ liệu hoặc phương pháp xác định. Mô hình phát triển bằng cách xem xét tuple CSDL định nghĩa bởi thuộc tính.
Nhiệm vụ phân tích đặc điểm đối tượng mới trình bày và gán vào một trong tập lớp định nghĩa trước. Để học quy tắc phân loại, hệ thống phải tìm quy tắc dự đoán lớp từ thuộc tính dự đoán, do đó điều kiện phải biểu diễn cho mỗi lớp. Hệ thống phải cho case/tuple với giá trị thuộc tính biết trước để dự đoán case này thuộc lớp nào.
Một khi lớp định nghĩa, hệ thống phải suy ra quy tắc quản trị phân loại, do đó hệ thống phải tìm biểu diễn mỗi lớp. Mô tả chỉ tham chiếu thuộc tính dự đoán của tập huấn luyện để chỉ ví dụ dương thỏa mãn đặc trưng, không phải ví dụ âm. Quy tắc đúng nếu mô tả bao phủ tất cả ví dụ dương và không ví dụ âm của lớp nào được bao phủ.
Phân Loại Bayesian − Bộ phân loại Bayesian là bộ phân loại thống kê. Chúng dự đoán xác suất thành viên lớp, như xác suất mẫu cho trước thuộc lớp cụ thể. Bộ phân loại Bayesian cũng thể hiện hiệu quả và tốc độ cao khi áp dụng cho CSDL lớn.
Bộ phân loại Naïve Bayesian giả định hiệu ứng giá trị thuộc tính trên lớp cho trước độc lập với giá trị các thuộc tính khác. Giả định này gọi là độc lập điều kiện lớp. Được tạo để đơn giản hóa đánh giá và được coi là Naïve.
Định Lý Bayes − X là tuple dữ liệu. Trong phương pháp Bayesian, X xem như "bằng chứng". H là giả thuyết, như tuple X thuộc lớp C cụ thể. Xác suất P(H|X) quyết định để phân loại dữ liệu. P(H|X) là xác suất giả thuyết H đúng cho "bằng chứng" hoặc tuple quan sát X.
P(H|X) là xác suất hậu nghiệm của H điều kiện trên X. Ví dụ: thế giới tuple giới hạn khách hàng bởi thuộc tính tuổi và thu nhập, X là khách hàng 30 tuổi, thu nhập 20.000đ. Giả thuyết H: khách hàng sẽ mua máy tính. P(H|X) phản ánh xác suất khách hàng X mua máy tính biết tuổi và thu nhập.
P(H) là xác suất tiền nghiệm của H. Ví dụ: xác suất bất kỳ khách hàng nào mua máy tính, bất kể tuổi, thu nhập, thông tin khác. Xác suất hậu nghiệm P(H|X) dựa trên nhiều thông tin hơn tiền nghiệm P(H), độc lập với X.
Tương tự, P(X|H) là xác suất hậu nghiệm của X điều kiện trên H. Xác suất khách hàng X 30 tuổi và thu nhập 20.000đ.
P(H), P(X|H), P(X) ước lượng từ dữ liệu cho trước. Định lý Bayes cung cấp cách tính xác suất hậu nghiệm P(H|X) từ P(H), P(X|H), P(X):
$$P(H|X)=\frac{P(X|H)P(H)}{P(X)}$$