Bộ phân loại Bayesian là bộ phân loại thống kê. Chúng dự đoán xác suất thành viên lớp, như xác suất mẫu cho trước thuộc lớp cụ thể. Bộ phân loại Bayesian cũng thể hiện độ chính xác và tốc độ cao khi áp dụng cho CSDL lớn.
Một khi lớp định nghĩa, hệ thống phải suy ra quy tắc quản trị phân loại, do đó hệ thống phải tìm mô tả mỗi lớp. Mô tả chỉ tham chiếu thuộc tính dự báo của tập huấn luyện để chỉ ví dụ dương thỏa mãn đặc trưng, không phải ví dụ âm. Quy tắc đúng nếu mô tả bao phủ tất cả ví dụ dương và không ví dụ âm của lớp nào được bao phủ.
Giả định đóng góp bởi tất cả thuộc tính độc lập và mỗi thuộc tính đóng góp như nhau cho vấn đề phân loại, một sơ đồ phân loại đơn giản gọi là phân loại Naïve Bayes. Bằng phân tích đóng góp của mỗi thuộc tính "độc lập", xác suất điều kiện được xác định. Phân loại được thực hiện bằng cách kết hợp tác động các thuộc tính khác nhau lên dự đoán cần thực hiện.
Phân loại Naïve Bayes gọi là Naïve vì nó giả định độc lập điều kiện lớp (class conditional independence). Hiệu ứng giá trị thuộc tính trên lớp cho trước độc lập với giá trị các thuộc tính khác. Giả định này làm để giảm chi phí tính toán do đó coi là Naïve.
Định Lý Bayes − X là tuple dữ liệu. Theo thuật ngữ Bayesian, X xem như "bằng chứng". H là giả thuyết, như tuple X thuộc lớp C cụ thể. Xác suất P(H|X) quyết định phân loại dữ liệu. P(H|X) là xác suất giả thuyết H đúng cho "bằng chứng" hoặc tuple quan sát X.
P(H|X) là xác suất hậu nghiệm H điều kiện X. Ví dụ: thế giới tuple giới hạn khách hàng bởi tuổi và thu nhập, X 30 tuổi, thu nhập 20.000đ. H: khách hàng mua máy tính. P(H|X) phản ánh xác suất khách hàng X mua máy tính biết tuổi, thu nhập.
P(H) là xác suất tiền nghiệm H. Xác suất bất kỳ khách hàng nào mua máy tính, bất kể tuổi, thu nhập, thông tin khác. Xác suất hậu nghiệm P(H|X) dựa trên nhiều thông tin hơn P(H), độc lập X.
Tương tự, P(X|H) là xác suất hậu nghiệm X điều kiện H. Xác suất khách hàng X 30 tuổi, thu nhập 20.000đ.
P(H), P(X|H), P(X) ước lượng từ dữ liệu cho trước. Định lý Bayes cung cấp cách tính xác suất hậu nghiệm P(H|X) từ P(H), P(X|H), P(X):
$$P(H|X)=\frac{P(X|H)P(H)}{P(X)}$$