Bộ phân loại Bayes (Bayesian classifiers) là bộ phân loại thống kê. Nó có thể dự đoán xác suất thành viên lớp (class membership probabilities), như xác suất rằng một mẫu cho trước áp dụng cho một lớp xác định. Bộ phân loại Bayes cũng đã hiển thị hiệu quả và tốc độ lớn khi có cơ sở dữ liệu lớn.
Vì các lớp được xác định, hệ thống phải suy ra các quy tắc giám sát phân loại, do đó hệ thống phải có khả năng tìm thấy mô tả của mỗi lớp. Các mô tả phải xác định các thuộc tính dự báo của tập huấn luyện để chỉ các thể hiện dương tính (positive instances) thỏa mãn mô tả, không phải thể hiện âm tính (negative instances). Một quy tắc được nói là đúng nếu mô tả của nó bao phủ tất cả các ví dụ dương tính và không có ví dụ âm tính nào của một lớp được bao phủ.
Giả sử rằng các đóng góp bởi tất cả các thuộc tính là độc lập và mỗi cái đóng góp như nhau cho vấn đề phân loại, một sơ đồ phân loại đơn giản gọi là phân loại Bayes ngây thơ (Naïve Bayes classification).
Phân loại Bayes ngây thơ được gọi là Ngây thơ (Naïve) vì nó giả định độc lập điều kiện lớp (class conditional independence). Triển khai của một giá trị thuộc tính trên một lớp cho trước là riêng biệt từ các giá trị của nhiều thuộc tính. Giả định này được làm để giảm chi phí tính toán và do đó được coi là Ngây thơ.
Nhiều thuật toán tồn tại để học topology mạng từ các bản ghi huấn luyện cho trước các biến quan sát được (observable variables). Vấn đề là tối ưu hóa rời rạc (discrete optimization). Chuyên gia con người thường có nắm vững tốt về các phụ thuộc điều kiện trực tiếp ảnh hưởng đến miền phân tích, hỗ trợ thiết kế mạng. Chuyên gia nên xác định xác suất điều kiện cho các nút thực hiện trong các phụ thuộc trực tiếp.
Các xác suất này có thể được dùng để đánh giá các giá trị xác suất còn lại. Nếu topology mạng được công nhận và các biến có thể quan sát được, do đó huấn luyện mạng là đơn giản. Nó bao gồm tính các mục CPT, như được hoàn thành tương tự khi đánh giá các xác suất bao gồm trong phân loại Bayes ngây thơ.
Có các đặc điểm của Bộ phân loại Bayes ngây thơ như sau:
Chúng bền vững (robust) đối với các điểm nhiễu cô lập (isolated noise points) vì các điểm như vậy được trung bình hóa khi ước lượng xác suất điều kiện từ dữ liệu. Nó cũng có thể quản lý giá trị thiếu (missing values) bằng cách xóa các thể hiện trong xây dựng mô hình và phân loại.
Chúng bền vững đối với các thuộc tính không liên quan (irrelevant attributes). Nếu Xᵢ là thuộc tính không phù hợp, do đó P(Xᵢ|Y) trở nên phân phối đều. Xác suất điều kiện lớp cho Xᵢ không có tác động đến tính toán tổng thể của xác suất hậu nghiệm (posterior probability).
Các thuộc tính tương quan (Correlated attributes) có thể làm giảm hiệu suất của bộ phân loại Bayes ngây thơ vì giả định độc lập điều kiện không còn đúng cho các thuộc tính như vậy. Ví dụ, xét các xác suất sau:
P(A=0|Y=0) = 0.4, P(A=1|Y=0) = 0.6,
P(A=0|Y=1) = 0.6, P(A=1|Y=1) = 0.4,
trong đó A là thuộc tính nhị phân và Y là biến lớp nhị phân. Giả sử có thuộc tính nhị phân B khác hoàn toàn tương quan với A khi Y = 0, nhưng độc lập với A khi Y = 1. Để đơn giản, xem xét rằng xác suất điều kiện lớp cho B bằng với A.