Bộ phân loại Bayes là bộ phân loại thống kê. Họ có thể dự đoán xác suất thành viên của lớp, chẳng hạn như xác suất mà một mẫu nhất định thuộc về một lớp cụ thể. Bộ phân loại Bayes cũng thể hiện độ chính xác và tốc độ cao khi áp dụng cho cơ sở dữ liệu lớn.
Sau khi các lớp được xác định, hệ thống sẽ suy ra các quy tắc chi phối việc phân loại, do đó hệ thống sẽ có thể tìm thấy mô tả của mỗi lớp. Các mô tả chỉ nên tham chiếu đến các thuộc tính dự đoán của tập huấn luyện để chỉ các ví dụ tích cực mới thỏa mãn mô tả chứ không phải các ví dụ tiêu cực. Một quy tắc được cho là đúng nếu mô tả của nó bao gồm tất cả các ví dụ tích cực và không có ví dụ tiêu cực nào về một lớp được đề cập.
Giả sử rằng các đóng góp của tất cả các thuộc tính là độc lập và mỗi thuộc tính đều đóng góp như nhau vào vấn đề phân loại, một sơ đồ phân loại đơn giản được gọi là phân loại Naïve Bayes. Bằng cách phân tích sự đóng góp của từng thuộc tính “độc lập”, xác suất có điều kiện được xác định. Việc phân loại được thực hiện bằng cách kết hợp tác động của các thuộc tính khác nhau đối với dự đoán sẽ được thực hiện.
Phân loại của Naïve Bayes được gọi là Naïve vì nó giả định tính độc lập có điều kiện của lớp. Ảnh hưởng của một giá trị thuộc tính trên một lớp nhất định là độc lập với các giá trị của các thuộc tính khác. Giả định này được thực hiện để giảm chi phí tính toán và do đó được coi là Không đúng đắn.
Định lý Bayes - Cho X là một bộ dữ liệu. Theo thuật ngữ Bayes, X được coi là “bằng chứng”. Gọi H là một giả thuyết nào đó, chẳng hạn như bộ dữ liệu X thuộc một lớp xác định C. Xác suất P (H | X) được xác định để phân loại dữ liệu. Xác suất P (H | X) này là xác suất mà giả thuyết H đưa ra với “bằng chứng” hoặc bộ dữ liệu quan sát X.
P (H | X) là xác suất đặt sau của H với điều kiện X. Ví dụ, giả sử một thế giới bộ dữ liệu được giới hạn cho khách hàng được mô tả theo độ tuổi thuộc tính và thu nhập, và X là khách hàng 30 tuổi với Rs. Thu nhập 20.000. Giả sử rằng H là giả thuyết rằng khách hàng sẽ mua một máy tính. Khi đó P (H | X) phản ánh xác suất khách hàng X sẽ mua một chiếc máy tính cho biết tuổi và thu nhập của khách hàng đó.
P (H) là xác suất trước của H. Ví dụ, đây là xác suất mà bất kỳ khách hàng nhất định nào sẽ mua một máy tính, bất kể tuổi tác, thu nhập hoặc bất kỳ thông tin nào khác. Xác suất sau P (H | X) dựa trên nhiều thông tin hơn xác suất trước P (H), độc lập với X.
Tương tự, P (X | H) là xác suất đặt sau của X với điều kiện là H. Đó là xác suất để một khách hàng X 30 tuổi và kiếm được Rs. 20.000.
P (H), P (X | H) và P (X) có thể được ước tính từ dữ liệu đã cho. Định lý Bayes cung cấp một cách tính xác suất hậu nghiệm P (H | X), từ P (H), P (X | H) và P (X). Nó được đưa ra bởi
$$ P (H | X) =\ frac {P (X | H) P (H)} {P (X)} $$