Bộ phân loại Bayes là các bộ phân loại thống kê. Chúng có thể dự đoán xác suất thành viên lớp, bao gồm xác suất rằng một mẫu cho trước thuộc về một lớp cụ thể. Bộ phân loại Bayes cũng thể hiện hiệu quả và tốc độ lớn khi xử lý cơ sở dữ liệu lớn.
Một khi các lớp được định nghĩa, hệ thống nên suy ra các quy tắc quản trị phân loại, do đó hệ thống phải có thể tìm thấy mô tả của từng lớp. Các mô tả nên chỉ tham chiếu đến các thuộc tính dự báo của tập huấn luyện để chỉ các ví dụ dương tính thỏa mãn mô tả, không phải ví dụ âm tính. Một luật được gọi là đúng nếu mô tả của nó bao phủ tất cả các ví dụ dương tính và không có ví dụ âm tính nào của một lớp được bao phủ.
Giả định rằng đóng góp của tất cả các thuộc tính là độc lập và mỗi thuộc tính đóng góp như nhau cho vấn đề phân loại, một lược đồ phân loại đơn giản gọi là phân loại Naïve Bayes. Bằng cách phân tích đóng góp của mỗi thuộc tính "độc lập", một xác suất có điều kiện được xác định. Một phân loại được thực hiện bằng cách kết hợp tác động mà các thuộc tính khác nhau có trên dự báo cần tạo ra.
Phân loại Naïve Bayes được gọi là Naïve vì nó giả định độc lập có điều kiện lớp. Hiệu ứng của một giá trị thuộc tính trên một lớp cho trước độc lập với các giá trị của các thuộc tính khác. Giả định này được làm để giảm chi phí tính toán và do đó được coi là Naïve.
Trong việc học hoặc huấn luyện mạng niềm tin, nhiều kịch bản có thể xảy ra. Topology mạng có thể được cho trước hoặc suy ra từ thông tin. Các biến mạng có thể quan sát được hoặc ẩn trong một số tuple huấn luyện. Phương pháp dữ liệu ẩn được định nghĩa là giá trị thiếu hoặc thông tin không hoàn chỉnh.
Có nhiều thuật toán tồn tại để hiểu topology mạng từ các bản ghi huấn luyện cho trước các biến quan sát được. Vấn đề là tối ưu hóa rời rạc. Chuyên gia con người thường có sự hiểu tốt về các phụ thuộc có điều kiện trực tiếp ảnh hưởng trong lĩnh vực đang phân tích, hỗ trợ thiết kế mạng. Chuyên gia nên xác định xác suất có điều kiện cho các nút thực hiện các phụ thuộc trực tiếp.
Các xác suất này có thể được dùng để đánh giá các giá trị xác suất còn lại. Nếu topology mạng được biết và các biến quan sát được, do đó huấn luyện mạng là đơn giản. Nó bao gồm tính các mục CPT, tương tự như khi tính xác suất liên quan trong phân loại Bayes ngây thơ.
Khi topology mạng được cho và một số biến ẩn, có một số phương pháp để chọn huấn luyện mạng niềm tin. Có thể định nghĩa một phương pháp triển vọng của gradient descent. Đối với những người không có nền tảng số học nâng cao, định nghĩa có thể trông khá đáng sợ với các công thức tích phân.