Bộ phân loại Bayes ngây thơ (naïve Bayesian classifier) tạo ra giả định độc lập điều kiện lớp (class conditional independence), tức là, cho trước nhãn lớp của một tuple, các giá trị của các thuộc tính được coi là độc lập điều kiện từ nhau. Điều này đơn giản hóa tính toán.
Khi giả định ảnh hưởng đúng, do đó bộ phân loại Bayes ngây thơ hiệu quả so với nhiều bộ phân loại. Nó có thể biểu diễn phân phối xác suất điều kiện kết hợp (joint conditional probability distributions).
Chúng cho phép các độc lập điều kiện lớp (class conditional independencies) được biểu diễn giữa các tập con biến số. Chúng hỗ trợ một cấu trúc đồ họa (graphical structure) của mối quan hệ nhân quả (causal relationships), trên đó học tập có thể được triển khai. Mạng niềm tin Bayes đã huấn luyện (Trained Bayesian belief networks) được dùng cho phân loại. Mạng niềm tin Bayes còn được gọi là belief networks, Bayesian networks, và probabilistic networks (mạng xác suất).
Một mạng niềm tin (belief network) được biểu diễn bởi hai thành phần bao gồm một đồ thị có hướng không chu trình (directed acyclic graph - DAG) và một nhóm bảng xác suất điều kiện (conditional probability tables - CPTs). Mỗi nút trong đồ thị có hướng không chu trình xác định một biến ngẫu nhiên (random variable). Các biến có thể là giá trị rời rạc (discrete-valued) hoặc liên tục (continuous-valued).
Chúng có thể tương ứng với các thuộc tính xác định cho trước trong thông tin hoặc đến "biến ẩn" (hidden variables) được tin là hình thành mối quan hệ (ví dụ, trong trường hợp bản ghi y tế, một biến ẩn có thể biểu thị một hội chứng, mô tả một số triệu chứng mà cùng nhau xác định một bệnh xác định).
Có các đặc điểm của Mạng niềm tin Bayes như sau:
BBN hỗ trợ một phương pháp để nắm bắt kiến thức trước (prior knowledge) của một miền cụ thể sử dụng mô hình đồ họa. Mạng có thể được dùng để mã hóa các phụ thuộc nhân quả giữa các biến số.
Xây dựng mạng có thể tốn thời gian và cần nhiều nỗ lực lớn. Nhưng cấu trúc mạng đã được quyết định, chèn một biến mới là khá đơn giản.
Mạng Bayes áp dụng cho việc xử lý bản ghi không đầy đủ (inadequate record). Các thể hiện với thuộc tính thiếu có thể được xử lý bằng cách cộng hoặc tích phân xác suất qua tất cả các giá trị có thể của thuộc tính.
Do bản ghi được kết hợp xác suất với kiến thức trước, phương pháp này mạnh mẽ (robust) đối với overfitting mô hình.
Mạng niềm tin có thể được dùng để mô hình hóa một số vấn đề nổi tiếng. Ví dụ là phân tích liên kết gen (genetic linkage analysis) như ánh xạ gen lên nhiễm sắc thể. Bằng cách đúc vấn đề liên kết gen vào phương pháp suy luận trên mạng Bayes, và sử dụng thuật toán tiên tiến (state-of-the-art algorithms), khả năng mở rộng (scalability) của phân tích đã tiến bộ đáng kể.
Một số ứng dụng đã hưởng lợi từ việc dùng mạng niềm tin như thị giác máy tính (computer vision), khôi phục hình ảnh (image restoration), thị giác stand (stereo vision), phân tích tệp và văn bản (files and text analysis), hệ thống hỗ trợ quyết định (decision support systems), và phân tích độ nhạy (sensitivity analysis). Việc dễ dàng nhiều ứng dụng có thể được giảm xuống suy luận mạng Bayes là có lợi vì nó hạn chế nhu cầu tạo thuật toán chuyên biệt cho mọi ứng dụng.