Bộ phân loại Bayes ngây thơ (naïve Bayesian classifier) làm giả định độc lập có điều kiện theo lớp, tức là cho nhãn lớp của một tuple, các giá trị của các thuộc tính được giả định là độc lập có điều kiện lẫn nhau. Điều này đơn giản hóa tính toán.
Khi giả định đúng, bộ phân loại Bayes ngây thơ hiệu quả hơn so với các bộ phân loại khác. Mạng niềm tin Bayes định nghĩa các phân phối xác suất聯合 có điều kiện. Chúng cho phép các độc lập có điều kiện theo lớp được biểu diễn giữa các tập con biến số. Chúng cung cấp cấu trúc đồ họa của các quan hệ nhân quả, trên đó học có thể được thực hiện. Mạng niềm tin Bayes đã huấn luyện được dùng cho phân loại. Mạng niềm tin Bayes còn được gọi là mạng niềm tin (belief networks), mạng Bayes (Bayesian networks) và mạng xác suất (probabilistic networks).
Cấu trúc mạng niềm tin
Một mạng niềm tin được biểu diễn bởi hai thành phần: một đồ thị có hướng không chu trình (directed acyclic graph) và một tập bảng xác suất có điều kiện. Mỗi nút trong đồ thị có hướng không chu trình đại diện cho một biến ngẫu nhiên. Các biến có thể là giá trị rời rạc hoặc liên tục.
Chúng có thể tương ứng với các thuộc tính cho trước trong dữ liệu hoặc các "biến ẩn" (hidden variables) được cho là tạo ra mối quan hệ (ví dụ: trong hồ sơ y tế, một biến ẩn có thể biểu thị một hội chứng, mô tả một số triệu chứng cùng xác định một bệnh xác định).
Mỗi cung (arc) đại diện cho một sự phụ thuộc xác suất. Nếu một cung được vẽ từ nút Y đến nút Z, thì Y là cha hoặc tiền thân trực tiếp của Z, và Z là con cháu của Y. Mỗi biến độc lập có điều kiện với các nút không phải con cháu của nó trong đồ thị, cho trước các cha của nó.
Một mạng niềm tin có một bảng xác suất có điều kiện (CPT) cho mỗi biến. CPT cho biến Y xác định phân phối có điều kiện P(Y|Parents(Y)), trong đó Parents(Y) là các cha của Y.
Một nút trong mạng có thể được chọn làm nút "đầu ra" (output), đại diện cho thuộc tính nhãn lớp. Có thể có nhiều hơn một nút đầu ra. Có nhiều thuật toán suy luận và học có thể áp dụng cho mạng. Thay vì trả về một nhãn lớp đơn lẻ, quá trình phân loại có thể trả về phân phối xác suất cung cấp xác suất của mỗi lớp.
Ứng dụng
Mạng niềm tin có thể dùng để mô hình hóa nhiều bài toán nổi tiếng. Ví dụ: phân tích liên kết gen như ánh xạ gen lên nhiễm sắc thể. Bằng cách chuyển bài toán liên kết gen sang dạng suy luận trên mạng Bayes và sử dụng thuật toán hiện đại, khả năng mở rộng của phân tích đã cải thiện đáng kể.
Nhiều ứng dụng đã hưởng lợi từ mạng niềm tin như: thị giác máy tính, khôi phục hình ảnh và thị giác立体, phân tích văn bản và tệp, hệ thống hỗ trợ quyết định và phân tích độ nhạy. Khả năng giảm nhiều ứng dụng thành suy luận mạng Bayes rất có lợi vì nó giảm thiểu việc phải tạo thuật toán chuyên biệt cho mỗi ứng dụng.