Có hai loại thuật toán dựa trên thống kê:
Hồi Quy (Regression) − Vấn đề hồi quy xử lý đánh giá giá trị đầu ra dựa trên giá trị đầu vào. Khi dùng cho phân loại, giá trị đầu vào từ CSDL và giá trị đầu ra định nghĩa lớp. Hồi quy dùng giải quyết phân loại nhưng dùng cho ứng dụng khác như dự báo. Dạng cơ bản hồi quy là hồi quy tuyến tính đơn giản chỉ có một biến dự báo và một dự đoán.
Hồi quy dùng thực hiện phân loại bằng hai phương pháp:
Phân Chia (Division) − Dữ liệu chia thành vùng dựa trên lớp.
Dự Đoán (Prediction) − Công thức tạo để dự đoán giá trị lớp đầu ra.
Phân Loại Bayesian (Bayesian Classification) − Bộ phân loại thống kê dùng cho phân loại. Phân loại Bayesian dựa trên định lý Bayes. Bộ phân loại Bayesian thể hiện hiệu quả và tốc độ cao khi áp dụng cho CSDL lớn.
Định Lý Bayes − X là tuple dữ liệu. Trong phương pháp Bayesian, X xem như "bằng chứng". H là giả thuyết, như tuple X thuộc lớp C cụ thể. Xác suất P(H|X) quyết định phân loại dữ liệu. P(H|X) là xác suất giả thuyết H đúng cho "bằng chứng" hoặc tuple quan sát X.
P(H|X) là xác suất hậu nghiệm H điều kiện X. Ví dụ: tuple giới hạn khách hàng bởi tuổi và thu nhập, X 30 tuổi, thu nhập 20.000đ. H: khách hàng mua máy tính. P(H|X) phản ánh xác suất X mua máy tính biết tuổi, thu nhập.
P(H) xác suất tiền nghiệm H. Xác suất bất kỳ khách hàng nào mua máy tính, bất kể tuổi, thu nhập. Xác suất hậu nghiệm P(H|X) dựa trên nhiều thông tin hơn P(H), độc lập X.
Tương tự, P(X|H) xác suất hậu nghiệm X điều kiện H. Xác suất khách hàng X 30 tuổi, thu nhập 20.000đ.
P(H), P(X|H), P(X) ước lượng từ dữ liệu. Định lý Bayes tính xác suất hậu nghiệm P(H|X) từ P(H), P(X|H), P(X):
$$P(H|X)=\frac{P(X|H)P(H)}{P(X)}$$