Có một số phương pháp ước lượng lỗi tổng quát hóa (generalization error) của một mô hình trong quá trình huấn luyện. Sai số ước lượng hỗ trợ thuật toán học tập làm lựa chọn mô hình (model selection); tức là tìm một mô hình có độ phức tạp phù hợp không bị ảnh hưởng bởi overfitting.
Vì mô hình đã được xây dựng, có thể dùng nó trên tập kiểm tra (test set) để dự đoán nhãn lớp của dữ liệu chưa từng thấy trước đây. Thường hữu ích để đo hiệu suất của mô hình trên tập kiểm tra vì đo lường đó cung cấp ước lượng không chệch (unbiased estimate) của lỗi tổng quát hóa của nó. Độ chính xác hoặc tỷ lệ lỗi đánh giá từ tập kiểm tra có thể dùng để so sánh hiệu suất tương đối của nhiều bộ phân loại trên cùng miền.
Có nhiều phương pháp thường dùng để đánh giá hiệu suất của một bộ phân loại như sau:
Phương pháp Holdout (Holdout Method)
Trong phương pháp holdout, bản ghi ban đầu có các thể hiện được gán nhãn được phân hoạch thành hai tập rời rạc (disjoint sets), gọi là tập huấn luyện (training set) và tập kiểm tra (test set), tương ứng. Một mô hình phân loại được suy ra từ tập huấn luyện và triển khai của nó được tính trên tập kiểm tra.
Hiệu suất của bộ phân loại có thể được tính tùy thuộc vào hiệu suất của mô hình được suy ra trên tập kiểm tra. Phương pháp holdout có nhiều nhược điểm nổi tiếng. Thứ nhất, một số thể hiện được gán nhãn có sẵn cho huấn luyện vì một số dữ liệu bị giữ lại để kiểm tra.
Kết quả, mô hình được suy ra không thể tốt nhất khi tất cả các ví dụ được gán nhãn được dùng cho huấn luyện. Thứ hai, mô hình có thể phụ thuộc lớn vào cấu trúc của tập huấn luyện và tập kiểm tra.
Mặt khác, nếu tập huấn luyện quá lớn, thì độ chính xác ước lượng được tính từ tập kiểm tra nhỏ hơn là kém tin cậy hơn. Do đó ước lượng có khoảng tin cậy rộng. Cuối cùng, tập huấn luyện và tập kiểm tra không còn tách biệt hoàn toàn với nhau.
Lấy mẫu ngẫu nhiên con (Random Subsampling)
Phương pháp holdout có thể được lặp lại nhiều lần để cải thiện tính toán hiệu suất của bộ phân loại. Phương pháp này gọi là lấy mẫu ngẫu nhiên con (random subsampling).
Cho accᵢ là độ chính xác mô hình trong lần lặp thứ i. Độ chính xác tổng thể được cho bởi acc_sub = Σᵢ₌₁ᵏ accᵢ / k
Lấy mẫu ngẫu nhiên con gặp một số vấn đề liên quan đến phương pháp holdout vì nó không dùng nhiều dữ liệu có sẵn cho huấn luyện. Nó cũng không có kiểm soát số lần mỗi dữ liệu được dùng cho kiểm tra và huấn luyện. Do đó, một số dữ liệu có thể được dùng cho huấn luyện nhiều hơn những cái khác.
Xác thực chéo (Cross-Validation)
Một lựa chọn thay thế cho lấy mẫu ngẫu nhiên con là xác thực chéo. Trong phương pháp này, mỗi dữ liệu được dùng nhiều lần cho huấn luyện và chính xác một lần cho kiểm tra. Xét rằng có thể phân hoạch bản ghi thành hai tập con cùng kích thước. Trước tiên, có thể chọn một trong các tập con cho huấn luyện và cái kia cho kiểm tra. Có thể đổi vai trò của các tập con sao cho tập huấn luyện trước trở thành tập kiểm tra. Phương pháp này được gọi là xác thực chéo hai lần (twofold cross-validation).