Có một số phương pháp để ước tính sai số tổng quát của một mô hình trong quá trình huấn luyện. Sai số ước tính hỗ trợ thuật toán học để thực hiện lựa chọn mô hình; tức là, để khám phá một mô hình có độ phức tạp phù hợp mà không bị ảnh hưởng bởi việc trang bị quá nhiều.
Bởi vì mô hình đã được xây dựng, nó có thể được sử dụng trong tập thử nghiệm để dự báo các nhãn lớp của dữ liệu chưa thấy trước đó. Nó thường hữu ích để đo lường hiệu suất của mô hình trên tập hợp thử nghiệm bởi vì thước đo như vậy cung cấp một ước tính không thiên vị về sai số tổng quát của nó. Độ chính xác hoặc tỷ lệ lỗi được đánh giá từ bộ kiểm tra có thể được sử dụng để so sánh hiệu suất liên kết của nhiều bộ phân loại trên miền bằng nhau.
Có nhiều phương pháp khác nhau thường được sử dụng để đánh giá hiệu suất của bộ phân loại như sau -
Phương pháp giữ lại - Trong phương pháp holdout, bản ghi ban đầu với các cá thể được gắn nhãn được phân chia thành hai tập rời rạc, được gọi là tập huấn luyện và tập kiểm tra, theo đó. Mô hình phân loại được tạo ra từ tập huấn luyện và việc triển khai nó được tính toán trên tập thử nghiệm.
Hiệu quả của bộ phân loại có thể được tính toán tùy thuộc vào hiệu quả của mô hình cảm ứng trên bộ thử nghiệm. Phương pháp giữ lại có nhiều nhược điểm nổi tiếng khác nhau. Đầu tiên, một số phiên bản được gắn nhãn có thể truy cập để đào tạo vì một số dữ liệu được giữ lại để kiểm tra.
Do đó, mô hình cảm ứng không thể tốt nhất như khi một số ví dụ được gắn nhãn được sử dụng để đào tạo. Thứ hai, mô hình có thể phụ thuộc rất nhiều vào cấu trúc của các tập huấn luyện và kiểm tra.
Mặt khác, nếu tập huấn luyện quá lớn, thì độ chính xác ước tính được tính từ tập thử nghiệm nhỏ hơn là không đáng tin cậy. Do đó, một ước tính có khoảng tin cậy rộng. Cuối cùng, các tập huấn luyện và kiểm tra không tách biệt với nhau.
Lấy mẫu con ngẫu nhiên - Phương thức holdout có thể được lặp lại nhiều lần để nâng cao khả năng tính toán việc triển khai của trình phân loại. Phương pháp này được gọi là lấy mẫu con ngẫu nhiên.
Cho acc i là độ chính xác của mô hình trong lần thứ i sự lặp lại. Độ chính xác tổng thể được cung cấp bởi acc sub =$ \ mathrm {\ displaystyle \ sum \ limit_ {i =1} ^ k} $ acc i / k
Việc lấy mẫu con ngẫu nhiên gặp phải một số vấn đề liên quan đến phương pháp tạm giữ vì nó không sử dụng nhiều dữ liệu có thể áp dụng cho đào tạo. Nó cũng không kiểm soát số lần mỗi dữ liệu được sử dụng để kiểm tra và đào tạo. Do đó, một số dữ liệu có thể được sử dụng để đào tạo nhiều hơn những dữ liệu khác.
Xác thực chéo -:Một thay thế cho việc lấy mẫu con ngẫu nhiên là xác nhận chéo. Trong phương pháp này, mỗi dữ liệu được sử dụng nhiều lần để huấn luyện và chính xác một lần để thử nghiệm. Hãy xem xét rằng nó có thể phân vùng bản ghi thành hai tập con có kích thước bằng nhau. Đầu tiên, nó có thể chọn một trong các tập hợp con để đào tạo và tập hợp còn lại để thử nghiệm. Nó có thể thay đổi vai trò của các tập con để tập huấn luyện trước đó trở thành tập kiểm tra. Phương pháp này được gọi là xác thực chéo hai lần.