Xác thực chéo 10 lần (Tenfold cross-validation) là cách tiêu chuẩn để đo tỷ lệ lỗi của một sơ đồ học tập trên một tập dữ liệu cụ thể; để có kết quả tin cậy, thực hiện 10 lần xác thực chéo 10 lần. Có hai phương pháp là xác thực chéo bỏ một (leave-one-out cross-validation) và bootstrap.
Xác thực chéo bỏ một (Leave-One-Out Cross-Validation)
Xác thực chéo bỏ một là xác thực chéo n-gấp (n-fold cross-validation) một cách công khai, nơi n là số lượng thể hiện trong tập dữ liệu. Mỗi thể hiện lần lượt bị bỏ qua, và sơ đồ học tập được huấn luyện trên tất cả các thể hiện còn lại. Nó được đánh giá bằng độ chính xác của nó trên thể hiện còn lại — một hoặc không cho thành công hoặc thất bại, tương ứng. Kết quả của tất cả n phán đoán, một cho mỗi nhóm của tập dữ liệu, được trung bình, và trung bình đó xác định ước lượng lỗi cuối cùng.
Quy trình này thú vị vì hai lý do. Thứ nhất, lượng lớn nhất bản ghi có thể được dùng cho huấn luyện trong mỗi trường hợp, điều này được cho là cải thiện cơ hội bộ phân loại là một bộ phân loại xác thực.
Thứ hai, quy trình là xác định (deterministic) — Không có lấy mẫu ngẫu nhiên (random sampling) liên quan. Không có ý nghĩa lặp lại nó 10 lần, hoặc lặp lại nó hoàn toàn. Kết quả giống nhau sẽ được thu được mỗi lần. Đối lập với đây là chi phí tính toán cao vì toàn bộ giai đoạn học tập phải được thực thi n lần và điều này thường không khả thi cho tập dữ liệu lớn.
Bootstrap
Phương pháp ước lượng thứ hai chúng ta mô tả, bootstrap, dựa trên thủ tục thống kê lấy mẫu có hoàn lại (sampling with replacement). Trước đây, bất cứ khi nào một mẫu được lấy từ tập dữ liệu để tạo tập huấn luyện hoặc kiểm tra, nó được lấy mà không hoàn lại.
Hầu hết các sơ đồ học tập có thể sử dụng cùng một thể hiện hai lần, và nó tạo ra sự khác biệt trong kết quả học tập nếu nó hiện diện trong tập huấn luyện hai lần. Ý tưởng của bootstrap là lấy mẫu tập dữ liệu có hoàn lại để tạo tập huấn luyện. Chúng ta sẽ mô tả một biến thể cụ thể, bí ẩn (nhưng vì một lý do sẽ sớm trở nên rõ ràng) gọi là bootstrap 0.632.
Đối với điều này, một tập dữ liệu n thể hiện được lấy mẫu n lần, có hoàn lại, để cung cấp một tập dữ liệu khác nhau n thể hiện. Vì một số phần tử trong tập dữ liệu thứ hai này sẽ (gần chắc chắn) bị lặp lại, phải có một số thể hiện trong tập dữ liệu gốc chưa được chọn — chúng ta sẽ dùng chúng làm thể hiện kiểm tra.
Con số thu được bằng cách huấn luyện một hệ thống học tập trên tập huấn luyện và tính lỗi của nó trên tập kiểm tra sẽ là ước lượng bi quan về tỷ lệ lỗi thực sự vì tập huấn luyện, dù kích thước là n, tuy nhiên chỉ chứa 63% các thể hiện, không phải là rất nhiều so với, ví dụ, 90% được dùng trong xác thực chéo 10 lần.