ROC là viết tắt của đường đặc tính hoạt động thu nhận (receiver operating characteristic curve). Nó là một phương pháp đồ họa (graphical method) để hiển thị sự đánh đổi (tradeoff) giữa tỷ lệ dương tính thật (true positive rate) và tỷ lệ dương tính giả (false positive rate) của một bộ phân loại. Trong đường cong ROC, tỷ lệ dương tính thật (TPR) được vẽ trên trục tung (y-axis) và tỷ lệ dương tính giả (FPR) được hiển thị trên trục hoành (x-axis). Mỗi điểm dọc theo đường cong tương ứng với một trong các mô hình được khuyết nạp bởi bộ phân loại.
Có một số điểm quan trọng dọc theo đường cong ROC có giải thích nổi tiếng:
- (TPR: 0, FPR: 0) — Mô hình dự đoán mọi thể hiện là lớp âm tính.
- (TPR: 1, FPR: 1) — Mô hình dự đoán mọi thể hiện là lớp dương tính.
- (TPR: 1, FPR: 0) — Mô hình lý tưởng (ideal model).
Mô hình phân loại tốt nhất phải được đặt càng gần góc trên bên trái càng tốt, trong khi mô hình tạo ra đoán ngẫu nhiên (random guesses) phải nằm dọc theo đường chéo chính, nối các điểm (TPR:0,FPR:0) và (TPR:1,FPR:1). Đoán ngẫu nhiên xác định một bản ghi được phân loại là lớp dương tính với xác suất cố định p, bất kể tập thuộc tính của nó.
Để vẽ đường cong ROC, bộ phân loại phải có khả năng tạo ra đầu ra giá trị liên tục (continuous-valued output) có thể dùng để xếp hạng dự đoán của nó, từ dữ liệu có khả năng cao nhất được phân loại là lớp dương tính đến dữ liệu ít khả năng nhất. Các đầu ra này có thể tương ứng với xác suất hậu nghiệm (posterior probabilities) được tạo bởi bộ phân loại Bayes hoặc các đầu ra giá trị số (numeric-valued outputs) được phát triển bởi mạng nơ-ron nhân tạo. Quy trình sau có thể được dùng để tạo đường cong ROC:
- Xét rằng các đầu ra giá trị liên tục được biểu diễn cho lớp dương tính, sắp xếp dữ liệu kiểm tra theo thứ tự tăng dần của giá trị đầu ra của chúng.
- Chọn dữ liệu kiểm tra xếp hạng thấp nhất (tức là dữ liệu với giá trị đầu ra thấp nhất). Gán dữ liệu được chọn và những cái xếp hạng theo sau nó cho lớp dương tính. Phương pháp này tương tự như phân loại tất cả dữ liệu kiểm tra là lớp dương tính. Vì tất cả thể hiện dương tính được phân loại đúng và thể hiện âm tính bị phân loại sai, TPR: 1, FPR: 1.
- Chọn dữ liệu kiểm tra tiếp theo từ danh sách đã sắp xếp. Phân loại dữ liệu được chọn và những cái xếp hạng theo sau nó là dương tính, trong khi những cái xếp hạng dưới nó là âm tính. Làm mới số đếm TP và FP bằng cách xác định nhãn lớp thực tế của dữ liệu được chọn trước đó.
- Nếu dữ liệu được chọn trước đó là lớp dương tính, số đếm TP giảm và số đếm FP giữ nguyên như trước. Nếu dữ liệu được chọn trước là lớp âm tính, số đếm FP giảm và số đếm TP giữ nguyên như trước.
- Lặp lại Bước 3 và làm mới số TP và FP tương ứng cho đến khi dữ liệu kiểm tra xếp hạng cao nhất được chọn.
- Vẽ TPR đối lập FPR của bộ phân loại.