ROC là viết tắt của Receiver Operating Characteristic (Đặc tính hoạt động thu nhận). Đường cong ROC là công cụ trực quan tiện lợi để phân tích hai mô hình phân loại. Đường cong ROC xuất phát từ lý thuyết phát hiện tín hiệu được phát triển trong Thế chiến II để tìm kiếm ảnh radar.
Một đường cong ROC hiển thị sự đánh đổi giữa tỷ lệ dương tính thực (true positive rate) hoặc độ nhạy (sensitivity - tỷ lệ tuple dương được nhận diện) và tỷ lệ dương tính giả (false-positive rate - tỷ lệ tuple âm bị nhận diện sai là dương) cho một mô hình cho trước.
Cho vấn đề hai lớp, nó cho phép chúng ta dự đoán đánh đổi giữa tỷ lệ mô hình nhận diện chính xác trường hợp 'có' so với tỷ lệ nó nhận diện sai trường hợp 'không' là 'có' cho nhiều "phần" của tập kiểm tra. Một số tăng tỷ lệ dương tính thực xuất hiện ở giá trị của sự tăng tỷ lệ dương tính giả. Diện tích dưới đường cong ROC là thước đo độ chính xác của mô hình.
Để vẽ đường cong ROC cho mô hình phân loại cho trước M, mô hình phải có thể trả về xác suất hoặc xếp hạng cho lớp dự đoán của mỗi tuple kiểm tra. Cần xếp hạng tuple kiểm tra theo thứ tự giảm dần, nơi tuple mà bộ phân loại nghĩ có khả năng cao nhất thuộc lớp dương hoặc 'có' xuất hiện ở đầu danh sách.
Bộ phân loại Naive Bayesian và backpropagation phù hợp, trong khi bao gồm bộ phân loại cây quyết định, có thể dễ dàng thay đổi để trả về phân phối xác suất lớp cho mỗi dự đoán. Trục dọc của đường cong ROC định nghĩa tỷ lệ dương tính thực. Trục ngang định nghĩa tỷ lệ dương tính giả. Đường cong ROC cho M được vẽ như sau.
Bắt đầu từ góc dưới bên trái (tỷ lệ dương tính thực và dương tính giả đều 0), kiểm tra nhãn lớp thực tế của tuple ở đầu danh sách. Nếu là dương tính thực (tức là tuple dương được định nghĩa đúng), thì trên đường cong ROC, di chuyển lên và vẽ một điểm.
Hiển thị đường cong ROC của hai mô hình phân loại. Biểu đồ cũng hiển thị đường chéo nơi mỗi dương tính thực của mô hình như vậy, thường sẽ gặp một dương tính giả.
Do đó, càng gần đường cong ROC của mô hình với đường chéo, mô hình càng kém hiệu quả. Nếu mô hình tốt, ban đầu có khả năng gặp dương tính thực khi di chuyển xuống danh sách xếp hạng. Do đó đường cong đi lên dốc từ 0. Sau đó, khi bắt đầu gặp ít dương tính thực hơn và dần dần nhiều dương tính giả, đường cong bằng phẳng và trở nên ngang hơn.