ROC là viết tắt của Đặc điểm hoạt động của máy thu. Đường cong ROC là một công cụ trực quan thuận tiện để phân tích hai mô hình phân loại. Các đường cong ROC xuất hiện từ lý thuyết phát hiện tín hiệu được tạo ra trong Thế chiến thứ hai để tìm kiếm hình ảnh radar.
Đường cong ROC hiển thị sự cân bằng giữa tỷ lệ dương tính thực sự hoặc độ nhạy (tỷ lệ các bộ giá trị dương được nhận dạng) và tỷ lệ dương tính giả (tỷ lệ các bộ giá trị âm không được công nhận là dương tính không chính xác) đối với một mô hình nhất định.
Với một bài toán hai lớp, nó cho phép chúng tôi dự đoán sự cân bằng giữa tỷ lệ mà tại đó mô hình có thể xác định chính xác các trường hợp "có" so với tỷ lệ mà tại đó nó nhận ra nhầm các trường hợp "không" là "có" cho nhiều phần " ”Của bộ thử nghiệm. Một số sự gia tăng trong tỷ lệ dương tính thực sự xuất hiện ở giá trị của sự gia tăng trong tỷ lệ dương tính giả. Diện tích dưới đường cong ROC là phần đánh giá độ chính xác của mô hình.
Nó có thể vận hành đường cong ROC cho một mô hình phân loại nhất định, M, mô hình sẽ có thể trả về xác suất hoặc xếp hạng cho lớp dự đoán của mọi bộ thử nghiệm. Cần phải xếp hạng các bộ kiểm tra theo thứ tự giảm dần, trong đó bộ phân loại cho rằng thường thuộc về lớp tích cực hoặc "có" xuất hiện ở đầu danh sách.
Các bộ phân loại Naive Bayesian và backpropagation là thích hợp, trong khi bao gồm các bộ phân loại cây quyết định, có thể đơn giản được thay đổi để trả về phân phối xác suất lớp cho mọi dự đoán. Trục tung của đường cong ROC xác định tỷ lệ dương thực sự. Trục hoành xác định tỷ lệ dương tính giả. Đường cong ROC cho M được vẽ như sau.
Nó bắt đầu ở góc dưới cùng bên trái (nơi tỷ lệ dương tính thật và tỷ lệ dương tính giả đều bằng 0), nó có thể kiểm tra nhãn lớp thực tế của bộ tuple ở đầu danh sách. Nếu nó là một số dương thực sự (tức là một bộ số dương đã được xác định chính xác), thì trên đường cong ROC, nó có thể thay đổi và vẽ một điểm.
Nó hiển thị các đường cong ROC của hai mô hình phân loại. Biểu đồ cũng hiển thị một đường chéo mà đối với mỗi dương tính thực của một mô hình như vậy, nói chung sẽ gặp phải dương tính giả.
Do đó, đường cong ROC của mô hình càng gần đường chéo thì mô hình càng kém hiệu quả. Nếu mô hình là tốt nhất, ban đầu nó có thể gặp phải những điều tích cực thực sự vì nó có thể thay đổi danh sách được xếp hạng. Do đó, đường cong có thể di chuyển dốc lên từ 0. Sau đó, vì nó có thể bắt đầu gặp ngày càng ít dương tính thật và dương tính giả dần dần, đường cong sẽ tắt và trở nên ngang hơn.