Computer >> Hướng Dẫn Máy Tính >  >> Lập Trình >> Lập Trình

Phát hiện giá trị ngoại lai (Outlier Detection) là gì?

Một giá trị ngoại lai (outlier) là một đối tượng dữ liệu khác biệt về bản chất từ phần còn lại các đối tượng như thể nó được tạo ra bởi các cơ chế khác nhau. Với mục đích trình diễn, có thể xác định các đối tượng dữ liệu không phải ngoại lai là dữ liệu "bình thường" (normal) hoặc dữ liệu kỳ vọng. Thường xác định các ngoại lai là dữ liệu "bất thường" (abnormal).

Ngoại lai là các thành phần dữ liệu không thể được gom vào một lớp hoặc cụm (cluster) cho trước. Đây là các đối tượng dữ liệu có hành vi khác biệt từ hành vi thông thường của các đối tượng dữ liệu khác. Phân tích loại dữ liệu này có thể quan trọng để khai thác kiến thức.

Ngoại lai thú vị vì chúng bị nghi ngờ không được tạo ra bởi cùng cấu trúc như phần còn lại dữ liệu. Do đó, trong phát hiện ngoại lai, thiết yếu phải biện minh tại sao các ngoại lai được xác định được tạo ra bởi các cơ chế khác nhau.

Phân loại một lớp (One-class classification) được gọi là phát hiện ngoại lai (hoặc phát hiện mới - novelty detection) vì thuật toán học tập có thể được dùng để phân biệt giữa dữ liệu xuất hiện bình thường và bất thường liên quan đến phân phối của bản ghi huấn luyện.

Ví dụ, bằng cách quan sát một trang web mạng xã hội nơi nội dung mới đang đến, phát hiện mới (novelty detection) có thể xác định các chủ đề và xu hướng mới nhanh chóng. Chủ đề mới ban đầu có thể xuất hiện như ngoại lai.

Phát hiện ngoại lai và phát hiện mới chia sẻ một số tương đồng trong mô hình hóa và phương pháp phát hiện. Nhưng một khác biệt quan trọng giữa hai cái là trong phát hiện mới, một khi chủ đề mới được xác nhận, chúng thường được tích hợp vào mô hình hành vi chung để các thể hiện tiếp theo không được coi là ngoại lai nữa.

Một phương pháp thống kê chung cho phân loại một lớp là nhận diện ngoại lai như những thể hiện nằm xa một khoảng cách d từ một phần trăm p cho trước của thông tin huấn luyện. Hơn nữa, một mật độ xác suất (probability density) có thể được ước lượng cho lớp mục tiêu bằng cách khớp một phân phối thống kê, bao gồm Gaussian, với thông tin huấn luyện; một số thể hiện kiểm tra với giá trị xác suất thấp có thể được nhận diện là ngoại lai.

Bộ phân loại đa lớp (Multiclass classifiers) có thể được điều chỉnh cho vị trí một lớp bằng cách khớp một ranh giới (boundary) quanh dữ liệu tập trung và coi các ví dụ rơi ra ngoài là ngoại lai. Ranh giới có thể được tạo bằng cách sửa đổi hoạt động bên trong của các bộ phân loại đa lớp hiện có bao gồm máy vector hỗ trợ (support vector machines).

Các phương pháp này phụ thuộc nhiều vào một tham số quyết định bao nhiêu thông tin mục tiêu có khả năng được phân loại là ngoại lai. Nếu chọn quá bảo thủ, dữ liệu trong lớp tập trung sẽ bị loại bỏ sai. Nếu chọn quá phóng khoáng, mô hình sẽ overfitting và từ chối quá nhiều bản ghi hợp pháp. Tỷ lệ từ chối thường không thể điều chỉnh trong kiểm tra, vì một giá trị tham số thích hợp cần được chọn tại thời điểm huấn luyện.