Computer >> Hướng Dẫn Máy Tính >  >> Lập Trình >> Lập Trình

Các nguyên nhân của bất thường (Anomalies) là gì?


Trong phát hiện bất thường, mục tiêu là khám phá các đối tượng khác biệt với các đối tượng khác. Thường, các đối tượng bất thường được gọi là ngoại lai (outliers), vì trên biểu đồ phân tán dữ liệu, chúng nằm xa các điểm dữ liệu khác. Phát hiện bất thường gọi là phát hiện độ lệch (deviation detection), vì các đối tượng bất thường có giá trị thuộc tính lệch bản chất từ giá trị thuộc tính kỳ vọng hoặc chung, hoặc gọi là khai thác ngoại lệ (exception mining), vì các bất thường là ngoại lệ theo một số ý nghĩa.

Trong thế giới, xã hội con người, hoặc lĩnh vực các nhóm dữ liệu, hầu hết sự kiện và đối tượng, bởi định nghĩa, là phổ biến hoặc thông thường. Nhưng có thể có nhận thức sắc bén về khả thi của các đối tượng khác biệt hoặc phi thường. Điều này bao gồm mùa khô hoặc mưa đặc biệt, vận động viên nổi tiếng, hoặc một giá trị thuộc tính nhỏ hoặc lớn hơn nhiều so với tất cả các giá trị khác.

Có một số nguyên nhân của bất thường như sau:

Dữ liệu từ các lớp khác nhau (Data from Different Classes) – Một đối tượng có thể khác với các đối tượng khác như bất thường, vì nó thuộc loại hoặc lớp khác. Ví dụ, ai đó gian lận thẻ tín dụng thuộc lớp người dùng thẻ tín dụng khác biệt so với những người dùng thẻ tín dụng chính xác. Một số ví dụ hiển thị như gian lận, xâm nhập, bùng phát dịch bệnh, và kết quả kiểm tra bất thường, là các trường hợp của bất thường định nghĩa một lớp phần tử khác biệt. Những bất thường như vậy là mối quan tâm đáng kể và là mục tiêu của việc xác định bất thường trong lĩnh vực khai thác dữ liệu.

Biến thiên tự nhiên (Natural Variation) – Một số tập dữ liệu có thể được mô hình hóa bằng các phân phối thống kê, bao gồm phân phối chuẩn (Gaussian), nơi xác suất của đối tượng dữ liệu giảm dần khi khoảng cách của đối tượng từ trung tâm phân phối tăng. Nói cách khác, một số đối tượng gần trung tâm (đối tượng trung bình) và khả năng một đối tượng khác biệt bản chất từ đối tượng trung bình này là nhỏ. Ví dụ, một người cao đặc biệt không phải bất thường theo nghĩa là từ một lớp đối tượng độc lập, mà chỉ theo nghĩa là có giá trị cực đoan cho một đặc điểm (chiều cao) được tiêu thụ bởi một số đối tượng. Những bất thường định nghĩa biến thiên cực đoan hoặc không chắc chắn là thú vị.

Lỗi đo lường và thu thập dữ liệu (Data Measurement and Collection Errors) – Lỗi trong tập dữ liệu hoặc quy trình đo lường là nguyên nhân khác của bất thường. Ví dụ, một phép đo có thể được ghi sai do lỗi con người, vấn đề với thiết bị đo lường, hoặc sự hiện diện của nhiễu. Mục tiêu là loại bỏ những bất thường như vậy, vì chúng không cung cấp thông tin thú vị mà chỉ giảm chất lượng dữ liệu và phân tích dữ liệu tiếp theo. Thực tế, việc loại bỏ loại bất thường này là mục tiêu của tiền xử lý dữ liệu, đặc biệt là làm sạch dữ liệu.