Computer >> Hướng Dẫn Máy Tính >  >> Lập Trình >> Lập Trình

Các loại giá trị ngoại lai (Outliers) trong khai thác dữ liệu là gì?

Có nhiều loại ngoại lai trong khai thác dữ liệu như sau:

Ngoại lai Toàn cục (Global Outliers)

Trong tập dữ liệu cho trước, một đối tượng dữ liệu là ngoại lai toàn cục nếu nó lệch đáng kể so với phần còn lại của tập dữ liệu. Ngoại lai toàn cục còn gọi là điểm bất thường (point anomalies) và là loại ngoại lai đơn giản nhất. Hầu hết phương pháp phát hiện ngoại lai nhắm đến việc tìm ngoại lai toàn cục.

Để xác định ngoại lai toàn cục, vấn đề quan trọng là tìm phép đo độ lệch phù hợp liên quan đến ứng dụng. Nhiều phép đo được đề xuất, và dựa trên chúng, các phương pháp phát hiện ngoại lai được phân chia thành nhiều thể loại.

Phát hiện ngoại lai toàn cục quan trọng trong nhiều ứng dụng. Xét phát hiện xâm nhập trong mạng máy tính, ví dụ, nếu hành vi truyền thông của một máy tính khác với các mẫu bình thường (ví dụ: số lượng gói tin lớn được phát ra trong thời gian ngắn), hành vi này có thể được coi là ngoại lai toàn cục và máy tính tương ứng là nghi ngờ bị tấn công.

Ngoại lai Ngữ cảnh (Contextual Outliers)

Ngoại lai ngữ cảnh còn gọi là Ngoại lai có điều kiện (Conditional outliers). Loại ngoại lai này xuất hiện nếu một đối tượng dữ liệu lệch khỏi các điểm dữ liệu khác do một số điều kiện xác định trong tập dữ liệu cho trước.

Có hai loại thuộc tính của đối tượng dữ liệu: thuộc tính ngữ cảnh (contextual attributes) và thuộc tính hành vi (behavioral attributes). Phân tích ngoại lai ngữ cảnh cho phép người dùng xác định ngoại lai trong nhiều ngữ cảnh và điều kiện khác nhau, có lợi trong nhiều ứng dụng.

Trong thuộc tính hành vi, chúng đại diện cho đặc điểm của đối tượng, và được dùng để tính toán xem đối tượng có phải ngoại lai trong ngữ cảnh mà nó hiểu hay không. Trong ví dụ nhiệt độ, thuộc tính hành vi có thể là nhiệt độ, độ ẩm và áp suất.

Ngoại lai ngữ cảnh là sự khái quát hóa của ngoại lai cục bộ (local outliers), khái niệm được giới thiệu trong phương pháp phân tích ngoại lai dựa trên mật độ. Một đối tượng trong tập dữ liệu là ngoại lai cục bộ nếu mật độ của nó lệch đáng kể so với khu vực cục bộ mà nó xuất hiện.

Phát hiện ngoại lai toàn cục có thể được coi là trường hợp đặc biệt của phát hiện ngoại lai ngữ cảnh nơi tập thuộc tính ngữ cảnh là rỗng. Nói cách khác, phát hiện ngoại lai toàn cục lấy toàn bộ tập dữ liệu làm ngữ cảnh. Phân tích ngoại lai ngữ cảnh cung cấp sự linh hoạt cho người dùng trong việc xác định ngoại lai trong nhiều ngữ cảnh, điều này có thể mong muốn trong nhiều ứng dụng.

Ngoại lai Tập thể (Collective Outliers)

Trong tập dữ liệu cho trước, khi một tập hợp các điểm dữ liệu lệch khỏi phần còn lại của tập dữ liệu thì được gọi là ngoại lai tập thể. Do đó, các đối tượng dữ liệu cụ thể không phải là ngoại lai, nhưng khi xem xét tập đối tượng dữ liệu như một toàn thể, chúng hành động như ngoại lai.

Để nhận diện các loại ngoại lai đa dạng, cần phải xem qua dữ liệu nền tảng về mối quan hệ giữa hành vi ngoại lai được thể hiện bởi nhiều đối tượng dữ liệu.