Computer >> Hướng Dẫn Máy Tính >  >> Lập Trình >> Lập Trình

Các phương pháp rời rạc hóa không giám sát (Unsupervised Discretization) là gì?

Một thuộc tính là rời rạc (discrete) nếu nó có một số lượng giá trị có thể hữu hạn (finite), trong khi thuộc tính liên tục (continuous) được coi là có số lượng giá trị có thể rất lớn (vô hạn).

Nói cách khác, thuộc tính dữ liệu rời rạc có thể được xem như một hàm có miền giá trị (range) là một nhóm hữu hạn, trong khi thuộc tính dữ liệu liên tục là hàm có miền giá trị là một nhóm hoàn toàn có thứ tự vô hạn, thường là một khoảng (interval).

Rời rạc hóa (Discretization) nhằm giảm số lượng giá trị có thể mà một thuộc tính liên tục nhận bằng cách phân hoạch chúng thành một số khoảng (intervals). Có hai phương pháp cho bài toán rời rạc hóa. Một là lượng tử hóa (quantize) mọi thuộc tính khi vắng mặt một số kiến thức về các lớp của các thể hiện (instances) trong lớp huấn luyện — gọi là rời rạc hóa không giám sát (unsupervised discretization).

Thứ hai là tính đến các lớp khi rời rạc hóa — gọi là rời rạc hóa có giám sát (supervised discretization). Phương pháp đầu tiên là khả năng duy nhất khi xử lý bài toán phân cụm (clustering) nơi các lớp chưa biết hoặc không tồn tại.

Cách rõ ràng để rời rạc hóa một thuộc tính số là chia miền giá trị của nó thành một số lượng khoảng bằng nhau được xác định trước: một thước đo cố định, độc lập với dữ liệu. Điều này thường được hoàn thành tại thời điểm thu thập thông tin.

Trong phương pháp rời rạc hóa không giám sát, nó có nguy cơ làm hỏng những phân biệt đã được chứng minh là có lợi trong quy trình học tập bằng cách sử dụng các cấp độ quá thô (rude) hoặc, do lựa chọn biên (boundary) không利好, gom chung không cần thiết nhiều thể hiện của nhiều lớp.

Phân box cùng chiều rộng thường phân phối các thể hiện rất không đều (Equal-width binning often distributes instances very raggedly)

Một số box chứa nhiều thể hiện trong khi những box khác không chứa gì. Điều này có thể làm suy giảm nghiêm trọng khả năng của thuộc tính giúp xây dựng các cấu trúc quyết định tốt. Tốt hơn là cho phép các khoảng có nhiều kích thước khác nhau, chọn chúng sao cho số lượng ví dụ huấn luyện rơi vào mỗi khoảng là tương tự nhau.

Phương pháp này được gọi là phân box cùng tần suất (equal-frequency binning), chia miền giá trị của thuộc tính thành một số box được xác định trước dựa trên phân phối các thể hiện dọc theo trục đó — đôi khi gọi là cân bằng biểu đồ (histogram equalization) vì nếu vẽ biểu đồ của nội dung các box kết quả, nó sẽ thường phẳng. Nếu xem các box đa dạng như một tài nguyên, phương pháp này phát huy việc sử dụng tốt nhất của nó.

Phân box cùng tần suất hiển nhiên với các lớp của các thể hiện, và điều này có thể tạo ra các biên xấu. Ví dụ, nếu một số thể hiện trong một box có một lớp, và một số thể hiện trong box lớn tiếp theo có lớp khác ngoại trừ cái đầu tiên, có lớp ban đầu, chắc chắn có ý nghĩa để tôn trọng các phân chia lớp và chứa thể hiện đầu tiên đó trong box trước đó, hy sinh thuộc tính cùng tần suất cho lợi ích của tính đồng nhất (homogeneity).