Computer >> Hướng Dẫn Máy Tính >  >> Lập Trình >> Lập Trình

Kỹ thuật Rời rạc hóa (Discretization) và Tạo phân cấp khái niệm (Concept Hierarchy Generation) cho dữ liệu số


Việc định nghĩa concept hierarchies cho thuộc tính số phức tạp và tốn công do đa dạng phạm vi dữ liệu và cập nhật giá trị thường xuyên. Các phương pháp concept hierarchy generation cho dữ liệu số:

Binning (Phân bin) – Kỹ thuật chia top-down dựa trên số bin định trước. Dùng cho discretization, numerosity reduction, concept hierarchy generation. Đệ quy trên các partition kết quả để tạo hierarchy. Binning không dùng class data → unsupervised discretization. Nhạy cảm với số bin user chỉ định và outliers.

Histogram Analysis (Phân tích Histogram) – Giống binning, unsupervised vì không dùng class data. Histogram phân chia giá trị thuộc tính A thành các range rời rạc gọi là buckets. Equal-width histogram: chia đều range (ví dụ bucket width $10). Equal-frequency histogram: chia sao cho mỗi partition có cùng số tuple.

Thuật toán histogram analysis áp dụng đệ quy cho mỗi partition để tự động tạo multilevel concept hierarchy, dừng khi đạt số level concept quy định trước.

Có thể dùng minimum interval size mỗi level để kiểm soát đệ quy. Chỉ định độ rộng tối thiểu partition hoặc số giá trị tối thiểu mỗi partition mỗi level.

Entropy-Based Discretization (Rời rạc hóa dựa trên Entropy) – Entropy là thước đo discretization phổ biến. Shannon giới thiệu trong lý thuyết thông tin và information gain.

Entropy-based discretization là supervised, top-down splitting. Khám phá phân bố class trong tính toán và xác định split points (giá trị dữ liệu phân chia range thuộc tính).

Cluster Analysis (Phân tích phân cụm) – Phương pháp discretization phổ biến. Thuật toán clustering áp dụng cho thuộc tính số A bằng cách phân chia giá trị A thành clusters/nhóm.

Clustering xem xét phân bố A và độ gần của data points → kết quả discretization chất lượng cao. Clustering tạo concept hierarchy cho A bằng top-down splitting hoặc bottom-up merging, mỗi cluster thành nút concept hierarchy.