Computer >> Hướng Dẫn Máy Tính >  >> Lập Trình >> Lập Trình

Các biện pháp chọn thuộc tính (Attribute Selection Measures) là gì?

Biện pháp chọn thuộc tính là một heuristic để chọn thử nghiệm tách (splitting test) "tốt nhất" tách một phân vùng dữ liệu cho trước, D, của các tuple huấn luyện có nhãn lớp thành các lớp đơn lẻ.

Nếu có thể tách D thành các phân vùng nhỏ hơn theo kết quả của tiêu chí tách, lý tưởng nhất mỗi phân vùng có thể thuần khiết (tức là tất cả tuple rơi vào một phân vùng cho trước thuộc về cùng một lớp).

Về mặt khái niệm, tiêu chí tách "tốt nhất" là kết quả gần đúng nhất theo cách đó. Các biện pháp chọn thuộc tính được gọi là quy tắc tách vì chúng quyết định cách các tuple tại một nút cho trước sẽ được chia.

Biện pháp chọn thuộc tính cung cấp thứ hạng cho mỗi thuộc tính định nghĩa các tuple huấn luyện cho trước. Thuộc tính có phương pháp tốt nhất cho biện pháp được chọn làm thuộc tính tách cho các tuple cho trước.

Nếu thuộc tính tách là giá trị liên tục hoặc nếu bị giới hạn trong cây nhị phân, tương ứng, một điểm tách hoặc tập hợp con tách cũng phải được quyết định như một phần của tiêu chí tách.

Nút cây được tạo cho phân vùng D được gán nhãn với tiêu chí tách, nhánh được mở rộng cho mỗi kết quả của tiêu chí, và các tuple được phân cách tương ứng. Có ba biện pháp chọn thuộc tính nổi tiếng bao gồm information gain (lợi ích thông tin), gain ratio (tỷ lệ lợi ích), và gini index (chỉ số Gini).

Information gain (Lợi ích thông tin) − Được dùng để quyết định các đặc trưng/thuộc tính tốt nhất cung cấp tối đa thông tin về một lớp. Nó tuân theo phương pháp entropy trong khi nhằm giảm mức độ entropy, từ nút gốc đến các nút lá.

Cho nút N định nghĩa hoặc giữ các tuple của phân vùng D. Thuộc tính với information gain lớn nhất được chọn làm thuộc tính tách cho nút N. Thuộc tính này giảm thiểu thông tin cần thiết để định nghĩa các tuple trong các phân vùng kết quả và phản ánh độ ngẫu nhiên hoặc "sự không thuần khiết" ít nhất trong các phân vùng này.

Gain ratio (Tỷ lệ lợi ích) − Biện pháp information gain bị thiên vị về các thử nghiệm với nhiều kết quả. Nó có thể chọn thuộc tính có số giá trị cao. Ví dụ, xem xét thuộc tính phục vụ như định danh duy nhất, bao gồm product ID.

Một lần tách trên product ID có thể dẫn đến số lượng phân vùng lớn, mỗi phân vùng chỉ chứa một tuple. Vì mỗi phân vùng là thuần khiết, thông tin cần thiết để định nghĩa tập dữ liệu D dựa trên phân vùng này sẽ là Info_product_ID(D) = 0.

Gini index (Chỉ số Gini) − Chỉ số Gini có thể được dùng trong CART. Chỉ số Gini tính sự không thuần khiết của D, một phân vùng dữ liệu hoặc tập hợp tuple huấn luyện, như sau:

Gini(D) = 1 - Σ(p_i^2) với i từ 1 đến m

trong đó p_i là xác suất một tuple trong D thuộc về lớp C_i và được tính bằng |C_i,D|/|D|.