Chọn tập con thuộc tính giảm kích thước tập dữ liệu bằng cách loại bỏ thuộc tính không liên quan hoặc dư thừa (hoặc chiều). Mục tiêu tìm tập thuộc tính tối thiểu sao cho phân phối xác suất lớp dữ liệu gần nhất với phân phối dùng tất cả thuộc tính. Khai thác dữ liệu trên tập thuộc tính giảm còn có lợi ích: giảm số thuộc tính trong mẫu phát hiện, giúp mẫu dễ hiểu hơn.
Với n thuộc tính, có 2ⁿ tập con khả dĩ. Tìm kiếm đầy đủ tập con tối ưu rất tốn kém, đặc biệt khi n và số lớp tăng. Do đó, phương pháp heuristic khám phá không gian tìm kiếm giảm thường được dùng.
Các phương pháp này thường tham lam: khi tìm kiếm không gian thuộc tính, luôn chọn lựa tốt nhất tại thời điểm đó. Chiến lược: lựa chọn tối ưu cục bộ hy vọng dẫn đến tối ưu toàn cục. Cách tham lam hiệu quả thực tế và gần giải tối ưu.
Thuộc tính tốt/xấu thường xác định bằng kiểm định ý nghĩa thống kê, giả định các thuộc tính độc lập. Các thước độ đánh giá khác cũng dùng được, bao gồm thước độ'information gain' dùng xây cây quyết định cho phân loại.
Các Phương Pháp Chọn Tập Con Thuộc Tính
Chọn tiến từng bước (Stepwise forward selection) − Bắt đầu tập rỗng. Xác định thuộc tính tốt nhất của tập gốc và thêm vào tập giảm. Mỗi vòng lặp sau, thêm thuộc tính tốt nhất còn lại.
Loại bỏ lùi từng bước (Stepwise backward elimination) − Bắt đầu tập đầy đủ. Mỗi bước loại bỏ thuộc tính tệ nhất còn lại.
Kết hợp chọn tiến và loại lùi − Kết hợp hai phương pháp trên: mỗi bước chọn thuộc tính tốt nhất và loại bỏ tệ nhất trong các thuộc tính còn lại.
Khởi tạo cây quyết định (Decision tree induction) − Thuật toán cây quyết định (ID3, C4.5, CART) ban đầu thiết kế cho phân loại. Xây cấu trúc dạng flowchart: nút nội bộ kiểm tra thuộc tính, nhánh kết quả kiểm tra, nút lá dự đoán lớp. Tại mỗi nút, thuật toán chọn thuộc tính "tốt nhất" phân chia dữ liệu thành các lớp riêng biệt.