Chọn tập con thuộc tính (Attribute subset selection) giảm kích thước tập dữ liệu bằng cách loại bỏ thuộc tính không liên quan hoặc dư thừa (hoặc chiều). Mục tiêu chọn tập con thuộc tính là tìm tập tối thiểu thuộc tính sao cho phân phối xác suất tiếp theo của các lớp dữ liệu càng gần càng tốt với phân phối gốc dùng tất cả thuộc tính.
Với n thuộc tính, có 2n tập con có thể. Tìm kiếm toàn vẹn cho tập con tối ưu thuộc tính cực tốn kém, đặc biệt khi n và số lớp dữ liệu tăng. Do đó, phương pháp heuristic khám phá không gian tìm kiếm giảm thường dùng cho chọn tập con thuộc tính.
Các phương pháp này thường tham lam (greedy) vì khi tìm kiếm qua không gian thuộc tính, chúng liên tục làm lựa chọn trông tốt nhất tại thời điểm đó. Phương pháp của chúng phát triển lựa chọn tối ưu cục bộ với hy vọng dẫn đến giải pháp tối ưu toàn cục. Kỹ thuật tham lam này hiệu quả thực tế và có thể gần đạt giải pháp tối ưu.
"Tốt nhất" và "tệ nhất" thuộc tính thường quyết định bằng kiểm định ý nghĩa thống kê, giả định thuộc tính độc lập nhau. Một số thước độ đánh giá thuộc tính khác nhau dùng, bao gồm thước độ information gain dùng xây dựng cây quyết định cho phân loại.
Các phương pháp heuristic cơ bản chọn tập con thuộc tính bao gồm:
Chọn tiến từng bước (Stepwise forward selection) – Quy trình bắt đầu với tập rỗng thuộc tính làm tập giảm. Tốt nhất thuộc tính ban đầu quyết định và chèn vào tập giảm. Mỗi lần lặp tiếp theo, thuộc tính ban đầu còn lại chèn vào tập.
Loại bỏ lùi từng bước (Stepwise backward elimination) – Quy trình bắt đầu với tập đầy đủ thuộc tính. Mỗi giai đoạn, loại bỏ thuộc tính tệ nhất còn lại trong tập.
Kết hợp chọn tiến và loại bỏ lùi – Kỹ thuật chọn tiến từng bước và loại bỏ lùi từng bước kết hợp để, mỗi giai đoạn, quy trình chọn thuộc tính tốt nhất và loại bỏ tệ nhất từ giữa các thuộc tính còn lại.
Duy cảm cây quyết định (Decision tree induction) – Thuật toán cây quyết định bao gồm ID3, C4.5, CART, ban đầu thiết kế cho phân loại. Duy cảm cây quyết định xây dựng cấu trúc dạng sơ đồ luồng: nút nội部 (non-leaf) biểu diễn kiểm tra thuộc tính, nhánh tương ứng kết quả kiểm tra, nút ngoại (leaf) biểu diễn dự đoán lớp. Tại mỗi nút, thuật toán chọn thuộc tính "tốt nhất" phân chia thông tin thành các lớp đơn lẻ.
Khi duy cảm cây quyết định dùng cho chọn tập con thuộc tính, cây xây dựng từ dữ liệu cho trước. Tất cả thuộc tính không xuất hiện trong cây coi là không liên quan. Nhóm thuộc tính xuất hiện trong cây tạo tập con thuộc tính giảm.