Một vấn đề thường gặp trong khai thác dữ liệu là sử dụng phương trình hồi quy để dự đoán giá trị của một biến phụ thuộc khi có nhiều biến có sẵn để chọn làm biến dự báo trong mô hình này.
Một cân nhắc khác ủng hộ việc bao gồm nhiều biến với hy vọng một mối quan hệ ẩn trước đó sẽ xuất hiện. Ví dụ, một công ty phát hiện khách hàng đã mua bộ bảo vệ chống trầy xước cho chân ghế và bàn có rủi ro tín dụng thấp hơn.
Có một số lý do để thận trọng trước khi ném tất cả các biến có thể vào mô hình.
- Có thể tốn kém hoặc không khả thi để thiết lập một bộ biến dự báo đầy đủ cho các dự đoán dự kiến.
- Có thể tính được ít biến dự báo chính xác hơn (ví dụ, trong khảo sát).
- Càng nhiều biến dự báo, cơ hội giá trị thiếu (missing values) trong dữ liệu càng cao. Nếu xóa hoặc điền thêm (impute) các bản ghi có giá trị thiếu, nhiều biến dự báo sẽ dẫn đến tỷ lệ xóa hoặc điền thêm bản ghi cao hơn.
- Tính tiết kiệm (Parsimony) là đặc trưng thiết yếu của mô hình tốt. Chúng ta có thêm hiểu lường về tác động của biến dự báo trong các mô hình với ít tham số.
- Ước lượng hệ số hồi quy có khả năng mơ hồ, do đa cộng tuyến (multicollinearity) trong mô hình với nhiều biến. (Đa cộng tuyến là sự hiện diện của hai hoặc nhiều biến dự báo chia sẻ cùng mối quan hệ tuyến tính với biến kết quả.)
- Hệ số hồi quy bền vững cho các mô hình tiết kiệm. Một quy tắc thô là có số bản ghi n lớn hơn 5(p + 2), trong đó p là số biến dự báo.
- Có thể chứng minh việc sử dụng biến dự báo không tương quan với biến kết quả làm tăng phương sai (variance) của dự đoán.
- Có thể chứng minh việc loại bỏ biến dự báo tương quan với biến kết quả có thể làm tăng sai số trung bình (bias) của dự đoán.
Hai điểm cuối xác định có sự đánh đổi (trade-off) giữa quá ít và quá nhiều biến dự báo. Nói chung, chấp nhận một số bias có thể giảm phương sai trong dự đoán. Trade-off bias-phương sai này đặc biệt thiết yếu cho nhiều biến dự báo vì có khả năng có biến trong mô hình có hệ số nhỏ tương ứng với độ lệch chuẩn của nhiễu và cũng xem xét ít nhất tương quan vừa phải với các biến khác.
Loại bỏ các biến như vậy sẽ cải thiện dự đoán, vì nó giảm phương sai dự đoán. Loại trade-off bias-phương sai này là một yếu tố thiết yếu của các thủ tục khai thác dữ liệu cho dự đoán và phân loại.