Mô hình tuyến tính khái quát hóa định nghĩa cơ sở lý thuyết mà trên đó hồi quy tuyến tính có thể áp dụng cho mô hình hóa biến phản hồi phân loại. Trong mô hình tuyến tính khái quát hóa, phương sai của biến phản hồi y là hàm của giá trị trung bình của y, khác với hồi quy tuyến tính, nơi phương sai của y là hằng số.
Mô hình tuyến tính khái quát hóa (GLMs) là mở rộng của các mô hình tuyến tính truyền thống. Thuật toán này khớp các mô hình tuyến tính khái quát hóa với thông tin bằng cách tối đa hóa log-likelihood. Hình phạt elastic net có thể dùng cho chính quy hóa tham số. Phép tính khớp mô hình song song, hoàn toàn nhanh, và mở rộng tốt cho mô hình với số lượng predictor xác định với hệ số không bằng không.
Có hai loại mô hình tuyến tính khái quát hóa như hồi quy logistic và hồi quy Poisson. Hồi quy logistic mô hình hóa xác suất các sự kiện xuất hiện như hàm tuyến tính của một nhóm biến predictor. Dữ liệu đếm thường hiển thị phân phối Poisson và thường được mô hình hóa bằng hồi quy Poisson.
Mô hình log-linear xác suất phân phối xác suất đa chiều rời rạc. Chúng có thể dùng để tính giá trị xác suất liên quan đến ô khối dữ liệu. Ví dụ, giả sử dữ liệu cho thuộc tính thành phố, mặt hàng, năm và bán hàng. Trong phương pháp log-linear, tất cả thuộc tính phải phân loại và do đó thuộc tính giá trị liên tục (như bán hàng) phải rời rạc hóa.
Phương pháp có thể dùng để tính xác suất mỗi ô trong cơ sở 4-D cho các thuộc tính cho trước, dựa trên cơ sở 2-D cho thành phố và mặt hàng, thành phố và năm, thành phố và bán hàng, và cơ sở 3-D cho mặt hàng, năm và bán hàng. Theo cách này, phương pháp lặp có thể dùng để tạo khối dữ liệu bậc cao từ các khối bậc thấp.
Phương pháp mở rộng tốt để cho phép nhiều chiều. Ngoài dự đoán, mô hình log-linear hữu ích cho nén dữ liệu (vì cơ sở bậc thấp thường chiếm ít diện tích hơn cơ sở) và làm mịn dữ liệu (vì tính ô trong cơ sở bậc thấp ít phụ thuộc vào biến thể lấy mẫu hơn tính ô trong cơ sở).
Khai phá cây quyết định có thể thích ứng để dự đoán giá trị liên tục (có thứ tự), thay vì nhãn lớp. Có hai loại cây cho dự đoán: cây hồi quy (regression trees) và cây mô hình (model trees). Cây hồi quy được đề xuất như phần của hệ thống học CART.
Mỗi lá cây hồi quy lưu dự đoán giá trị liên tục, là giá trị trung bình của thuộc tính dự đoán cho tuple huấn luyện nắm lấy lá. Ngược lại, trong cây mô hình, mỗi lá mang theo mô hình hồi quy và phương trình tuyến tính đa biến cho thuộc tính dự đoán. Cây hồi quy và mô hình có xu hướng hiệu quả hơn hồi quy tuyến tính khi dữ liệu không được định nghĩa tốt bằng mô hình tuyến tính đơn giản.