Hồi quy định nghĩa một loại phương pháp học máy có giám sát có thể dùng để dự đoán bất kỳ thuộc tính giá trị liên tục nào. Hồi quy cung cấp cho tổ chức kinh doanh khám phá mối quan hệ giữa biến mục tiêu và biến dự báo. Đây là công cụ thiết yếu để khám phá dữ liệu có thể dùng cho dự báo tài chính và mô hình chuỗi thời gian.
Dữ liệu có thể được làm mượt bằng cách khớp dữ liệu với một hàm, như với hồi quy. Hồi quy tuyến tính bao gồm khám phá đường thẳng "tốt nhất" để khớp hai thuộc tính (hoặc biến) để một thuộc tính có thể dùng để dự đoán cái kia. Hồi quy tuyến tính đa biến là mở rộng của hồi quy tuyến tính, nơi nhiều hơn hai thuộc tính được bao gồm và dữ liệu được khớp với không gian đa chiều.
Trong hồi quy tuyến tính, dữ liệu được mô hình hóa để khớp một đường thẳng. Ví dụ, một biến ngẫu nhiên, y (gọi là biến phản hồi), có thể được mô hình hóa như hàm tuyến tính của biến ngẫu nhiên khác, x (gọi là biến dự báo), với phương trình y = wx+b, nơi phương sai của y được xem là hằng số.
Vấn đề hồi quy xử lý việc tính giá trị đầu ra dựa trên giá trị đầu vào. Khi dùng cho phân loại, giá trị đầu vào là giá trị từ cơ sở dữ liệu và giá trị đầu ra đại diện cho các lớp. Hồi quy có thể dùng để khám phá vấn đề phân loại, nhưng cũng có thể dùng cho nhiều ứng dụng như dự báo. Cấu trúc cơ bản của hồi quy là hồi quy tuyến tính đơn giản chỉ chứa một biến dự báo và một dự đoán.
Hồi quy có thể dùng để thực hiện phân loại bằng hai phương pháp:
Phân chia (Division) – Dữ liệu được chia thành các vùng dựa trên lớp.
Dự đoán (Prediction) – Công thức được tạo ra để dự đoán giá trị lớp đầu ra.
Các phương pháp này dùng để dự đoán giá trị biến phản hồi (phụ thuộc) từ một hoặc nhiều biến dự báo (độc lập) nơi các biến là số nguyên. Có nhiều dạng hồi quy, như tuyến tính, đa biến, có trọng số, đa thức, phi tham số, và mạnh mẽ (robust - hữu ích khi sai số không thỏa mãn điều kiện chuẩn hoặc dữ liệu chứa ngoại lai đáng kể).
Hồi quy có thể dự đoán một số tập dữ liệu phụ thuộc, được định nghĩa dưới dạng biến độc lập, và xu hướng có sẵn cho một giai đoạn xác định. Hồi quy hỗ trợ phương pháp tốt để dự đoán biến, nhưng có một số hạn chế và giả định như độc lập của biến, phân phối chuẩn ngầm của biến.
Mỗi lá cây hồi quy lưu trữ dự đoán giá trị liên tục, là giá trị trung bình của thuộc tính dự đoán cho tập huấn trình bao phủ lá. Ngược lại, trong cây mô hình, mỗi lá xu hướng đến một mô hình hồi quy và phương trình đa biến liên tục cho thuộc tính dự đoán. Cây hồi quy và mô hình tend to hiệu quả hơn hồi quy tuyến tính khi dữ liệu không được biểu diễn tốt bởi mô hình tuyến tính đơn giản.