Hồi quy định nghĩa một loại phương pháp học máy có giám sát có thể dùng để dự đoán bất kỳ thuộc tính giá trị liên tục nào. Hồi quy cung cấp cho tổ chức kinh doanh khám phá mối quan hệ giữa biến mục tiêu và biến dự báo. Đây là công cụ thiết yếu để khám phá dữ liệu có thể dùng cho dự báo tài chính và mô hình chuỗi thời gian.
Có nhiều loại hồi quy như sau:
Hồi quy tuyến tính (Linear Regression) – Hồi quy tuyến tính bao gồm khám phá đường thẳng "tốt nhất" để khớp hai thuộc tính (hoặc biến) để một thuộc tính có thể dùng để dự đoán cái kia. Hồi quy tuyến tính đa biến là mở rộng của hồi quy tuyến tính, nơi nhiều hơn hai thuộc tính được bao gồm và bản ghi được khớp với vùng đa chiều.
Ví dụ, phương trình là
Y = a + b*X + e.
Trong đó,
a định nghĩa điểm chệ (intercept)
b định nghĩa độ dốc của đường hồi quy
e định nghĩa sai số
X và Y định nghĩa biến dự báo và biến mục tiêu, tương ứng. Nếu X bao gồm nhiều hơn một biến, gọi là phương trình tuyến tính đa biến.
Trong hồi quy tuyến tính, đường khớp tốt nhất được thực hiện bằng phương pháp bình phương nhỏ nhất, và nó giảm tổng bình phương độ lệch từ mỗi điểm dữ liệu đến đường hồi quy. Do đó, độ lệch dương và âm không bị hủy vì các độ lệch được bình phương.
Hồi quy đa thức (Polynomial Regression) – Nếu lũy thừa của biến độc lập lớn hơn 1 trong phương trình hồi quy, nó được định nghĩa là phương trình đa thức.
Ví dụ, phương trình là
Y = a + b * x2
Trong hồi quy cụ thể này, đường khớp tốt nhất không được coi là đường thẳng như phương trình tuyến tính; mà nó định nghĩa một đường cong khớp với một số điểm dữ liệu.
Hồi quy Logistic (Logistic Regression) – Khi biến phụ thuộc là bản chất nhị phân như 0 và 1, đúng hoặc sai, thành công hoặc thất bại, phương pháp hồi quy logistic xuất hiện. Do đó, giá trị mục tiêu (Y) dao động từ 0 đến 1, và thường được dùng cho vấn đề dựa trên phân loại. Khác với hồi quy tuyến tính, nó không yêu cầu các biến độc lập và phụ thuộc có mối quan hệ tuyến tính.
Hồi quy Ridge (Ridge Regression) – Hồi quy Ridge định nghĩa quy trình có thể dùng để tính các dữ liệu hồi quy đa biến có vấn đề multicollinearity (đa cộng tuyến). Multicollinearity là sự tồn tại của tương quan tuyến tính giữa hai biến độc lập.
Hồi quy Lasso (Lasso Regression) – LASSO là viết tắt của Least Absolute Shrinkage and Selection Operator. Hồi quy Lasso là phương pháp tuyến tính của hồi quy dùng shrinkage (co rút). Trong hồi quy Lasso, một số điểm dữ liệu được co rút về một điểm trung tâm, cũng gọi là trung bình. Thủ tục lasso phù hợp nhất cho mô hình đơn giản và thưa với nhiều tham số hơn hồi quy khác. Loại hồi quy này rất phù hợp cho mô hình chịu đựng multicollinearity.