Hồi quy xác định loại phương pháp tiếp cận máy học được giám sát có thể được sử dụng để dự báo bất kỳ thuộc tính có giá trị liên tục nào. Hồi quy cung cấp cho một số tổ chức kinh doanh khám phá các liên kết biến mục tiêu và biến dự báo. Đây là một công cụ cần thiết để khám phá dữ liệu có thể được sử dụng cho dự báo tiền tệ và mô hình chuỗi thời gian.
Có nhiều loại hồi quy như sau -
Hồi quy tuyến tính - Hồi quy tuyến tính bao gồm việc khám phá dòng "tốt nhất" để phù hợp với hai thuộc tính (hoặc biến) do đó một thuộc tính có thể được sử dụng để dự đoán thuộc tính kia. Hồi quy nhiều tuyến tính là một bước tiến của hồi quy tuyến tính, trong đó các thuộc tính cao hơn được bao gồm và bản ghi phù hợp với một khu vực đa chiều.
Ví dụ, phương trình là
Y = a + b*X + e.
Ở đâu,
a xác định điểm chặn
b xác định độ dốc của đường hồi quy
e xác định lỗi
X và Y xác định các biến dự báo và mục tiêu, theo đó. Nếu X được tạo ra từ nhiều hơn một biến, được định nghĩa là nhiều phương trình tuyến tính.
Trong hồi quy tuyến tính, dòng phù hợp nhất được triển khai bằng phương pháp bình phương nhỏ nhất và nó làm giảm tổng bình phương của các độ lệch từ mọi điểm dữ liệu đến dòng hồi quy. Do đó, các độ lệch âm và dương không bị hủy bỏ vì một số độ lệch được bình phương.
Hồi quy đa thức - Nếu lũy thừa của biến riêng biệt lớn hơn 1 trong phương trình hồi quy, nó được xác định là phương trình đa thức.
Ví dụ, phương trình là
Y = a + b * x2
Trong hồi quy cụ thể, đường phù hợp nhất không được coi là đường thẳng như phương trình tuyến tính; nhưng nó xác định một đường cong phù hợp với một số điểm dữ liệu.
Hồi quy hậu cần - Khi biến phụ thuộc có bản chất là nhị phân như 0 và 1, đúng hoặc sai, thành công hay thất bại, các phương pháp hồi quy logistic xuất hiện. Do đó, giá trị mục tiêu (Y) nằm trong khoảng từ 0 đến 1 và nó thường được sử dụng cho các bài toán dựa trên phân loại. Không giống như hồi quy tuyến tính, nó không yêu cầu một số biến độc lập và phụ thuộc phải có mối quan hệ tuyến tính.
Hồi quy Ridge - Hồi quy Ridge xác định một quy trình có thể được sử dụng để tính toán các dữ liệu hồi quy khác nhau có vấn đề về đa cộng tuyến. Đa cộng tuyến là sự tiếp tục của mối tương quan tuyến tính giữa hai biến riêng biệt.
Hồi quy Lasso - LASSO đại diện cho Toán tử Lựa chọn và Thu nhỏ Tuyệt đối Ít nhất. Hồi quy Lasso là một phương pháp hồi quy tuyến tính sử dụng phương pháp thu nhỏ. Trong hồi quy Lasso, một số điểm dữ liệu được thu hẹp về một điểm trung tâm, còn được gọi là giá trị trung bình. Thủ tục lasso phù hợp nhất cho các mô hình đơn giản và thưa thớt với một số tham số hơn so với các quy trình hồi quy khác. Phương pháp hồi quy này phù hợp tốt cho các mô hình tồn tại đa cộng tuyến.