Khác biệt giữa Bagging và Boosting

Bagging

Bagging còn gọi là bootstrap aggregation. Là phương pháp học tập hợp (ensemble learning) thường dùng để giảm phương sai trong tập dữ liệu có nhiễu. Trong bagging, mẫu ngẫu nhiên dữ liệu trong tập huấn luyện được chọn với phép thay thế (replacement), nghĩa là điểm dữ liệu đơn lẻ có thể chọn nhiều hơn một lần.

Sau khi tạo nhiều mẫu dữ liệu, các mô hình yếu (weak models) này được huấn luyện riêng biệt và tùy theo yếu tố nhiệm vụ hồi quy hoặc phân loại. Ví dụ, trung bình các dự đoán cho ra ước lượng hiệu quả hơn.

Random Forest là mở rộng của bagging. Lấy thêm một bước để dự đoán tập con ngẫu nhiên của bản ghi. Cũng tạo lựa chọn ngẫu nhiên đặc trưng thay vì dùng tất cả đặc trưng để phát triển cây. Khi có nhiều cây ngẫu nhiên, gọi là Random Forest.

Bagging cũng được tận dụng với mô hình học sâu trong thị trường tài chính, tự động hóa chức năng quan trọng: phát hiện gian lận, tính toán rủi ro tín dụng, định giá quyền chọn.

Nghiên cứu này chứng minh bagging giữa các kỹ thuật học máy được tận dụng để tạo rủi ro vỡ nợ vay. Nghiên cứu hiểu bagging hỗ trợ giảm thiểu rủi ro bằng cách tránh gian lận thẻ tín dụng trong ngân hàng và tổ chức tài chính.

Boosting

Boosting là quy trình tập hợp khác để tạo tập bộ dự báo. Nói cách khác, nó phù hợp các cây liên tiếp, thường là mẫu ngẫu nhiên, và ở mọi giai đoạn, mục tiêu là giải quyết lỗi ròng từ cây trước.

Boosting thường dùng để giảm độ lệch (bias) và phương sai (variance) trong kỹ thuật học có giám sát. Định nghĩa họ thuật toán thay đổi người học yếu (base learners) thành người học mạnh (strong learners). Người học yếu là bộ phân loại chỉ đúng đến mức nhỏ so với phân loại thực tế, trong khi người học mạnh là bộ phân loại tương quan tốt với phân loại thực tế.

So sánh Bagging và Boosting: