Computer >> Hướng Dẫn Máy Tính >  >> Lập Trình >> Lập Trình

Các phương pháp dựa trên Lấy mẫu (Sampling-Based Approaches) cho mất cân bằng lớp

Lấy mẫu (Sampling) là một phương pháp được dùng rộng rãi để xử lý vấn đề mất cân bằng lớp (class imbalance problem). Khái niệm lấy mẫu là thay đổi phân phối của các ví dụ (examples) để lớp hiếm (rare class) được đại diện tốt trong tập huấn luyện. Có nhiều kỹ thuật lấy mẫu như lấy mẫu thấp (undersampling), lấy mẫu cao (oversampling), và lai của cả hai cách tiếp cận. Ví dụ, xét một tập dữ liệu bao gồm 100 ví dụ dương tính (positive examples) và 1000 ví dụ âm tính (negative examples).

Trong phương pháp lấy mẫu thấp (undersampling), một mẫu ngẫu nhiên 100 ví dụ âm tính được chọn để hình thành tập huấn luyện cùng với tất cả ví dụ dương tính. Một vấn đề với phương pháp này là một số ví dụ âm tính hữu ích không thể được chọn cho huấn luyện, do đó, dẫn đến mô hình kém tối ưu hơn (less than optimal model).

Phương pháp để vượt qua vấn đề này là triển khai lấy mẫu thấp nhiều lần và khuyết nạp nhiều bộ phân loại tương tự như cách tiếp cận học tập tổng hợp (ensemble learning approach). Phương pháp lấy mẫu thấp tập trung (Focused undersampling) có thể được dùng, nơi quá trình lấy mẫu tạo ra lựa chọn có thông tin (informed choice) về các ví dụ âm tính nên bị loại bỏ, ví dụ những cái nằm xa ranh giới quyết định (decision boundary).

Lấy mẫu cao (Oversampling) nhân bản các ví dụ dương tính cho đến khi tập huấn luyện có cùng số lượng ví dụ dương tính và âm tính. Hiệu ứng của lấy mẫu cao trên việc phát triển ranh giới quyết định sử dụng bộ phân loại bao gồm cây quyết định. Ví dụ dương tính bị phân loại sai vì không có đủ ví dụ để xác nhận việc hình thành ranh giới quyết định mới tách biệt ví dụ dương tính và âm tính.

Nhưng cho dữ liệu nhiễu (noisy data), lấy mẫu cao có thể tạo overfitting mô hình vì một số ví dụ nhiễu có thể được nhân bản nhiều lần. Lấy mẫu cao không chèn bất kỳ dữ liệu mới nào vào tập huấn luyện. Nhân bản ví dụ dương tính ngăn chặn thuật toán học tập từ cắt tỉa các phần cụ thể của mô hình xác định các khu vực bao gồm một số ví dụ huấn luyện (tức là các disjuncts nhỏ - small disjuncts). Nhiều ví dụ dương tính hơn cũng ảnh hưởng đến việc cải thiện thời gian tính toán cho xây dựng mô hình.

Phương pháp lai (hybrid approach) cần một tập lấy mẫu thấp lớp đa số và lấy mẫu cao lớp hiếm để triển khai phân phối lớp đồng đều (uniform class distribution). Lấy mẫu thấp có thể được triển khai bằng cách lấy mẫu ngẫu nhiên hoặc lấy mẫu con tập trung (focused subsampling). Lấy mẫu cao có thể được làm bằng cách nhân bản các ví dụ dương tính hiện có hoặc tạo ví dụ dương tính mới trong khu vực lân cận của các ví dụ dương tính hiện có.