Học tập tích cực là một loại học tập có giám sát lặp đi lặp lại, phù hợp với các tình huống có đủ dữ liệu, nhưng các nhãn lớp học lại khan hiếm hoặc tốn kém để có được. Thuật toán học tập hoạt động ở chỗ nó có thể truy vấn cẩn thận người dùng (ví dụ:một nhà tiên tri) về các nhãn. Nhiều bộ giá trị được sử dụng để hiểu một khái niệm mà phương pháp này nhỏ hơn số lượng cần thiết trong phương pháp học có giám sát thông thường.
Nó được sử dụng để giảm chi phí, mục tiêu người học tích cực để đạt được độ chính xác cao bằng cách sử dụng càng ít ví dụ được dán nhãn càng tốt. Gọi D là tất cả các dữ liệu đang xét. Có một số phương pháp tiếp tục để học tập tích cực trên D.
Coi rằng một tập con nhỏ của D được gán nhãn lớp. Tập hợp này được chỉ ra bởi L. U là tập hợp dữ liệu không được gắn nhãn trong D. Nó cũng được định nghĩa là một nhóm dữ liệu không được gắn nhãn. Một người học tích cực bắt đầu với L là tập hợp đào tạo ban đầu. Nó có thể sử dụng dịch vụ truy vấn để chọn cẩn thận một hoặc nhiều mẫu dữ liệu từ U và yêu cầu nhãn cho chúng từ một nhà tiên tri (ví dụ:một người chú thích).
Các mẫu mới được dán nhãn được đưa vào L, mà người học cần theo một phương pháp có giám sát tiêu chuẩn. Quá trình tiếp tục. Mục đích học tập tích cực là thực hiện độ chính xác cao bằng cách sử dụng càng ít bộ giá trị được dán nhãn càng tốt. Các thuật toán học tập tích cực thường được tính toán bằng cách sử dụng các đường cong học tập, biểu đồ độ chính xác như một hàm của nhiều trường hợp được truy vấn.
Một số mục tiêu nghiên cứu học tập tích cực về cách chọn bộ dữ liệu được truy vấn. Có nhiều khuôn khổ khác nhau đã được đề xuất. Việc lấy mẫu không chắc chắn là phổ biến, trong đó người học tích cực chọn truy vấn các bộ giá trị mà nó là cách gắn nhãn ít cụ thể nhất.
Có một số phương pháp hoạt động để giảm không gian phiên bản, tức là tập hợp con của tất cả các giả thuyết có thể tin cậy được với các bộ giá trị huấn luyện được quan sát. Nó có thể tuân theo một phương pháp lý thuyết quyết định để tính toán mức giảm lỗi dự kiến.
Điều này chọn các bộ giá trị có thể dẫn đến giảm cao nhất tổng số các dự đoán không chính xác, bao gồm cả việc giảm entropy dự kiến so với U. Phương pháp này ảnh hưởng đến tính toán cao hơn.
Mục đích của việc học chuyển giao là thu nhận kiến thức từ một hoặc nhiều chức năng nguồn và sử dụng kiến thức vào một nhiệm vụ đích. Phương pháp học tập truyền thống xây dựng một bộ phân loại mới cho mỗi nhiệm vụ phân loại mới, phụ thuộc vào thông tin đào tạo và kiểm tra được gắn nhãn lớp có sẵn.
Các thuật toán học chuyển giao áp dụng kiến thức về dịch vụ nguồn khi xây dựng bộ phân loại cho một nhiệm vụ (đích) mới. Việc phát triển bộ phân loại kết quả cần ít dữ liệu đào tạo hơn và ít thời gian đào tạo hơn. Các thuật toán học tập truyền thống coi rằng dữ liệu đào tạo và dữ liệu kiểm tra được rút ra từ cùng một phân phối và cùng một khu vực tính năng. Do đó, nếu bản phân phối thay đổi, các kỹ thuật như vậy cần thiết để xây dựng lại mô hình từ đầu.