Hiệu ứng của việc kết hợp nhiều giả thuyết có thể được kiểm tra qua một thiết bị lý thuyết gọi là phân giải bias-phương sai (bias-variance decomposition). Giả sử có một số lượng vô hạn các tập huấn luyện riêng biệt (separate training sets) cùng kích thước và dùng chúng để tạo ra một số lượng vô hạn bộ phân loại.
Một thể hiện kiểm tra (test instance) được xử lý bởi tất cả bộ phân loại, và một câu trả lời đơn lẻ được quyết định bằng bỏ phiếu đa số (bulk vote). Trong tình huống này, lỗi sẽ xuất hiện vì không có thiết kế học tập nào là hoàn hảo. Tỷ lệ lỗi sẽ dựa trên việc các phương pháp học máy kết nối vấn đề ở cỡ nào, và cũng có hiệu ứng của nhiễu (noise) trong bản ghi, mà không thể học được.
Giả sử tỷ lệ lỗi kỳ vọng được tính bằng cách trung bình lỗi của bộ phân loại liên kết qua một số lượng vô hạn các ví dụ kiểm tra được chọn riêng biệt. Tỷ lệ lỗi cho một thuật toán học tập cụ thể được gọi là bias (độ chệch) của nó cho vấn đề học tập và đo lường việc phương pháp học tập phù hợp với vấn đề như thế nào.
Nó đo lường lỗi "kiên bền" (persistent) của một thuật toán học tập không thể xóa bỏ ngay cả khi lấy số lượng vô hạn nhóm huấn luyện vào tài khoản. Nó không thể được tính chính xác trong tình huống thực tế; chỉ có thể xấp xỉ.
Nguồn thứ hai của lỗi trong một mô hình đã học xuất phát từ tập huấn luyện cụ thể được dùng, mà bắt buộc là hữu hạn và do đó không đại diện hoàn toàn cho quần thể thực tế của các thể hiện.
Giá trị kỳ vọng của yếu tố lỗi này, qua tất cả các nhóm huấn luyện có thể có của kích thước cho trước và tất cả các tập kiểm tra có thể có, được gọi là phương sai (variance) của phương pháp học tập cho vấn đề đó. Tổng lỗi kỳ vọng của một bộ phân loại được tạo thành từ tổng của bias và phương sai — đây là phân giải bias-phương sai.
Phân giải bias-phương sai được học trong bối cảnh dự đoán toán học tùy thuộc vào sai số bình phương (squared error), nơi có một cách chấp nhận rộng rãi để triển khai nó. Tuy nhiên, tình huống không rõ ràng cho phân loại, và nhiều phân giải cạnh tranh đã được đề xuất.
Bagging cố gắng vô hiệu hóa sự không ổn định của các phương pháp học tập bằng cách mô phỏng giai đoạn được mô tả trước đó bằng một tập huấn luyện cho trước. Thay vì lấy mẫu một tập huấn luyện mới, riêng biệt mỗi lần, dữ liệu huấn luyện ban đầu được thay đổi bằng cách loại bỏ một số thể hiện và sao chép những cái khác. Các thể hiện được lấy mẫu ngẫu nhiên, có hoàn lại (with replacement), từ tập dữ liệu ban đầu để tạo một cái mới cùng kích thước. Quy trình lấy mẫu này chắc chắn sao chép một số thể hiện và loại bỏ những cái khác.
Các tập dữ liệu được tạo bằng cách lấy mẫu lại (resampling) khác nhau với nhau nhưng không độc lập vì chúng được thiết lập trên một tập dữ liệu. Tuy nhiên, nó ra là bagging tạo ra một mô hình kết hợp thực hiện tốt hơn đáng kể mô hình đơn lẻ được xây dựng từ dữ liệu huấn luyện ban đầu, và không bao giờ tệ hơn bản chất.