Khái niệm là xây dựng nhiều bộ phân loại từ dữ liệu ban đầu và sau đó tổng hợp dự đoán của chúng khi mô tả các ví dụ không biết. Tổng hợp bộ phân loại (ensemble of classifiers) có thể được xây dựng theo một số phương pháp:
Bằng cách thao tác tập huấn luyện (By manipulating the training set)
Trong phương pháp này, nhiều tập huấn luyện được tạo bằng cách lấy mẫu lại (resampling) dữ liệu ban đầu theo một phân phối lấy mẫu nào đó. Phân phối lấy mẫu quyết định khả năng thể hiện được chọn cho huấn luyện, và nó có thể thay đổi từ thử nghiệm này sang thử nghiệm khác. Một bộ phân loại được xây dựng từ mỗi tập huấn luyện bằng một thuật toán học cụ thể. Bagging và boosting là ví dụ của các phương pháp tổng hợp thao tác tập huấn luyện của chúng.
Bằng cách thao tác đặc trưng đầu vào (By manipulating the input features)
Trong phương pháp này, một tập con đặc trưng đầu vào được chọn để hình thành mỗi tập huấn luyện. Tập con có thể được chọn ngẫu nhiên hoặc tùy thuộc vào khuyến nghị của chuyên gia miền (domain experts). Một số nghiên cứu đã hiển thị phương pháp này hoạt động rất tốt với tập dữ liệu bao gồm các đặc trưng dư thừa (highly redundant features). Rừng ngẫu nhiên (Random forest) là kỹ thuật tổng hợp thao tác đặc trưng đầu vào của nó và cần cây quyết định làm bộ phân loại cơ sở (base classifiers).
Bằng cách thao tác nhãn lớp (By manipulating the class labels)
Phương pháp này có thể được dùng khi số lượng lớp đủ lớn. Dữ liệu huấn luyện được thay đổi thành bài toán lớp nhị phân (binary class problem) bằng cách chia ngẫu nhiên nhãn lớp thành hai tập con rời rạc, như A₀ và A₁.
Thể hiện huấn luyện có nhãn lớp thuộc tập con A₀ được phân loại thành lớp 0, trong khi những cái thuộc tập con A₁ được phân loại thành lớp 1. Các thể hiện được gán nhãn lại (relabeled) được dùng để huấn luyện bộ phân loại cơ sở. Bằng cách lặp lại, các bước gán nhãn lại lớp và xây dựng mô hình nhiều lần, một tổng hợp bộ phân loại cơ sở được thu được.
Khi một thể hiện kiểm tra được trình bày, mỗi bộ phân loại cơ sở Cᵢ có thể dự đoán nhãn lớp của nó. Nếu thể hiện kiểm tra được dự đoán là lớp 0, do đó tất cả các lớp thuộc về A₀ sẽ nhận được một phiếu bầu.
Bằng cách thao tác thuật toán học (By manipulating the learning algorithm)
Một số thuật toán học có thể bị thao tác theo cách mà việc sử dụng thuật toán nhiều lần trên cùng dữ liệu huấn luyện có thể dẫn đến nhiều mô hình khác nhau. Ví dụ, mạng nơ-ron nhân tạo (artificial neural network) có thể tạo nhiều mô hình bằng cách sửa đổi topology mạng hoặc trọng số ban đầu của các kết nối giữa nơ-ron. Tương tự, một tổng hợp cây quyết định có thể được lắp ráp bằng cách chèn sự ngẫu nhiên vào quy trình phát triển cây.
Ba phương pháp đầu tiên là kỹ thuật chung (generic techniques) liên quan đến một số bộ phân loại, trong khi phương pháp thứ tư dựa trên loại bộ phân loại được dùng. Các phương pháp bộ phân loại cơ sở có thể được tạo lần lượt (sequentially - một sau một) hoặc song song (parallel - tất cả cùng lúc).
Quy trình đầu tiên là tạo tập huấn luyện từ dữ liệu ban đầu D. Nó dựa trên loại phương pháp tổng hợp được dùng, các tập huấn luyện là chính xác hoặc chuyển đổi nhẹ của D. Kích thước tập huấn luyện được giữ giống như dữ liệu ban đầu, nhưng phân phối thể hiện không thể giống nhau tức là một số thể hiện có thể xảy ra nhiều lần trong tập huấn luyện, trong khi những cái khác không xảy ra ngay cả một lần.