Rừng ngẫu nhiên (Random forest) là một lớp các phương pháp tổng hợp (ensemble approaches) đặc biệt được thiết kế cho bộ phân loại cây quyết định (decision tree classifiers). Nó tích hợp các dự đoán được làm bởi một số cây quyết định, nơi mỗi cây được tạo dựa trên giá trị của một tập hợp vector ngẫu nhiên (random vectors) riêng biệt.
Các vector ngẫu nhiên được tạo ra từ một phân phối xác suất không đổi (fixed probability distribution), khác với các phương pháp thích ứng (adaptive methods) dùng trong AdaBoost, nơi phân phối xác suất được đa dạng hóa để nhắm vào các thể hiện khó phân loại.
Bagging (Bootstrap Aggregating) cần cây quyết định là một trường hợp xác định của rừng ngẫu nhiên, nơi sự ngẫu nhiên (randomness) được chèn vào quy trình xây dựng mô hình bằng cách chọn ngẫu nhiên N mẫu, có hoàn lại (with replacement), từ tập huấn luyện ban đầu. Bagging cũng dùng phân phối xác suất đều (uniform probability distribution) giống nhau để tạo mẫu bootstrap của nó xuyên suốt toàn bộ giai đoạn xây dựng mô hình.
Mỗi cây quyết định cần một vector ngẫu nhiên được tạo từ một phân phối xác suất không đổi nào đó. Vector ngẫu nhiên có thể được tích hợp vào quy trình phát triển cây theo nhiều cách. Phương pháp đầu tiên là chọn ngẫu nhiên F đặc trưng đầu vào (input features) để chia tại mỗi nút của cây quyết định.
Kết quả, thay vì xem xét tất cả các đặc trưng có sẵn, quyết định chia một nút được quyết định từ các đặc trưng được chọn này. Cây được phát triển đến trọn vẹn của nó mà không cần cắt tỉa (pruning) nào. Điều này có thể giúp giảm bias (độ chệch) hiện diện trong cây kết quả.
Vì các cây đã được xây dựng, các dự đoán được kết hợp bằng cách dùng thiết kế bỏ phiếu đa số (majority voting scheme). Cách tiếp cận này được gọi là Forest-RI, nơi RI xác định chọn đầu vào ngẫu nhiên (random input selection). Có thể cải thiện sự ngẫu nhiên, bagging có thể được dùng để tạo mẫu bootstrap cho Forest-RI.
Độ bền (strength) và tương quan (correlation) của rừng ngẫu nhiên có thể được dựa trên kích thước của F. Nếu F đủ nhỏ, do đó các cây xu hướng ít tương quan hơn. Nói cách khác, sức mạnh của bộ phân loại cây xu hướng tăng với số lượng đặc trưng F cao hơn.
Nếu số đặc trưng gốc d quá nhỏ, do đó khó khăn để chọn một tập riêng biệt các đặc trưng ngẫu nhiên cho xây dựng cây quyết định. Có một phương pháp để tăng không gian đặc trưng là tạo tổ hợp tuyến tính (linear combination) của các đặc trưng đầu vào. Cụ thể, tại mỗi nút, một đặc trưng mới được tạo bằng cách chọn ngẫu nhiên L đặc trưng đầu vào.
Các đặc trưng đầu vào được kết hợp tuyến tính bằng các hệ số được tạo từ phân phối đều trong khoảng [-1, 1]. Tại mỗi nút, F đặc trưng mới được kết hợp ngẫu nhiên như vậy được tạo, và cái tốt nhất trong số chúng cuối cùng được chọn để chia nút. Phương pháp này được gọi là Forest-RC.