Loại phổ biến của mạng feed-forward là mạng hàm cơ sở radial (Radial Basis Function - RBF). Nó có hai lớp, không tính lớp đầu vào, và khác với perceptron đa lớp (multilayer perceptron) ở cách các đơn vị ẩn (hidden units) thực hiện tính toán.
Mỗi đơn vị ẩn xác định một điểm cụ thể trong không gian đầu vào, và đầu ra (activation) của nó cho một thể hiện cho trước dựa trên khoảng cách giữa điểm của nó và thể hiện đó, chỉ là một điểm khác. Càng gần hai điểm này, activation càng lớn.
Điều này được thực hiện bằng cách sử dụng một hàm biến đổi phi tuyến (nonlinear transformation function) để biến đổi khoảng cách thành một đo lường độ tương đồng. Một hàm kích hoạt Gaussian hình chuông (bell-shaped) mà độ rộng có thể khác nhau cho mỗi đơn vị ẩn thường được dùng cho mục đích này. Các đơn vị ẩn được gọi là RBF vì các điểm trong không gian thể hiện mà một đơn vị ẩn cho activation tương tự tạo thành một siêu cầu (hypersphere) hoặc siêu elip (hyperellipsoid).
Lớp đầu ra của một cấu trúc RBF tương tự như của perceptron đa lớp — nó lấy một tổ hợp tuyến tính (linear combination) của các đầu ra của các đơn vị ẩn và trong bài toán phân loại truyền nó qua hàm sigmoid.
Các tham số mà một mạng như vậy học được là tâm (centers) và độ rộng (widths) của các RBF và các trọng số (weights) dùng để tạo tổ hợp tuyến tính của các đầu ra thu được từ lớp ẩn. Một lợi thế quan trọng hơn perceptron đa lớp là nhóm tham số đầu tiên có thể được quyết định độc lập với nhóm thứ hai và tạo ra các bộ phân loại chính xác (accurate classifiers).
Một phương pháp để quyết định nhóm tham số đầu tiên là dùng phân cụm (clustering). Thuật toán k-means clustering đơn giản có thể được áp dụng, phân cụm từng lớp độc lập để có được k hàm cơ sở cho mỗi lớp.
Nhóm tham số thứ hai được học bằng cách giữ nhóm tham số đầu tiên không đổi. Điều này bao gồm học một bộ phân loại tuyến tính đơn giản bằng một trong các phương pháp như hồi quy tuyến tính hoặc logistic. Nếu có ít đơn vị ẩn hơn nhiều so với thể hiện huấn luyện, điều này có thể thực hiện nhanh chóng.
Hạn chế của mạng RBF là chúng cho mỗi thuộc tính một trọng số tương tự vì tất cả được xem như như nhau trong tính toán khoảng cách trừ khi tham số trọng số thuộc tính được chứa trong quá trình tối ưu hóa hoàn chỉnh.
Do đó, chúng không thể xử lý hiệu quả các thuộc tính không phù hợp, khác với perceptron đa lớp. Máy vector hỗ trợ (Support vector machines) chia sẻ vấn đề tương tự. Máy vector hỗ trợ với kernel Gaussian (tức "RBF kernels") là một phương pháp xác định của mạng RBF, trong đó một hàm được đặt tâm trên mỗi thể hiện huấn luyện, tất cả các hàm cơ sở có cùng độ rộng, và các đầu ra được hợp nhất tuyến tính bằng cách tính siêu phẳng margin tối đa. Điều này có kết quả là một số RBF có trọng số khác không — những cái xác định các vector hỗ trợ.