Các mạng nơ-ron tiến lên cho phép các tín hiệu chỉ truyền theo một hướng tiếp cận, từ đầu vào đến đầu ra. Không có phản hồi (vòng lặp) chẳng hạn như đầu ra của một số lớp không ảnh hưởng đến cùng lớp đó. Các mạng chuyển tiếp có xu hướng là các mạng đơn giản liên kết đầu vào với đầu ra. Nó có thể được sử dụng trong nhận dạng mẫu. Loại tổ chức này được thể hiện dưới dạng từ dưới lên hoặc từ trên xuống.
Mỗi đơn vị trong lớp ẩn thường được kết nối hoàn toàn với một số đơn vị trong lớp đầu vào. Bởi vì mạng này bao gồm các đơn vị tiêu chuẩn, các đơn vị trong lớp ẩn sẽ tính toán đầu ra của chúng bằng cách nhân giá trị của mỗi đầu vào với trọng số tương quan của nó, chèn các đơn vị này lên và sử dụng hàm truyền.
Một mạng nơ-ron có thể có một số lớp ẩn, nhưng như thường lệ, một lớp ẩn là đủ. Lớp càng rộng thì khả năng xác định thiết kế của mạng càng cao.
Đơn vị cuối cùng bên phải là lớp đầu ra vì nó được liên kết với đầu ra của mạng nơ-ron. Nó được kết nối hoàn toàn với một số đơn vị trong lớp ẩn. Mạng nơ-ron thường được sử dụng để tính toán một giá trị duy nhất, do đó chỉ có một đơn vị trong lớp đầu ra và giá trị.
Nó có thể áp dụng cho lớp đầu ra có nhiều hơn một đơn vị. Ví dụ:một chuỗi cửa hàng bách hóa bắt buộc phải dự báo khả năng người dùng sẽ mua sản phẩm từ một số phòng ban, bao gồm quần áo, đồ nội thất và giải trí dành cho phụ nữ. Các cửa hàng cần có dữ liệu này để lập kế hoạch khuyến mại và gửi thư tập trung trực tiếp.
Thuật toán backpropagation thực hiện việc học trên mạng nơ-ron chuyển tiếp nguồn cấp dữ liệu nhiều lớp. Các đầu vào kích thích các thuộc tính được tính cho mỗi mẫu đào tạo. Các đầu vào được đưa vào một lớp đơn vị tạo nên lớp đầu vào.
Các đầu ra có trọng số của các đơn vị này được cung cấp đồng thời cho lớp nơron thứ hai giống như các đơn vị được gọi là lớp ẩn. Lớp ẩn là đầu ra có trọng số có thể được nhập vào nhiều lớp ẩn, v.v. Nhiều lớp ẩn là tùy ý và thường xuyên, một lớp được sử dụng.
Các đầu ra có trọng số của lớp ẩn cuối cùng là đầu vào cho các đơn vị tạo nên lớp đầu ra, giúp khuếch tán dự đoán của mạng cho các mẫu đã cung cấp. Các đơn vị trong các lớp ẩn và lớp đầu ra được biểu diễn dưới dạng các neuron, do các yếu tố sinh học biểu tượng của chúng hoặc như các đơn vị đầu ra. Mạng chuyển tiếp nhiều lớp của các hàm ngưỡng tuyến tính được cung cấp thông qua các đơn vị ẩn có thể gần đúng với một số hàm.