Một mạng nơ-ron là một chuỗi thuật toán cố gắng xác định các mối quan hệ cơ bản trong một tập dữ liệu thông qua quy trình mô phỏng cách não bộ con người hoạt động. Trong phương pháp này, mạng nơ-ron đại diện cho các hệ thống nơ-ron, như hữu cơ hoặc nhân tạo.
Mạng nơ-ron là các phương pháp phân tích được mô hình hóa theo quy trình học tập (giả thuyết) trong hệ thống nhận thức và các chức năng thần kinh của não bộ và có khả năng dự đoán quan sát mới (trên các biến xác định) từ quan sát khác sau khi thực hiện quá trình gọi là học từ thông tin hiện có.
Có các bước sau của Back Propagation:
Mạng nhận một thể hiện huấn luyện và, sử dụng các trọng số hiện tại trong mạng, nó tính toán đầu ra hoặc các đầu ra.
Back propagation tính toán sai số bằng cách lấy sự khác biệt giữa kết quả tính toán và kết quả kỳ vọng (kết quả thực tế).
Sai số được phản hồi ngược qua mạng và các trọng số được điều chỉnh để tối thiểu hóa sai số – do đó tên back propagation vì các sai số được truyền ngược qua mạng.
Thuật toán back propagation tính toán tổng sai số của mạng bằng cách so sánh các giá trị tạo ra trên mỗi thể hiện huấn luyện với giá trị thực tế. Nó có thể thay đổi trọng số của lớp đầu ra để giảm, nhưng không loại bỏ, sai số. Tuy nhiên, thuật toán chưa kết thúc.
Nó có thể gán lỗi cho các nút trước đó trong mạng và điều chỉnh trọng số liên kết những nút đó, hơn nữa giảm tổng sai số. Cấu trúc cụ thể để gán lỗi không thiết yếu. Đủ nói rằng back propagation cần một quy trình số học phức tạp yêu cầu lấy đạo hàm riêng của hàm kích hoạt.
Phương pháp điều chỉnh trọng số này được gọi là quy tắc delta khái quát (generalized delta rule). Có hai tham số thiết yếu liên quan đến việc dùng quy tắc delta khái quát. Thứ nhất là momentum (động lượng), định nghĩa xu hướng của trọng số trong mỗi đơn vị thay đổi "hướng" chúng đang đi.
Đó là, mỗi trọng số nhớ nếu nó đã tăng hoặc giảm, và momentum cố gắng giữ nó đi theo cùng hướng. Mạng với momentum lớn phản ứng chậm với các thể hiện huấn luyện mới cần đảo ngược trọng số. Nếu momentum thấp, do đó trọng số được phép dao động tự do hơn.
Tốc độ học (learning rate) kiểm soát tốc độ trọng số thay đổi. Phương pháp tốt nhất cho tốc độ học là bắt đầu lớn và giảm dần khi mạng được huấn luyện. Ban đầu, trọng số ngẫu nhiên, do đó dao động lớn có lợi để đến gần trọng số tối ưu. Tuy nhiên, khi mạng gần giải pháp tối ưu hơn, tốc độ học phải giảm để mạng có thể tinh chỉnh đến trọng số tối ưu chung.