Lan truyền ngược định nghĩa toàn bộ quy trình bao gồm cả tính toán gradient và nhu cầu của nó trong giảm gradient ngẫu nhiên. Về mặt kỹ thuật, lan truyền ngược được dùng để tính gradient của lỗi mạng liên quan đến các trọng số có thể sửa đổi của mạng.
Đặc điểm của Lan truyền ngược là phương pháp lặp lại, đệ quy và hiệu quả mà qua đó nó tính toán trọng số cập nhật để cải thiện mạng cho đến khi nó không thể thực hiện chức năng được huấn luyện. Đạo hàm của hàm kích hoạt cần được biết tại thời điểm thiết kế mạng là cần thiết cho Lan truyền ngược.
Lan truyền ngược thường được dùng trong huấn luyện mạng nơ-ron và tính hàm mất mát liên quan đến trọng số của mạng. Nó hoạt động với mạng nơ-ron đa lớp và quan sát các biểu diễn nội部 của ánh xạ đầu vào - đầu ra.
Đây là dạng chuẩn của huấn luyện mạng nhân tạo, giúp tính gradient hàm mất mát liên quan đến tất cả trọng số trong mạng. Thuật toán lan truyền ngược được dùng để huấn luyện mạng nơ-ron hiệu quả hơn thông qua phương pháp quy tắc chuỗi. Nó định nghĩa sau mỗi lần truyền tiến (forward), lan truyền ngược thực hiện truyền lùi (backward pass) qua mạng bằng cách điều chỉnh tham số của mô hình.
Gradient này được dùng trong thuật toán giảm gradient ngẫu nhiên đơn giản để tìm trọng số làm giảm thiểu lỗi. Lỗi lan truyền ngược từ các nút đầu ra đến các nút nội部.
Lan truyền ngược hiểu bằng cách xử lý lặp lại một tập dữ liệu tuple huấn luyện, so sánh dự báo của mạng cho mỗi tuple với giá trị mục tiêu thực tế đã biết. Giá trị mục tiêu có thể là nhãn lớp đã biết của tuple huấn luyện (cho vấn đề phân loại) hoặc giá trị liên tục (cho dự báo).
Đối với mỗi tuple huấn luyện, trọng số được sửa đổi để giảm thiểu lỗi bình phương trung bình giữa dự báo của mạng và giá trị mục tiêu thực tế. Các sửa đổi này được thực hiện theo hướng "ngược", tức là từ lớp đầu ra, qua mỗi lớp ẩn xuống lớp ẩn đầu tiên (do đó tên là lan truyền ngược). Mặc dù không được bảo vệ, nói chung các trọng số cuối cùng sẽ hội tụ, và quá trình học tập kết thúc.
Các loại Lan truyền ngược
Có hai loại Lan truyền ngược như sau:
Lan truyền ngược tĩnh (Static Back Propagation) − Trong loại này, đầu ra tĩnh được tạo ra do ánh xạ đầu vào tĩnh. Nó có thể giải quyết các vấn đề phân loại tĩnh như nhận dạng ký tự quang học.
Lan truyền ngược tái phát (Recurrent Backpropagation) − Lan truyền tái phát được hướng tiến hoặc thực hiện cho đến khi một giá trị xác định hoặc ngưỡng nhất định được đạt đến. Sau giá trị cụ thể, lỗi được tính toán và lan truyền ngược.