Backpropagation định nghĩa toàn bộ quá trình bao gồm cả việc tính toán gradient và nhu cầu của nó trong sự giảm xuống của gradient ngẫu nhiên. Về mặt kỹ thuật, nhân giống ngược được sử dụng để tính toán độ dốc của lỗi của mạng liên quan đến trọng số có thể sửa đổi của mạng.
Đặc điểm của Backpropagation là cách tiếp cận lặp đi lặp lại, đệ quy và hiệu quả, qua đó nó tính toán trọng số cập nhật để tăng mạng cho đến khi nó không thể triển khai dịch vụ mà nó đang được đào tạo. Các dẫn xuất của dịch vụ kích hoạt được biết đến vào thời điểm thiết kế mạng là cần thiết để Nhân giống ngược.
Sự lan truyền ngược được sử dụng rộng rãi trong đào tạo mạng nơ-ron và tính toán hàm tổn thất cho các trọng số của mạng. Dịch vụ của nó với mạng nơ-ron nhiều lớp và khám phá mô tả bên trong của ánh xạ đầu vào-đầu ra.
Đây là một hình thức đào tạo mạng nhân tạo tiêu chuẩn, hỗ trợ chức năng giảm độ dốc tính toán liên quan đến tất cả các trọng số trong mạng. Thuật toán lan truyền ngược được sử dụng để đào tạo mạng nơ-ron hiệu quả hơn thông qua phương pháp quy tắc chuỗi.
Độ dốc này được sử dụng trong một thuật toán giảm độ dốc ngẫu nhiên đơn giản để tìm trọng số giảm thiểu sai số. Lỗi lan truyền ngược từ các nút đầu ra đến các nút bên trong.
Thuật toán đào tạo lan truyền ngược bao gồm bốn giai đoạn như sau -
-
Khởi tạo trọng số - Có một số giá trị ngẫu nhiên nhỏ được chỉ định.
-
Chuyển tiếp - Mỗi đơn vị X nhận một tín hiệu đầu vào và truyền tín hiệu này đến mỗi đơn vị ẩn Z 1 , Z 2 , ... Z n . Mỗi đơn vị ẩn sẽ tính toán chức năng kích hoạt và gửi tín hiệu Z 1 của nó đến từng đơn vị đầu ra. Bộ phận đầu ra tính toán chức năng kích hoạt để tạo ra phản hồi của mẫu đầu vào nhất định.
-
Nhân giống sai sót - Mỗi đơn vị đầu ra so sánh kích hoạt Y k với giá trị mục tiêu T k để xác định lỗi liên quan cho đơn vị đó. Nó dựa trên lỗi, hệ số $ \ delta $ k (K =1, .... M) được tính toán và được sử dụng để phân phối lỗi tại đơn vị đầu ra Y k trở lại tất cả các đơn vị trong lớp trước. Tương tự, hệ số $ \ delta $ j (j =1, .... p) được so sánh với mỗi đơn vị ẩn Z j .
-
Nó có thể cập nhật trọng số và độ lệch.
Các loại lan truyền ngược
Có hai loại Backpropagation như sau -
Tuyên truyền trở lại tĩnh - Trong kiểu lan truyền ngược này, đầu ra tĩnh được tạo ra do ánh xạ của đầu vào tĩnh. Nó được sử dụng để giải quyết các vấn đề phân loại tĩnh như nhận dạng ký tự quang học.
Nhân giống ngược lặp lại - Truyền lặp lại được chuyển hướng tới hoặc chuyển hướng cho đến khi đạt được giá trị xác định cụ thể hoặc giá trị ngưỡng. Sau giá trị nhất định, lỗi được đánh giá và truyền ngược lại.