Mạng nơron nhân tạo có cơ chế phức tạp hơn so với mô hình perceptron. Có một số phương pháp trong mạng nơ-ron nhân tạo nhiều lớp như sau -
Mạng có thể bao gồm nhiều lớp trung gian giữa các lớp đầu vào và đầu ra của nó. Các lớp trung gian như vậy được gọi là các lớp ẩn và các nút được cài đặt trong các lớp này được gọi là các nút ẩn. Kiến trúc kết quả được gọi là mạng nơ-ron nhiều lớp.
Trong mạng nơron truyền tới, các nút trong một lớp chỉ được liên kết với các nút trong lớp sau. Perceptron là một mạng nơ-ron truyền tiến một lớp vì nó chỉ có một lớp các nút là lớp đầu ra thực hiện các phép toán số phức tạp. Trong mạng nơ-ron tuần hoàn, các liên kết có thể kết nối các nút bên trong một lớp tương tự hoặc các nút từ một lớp này đến các lớp trước đó.
Mạng có thể sử dụng các phương pháp kích hoạt chức năng khác với chức năng đăng nhập. Các trường hợp của nhiều hàm kích hoạt chẳng hạn như các hàm tuyến tính, sigmoid (logistic) và hyperbolic tiếp tuyến. Các chức năng kích hoạt này cho phép các nút ẩn và nút đầu ra tạo ra các giá trị đầu ra phi tuyến tính trong các tham số đầu vào của chúng.
Sự phức tạp hơn này cho phép các mạng nơ-ron nhiều lớp mô hình hóa các mối quan hệ phức tạp cao hơn giữa các biến đầu vào và đầu ra. Các thể hiện có thể được xác định bằng cách sử dụng hai siêu phẳng phân chia không gian đầu vào thành các lớp cụ thể của chúng.
Nó có thể hiểu các trọng số của một mô hình ANN, nó yêu cầu một thuật toán hiệu quả để lắp ráp thành giải pháp phù hợp khi một lượng dữ liệu huấn luyện thỏa đáng được hỗ trợ. Một phương pháp là coi mỗi nút ẩn hoặc nút đầu ra trong mạng là một đơn vị perceptron riêng biệt và sử dụng công thức cập nhật trọng số bằng nhau.
Phương pháp này sẽ không hoạt động vì nó có thể thiếu kiến thức tiên nghiệm về kết quả đầu ra chính xác của các nút ẩn. Điều này khiến việc xác định thuật ngữ lỗi trở nên phức tạp, (y - y ’ ), liên quan đến mỗi nút ẩn. Phương pháp luận để hiểu trọng số của mạng nơ-ron phụ thuộc vào phương pháp giảm độ dốc được trình bày tiếp theo.
Mục tiêu của thuật toán học ANN là quyết định một lớp trọng số w để giảm thiểu tổng sai số bình phương -
$$ \ mathrm {E (w) \:=\:\ frac {1} {2} \ displaystyle \ sum \ limit_ {i =1} ^ N (Y_ {i} -Y ^ {'} _ i) ^ 2 } $$
Tổng các lỗi bình phương dựa trên w vì lớp được dự đoán y ’ là một hàm của các trọng số được tạo ra cho các nút ẩn và nút xuất. Trong các trường hợp, đầu ra của ANN là một hàm phi tuyến tính của các tham số của nó do sự lựa chọn các hàm kích hoạt của nó như hàm sigmoid hoặc tanh.