Computer >> Hướng Dẫn Máy Tính >  >> Lập Trình >> Lập Trình

Các phương pháp trong Mạng nơ-ron nhân tạo đa lớp (Multilayer Artificial Neural Network)

Mạng nơ-ron nhân tạo có cơ chế phức tạp hơn mô hình perceptron. Có một số phương pháp trong mạng nơ-ron nhân tạo đa lớp như sau:

Mạng có thể bao gồm nhiều lớp trung gian (intermediary layers) giữa lớp đầu vào và lớp đầu ra của nó. Các lớp trung gian này được gọi là lớp ẩn (hidden layers) và các nút lắp đặt trong các lớp này được gọi là nút ẩn (hidden nodes). Kiến trúc kết quả được gọi là mạng nơ-ron đa lớp (multilayer neural network).

Trong mạng nơ-ron feed-forward (feed-forward neural network), các nút trong một lớp chỉ được liên kết với các nút trong lớp tiếp theo. Perceptron là mạng nơ-ron feed-forward đơn lớp (single-layer) vì nó chỉ có một lớp nút là lớp đầu ra thực hiện các phép toán số phức tạp. Trong mạng nơ-ron hồi quy (recurrent neural network), các liên kết có thể nối các nút bên trong một lớp giống nhau hoặc các nút từ một lớp đến các lớp trước.

Mạng có thể dùng các phương pháp hàm kích hoạt (activation functions) khác ngoài hàm sign (sign function). Ví dụ các hàm kích hoạt khác nhau như tuyến tính (linear), sigmoid (logistic), và hyperbolic tangent (hàm hyperbolic tangent). Các hàm kích hoạt này cho phép các nút ẩn và đầu ra tạo ra các giá trị đầu ra phi tuyến trong các tham số đầu vào của chúng.

Những phức tạp hơn này cho phép mạng nơ-ron đa lớp mô hình hóa các mối quan hệ phức tạp hơn giữa biến đầu vào và đầu ra. Các ví dụ có thể được phân loại bằng hai siêu phẳng chia không gian đầu vào thành các lớp cụ thể của chúng.

Để học trọng số của một mô hình ANN, cần một thuật toán hiệu quả hội tụ (converges) đến giải pháp đúng khi lượng dữ liệu huấn luyện thỏa mãn được cung cấp. Một phương pháp là xem mỗi nút ẩn hoặc nút đầu ra trong mạng như một đơn vị perceptron riêng biệt và sử dụng cùng công thức cập nhật trọng số.

Phương pháp này sẽ không hoạt động vì nó thiếu kiến thức tiên nghiệm (a priori knowledge) về đầu ra đúng của các nút ẩn. Điều này làm cho việc xác định hạng mục lỗi, (y - y'), liên quan đến mỗi nút ẩn trở nên phức tạp. Một phương pháp học trọng số của mạng nơ-ron dựa trên phương pháp xuống dốc (gradient descent) được trình bày tiếp theo.

Mục tiêu của thuật toán học ANN là quyết định một lớp trọng số w tối thiểu hóa tổng bình phương lỗi (total sum of squared errors):

$$\mathrm{E(w)\:=\:\frac{1}{2}\displaystyle\sum\limits_{i=1}^N (Y_{i}-Y^{'}_i)^2}$$

Tổng bình phương lỗi dựa trên w vì lớp dự đoán y' là một hàm của các trọng số được tạo cho các nút ẩn và đầu ra. Trong các trường hợp, đầu ra của một ANN là một hàm phi tuyến của các tham số của nó do lựa chọn các hàm kích hoạt như sigmoid hoặc tanh function.