基于BP算法的三层前向神经网络

基于BP算法的三层前向神经网络是一种按照误差逆向传播算法训练的层前馈神经网络。它由输入层、隐含层和输出层组成，其中输入层接收外部输入信号，隐含层对输入信号进行处理，输出层输出最终结果。BP算法通过不断调整神经元之间的连接权值，使得网络的输出结果与期望输出结果之间的误差最小化。

以下是基于BP算法的三层前向神经网络的实现步骤：

1. 初始化网络参数，包括输入层、隐含层和输出层的神经元个数，以及连接权值的初始值。

2. 输入训练数据，将输入数据送入输入层。

3. 前向传播，将输入信号通过连接权值传递到隐含层和输出层，计算输出结果。

4. 计算误差，将输出结果与期望输出结果之间的误差计算出来。

5. 反向传播，将误差从输出层向隐含层和输入层传递，根据误差大小调整连接权值。

6. 重复步骤2-5，直到误差达到预设的阈值或者达到最大迭代次数。

以下是一个基于BP算法的三层前向神经网络的Python实现示例：

import numpy as np

class NeuralNetwork:
    def __init__(self, input_size, hidden_size, output_size):
        self.input_size = input_size
        self.hidden_size = hidden_size
        self.output_size = output_size
        self.W1 = np.random.randn(self.input_size, self.hidden_size)
        self.W2 = np.random.randn(self.hidden_size, self.output_size)

    def sigmoid(self, x):
        return 1 / (1 + np.exp(-x))

    def sigmoid_derivative(self, x):
        return x * (1 - x)

    def forward(self, X):
        self.z = np.dot(X, self.W1)
        self.z2 = self.sigmoid(self.z)
        self.z3 = np.dot(self.z2, self.W2)
        o = self.sigmoid(self.z3)
        return o

    def backward(self, X, y, o):
        self.o_error = y - o
        self.o_delta = self.o_error * self.sigmoid_derivative(o)
        self.z2_error = self.o_delta.dot(self.W2.T)
        self.z2_delta = self.z2_error * self.sigmoid_derivative(self.z2)
        self.W1 += X.T.dot(self.z2_delta)
        self.W2 += self.z2.T.dot(self.o_delta)

    def train(self, X, y):
        o = self.forward(X)
        self.backward(X, y, o)

    def predict(self, X):
        return self.forward(X)

# 示例
X = np.array([[0, 0, 1], [0, 1, 1], [1, 0, 1], [1, 1, 1]])
y = np.array([[0], [1], [1], [0]])
nn = NeuralNetwork(3, 4, 1)
for i in range(10000):
    nn.train(X, y)
print(nn.predict(np.array([0, 1, 1])))