用python写BP神经网络优化权重和偏置的算法

下面是使用Python实现BP神经网络的权重和偏置优化算法的示例代码：

import numpy as np

class BP_NeuralNetwork():
    def __init__(self, input_size, hidden_size, output_size):
        self.input_size = input_size
        self.hidden_size = hidden_size
        self.output_size = output_size
        
        self.W1 = np.random.randn(self.input_size, self.hidden_size)
        self.b1 = np.zeros((1, self.hidden_size))
        self.W2 = np.random.randn(self.hidden_size, self.output_size)
        self.b2 = np.zeros((1, self.output_size))
        
    def sigmoid(self, x):
        return 1 / (1 + np.exp(-x))
    
    def forward(self, X):
        self.z1 = np.dot(X, self.W1) + self.b1
        self.a1 = self.sigmoid(self.z1)
        self.z2 = np.dot(self.a1, self.W2) + self.b2
        self.y_hat = self.sigmoid(self.z2)
        return self.y_hat
    
    def sigmoid_derivative(self, x):
        return x * (1 - x)
    
    def backward(self, X, y, y_hat, learning_rate):
        delta2 = (y_hat - y) * self.sigmoid_derivative(y_hat)
        dW2 = np.dot(self.a1.T, delta2)
        db2 = np.sum(delta2, axis=0, keepdims=True)
        delta1 = np.dot(delta2, self.W2.T) * self.sigmoid_derivative(self.a1)
        dW1 = np.dot(X.T, delta1)
        db1 = np.sum(delta1, axis=0)
        
        self.W1 -= learning_rate * dW1
        self.b1 -= learning_rate * db1
        self.W2 -= learning_rate * dW2
        self.b2 -= learning_rate * db2
        
    def train(self, X, y, epochs, learning_rate):
        for i in range(epochs):
            y_hat = self.forward(X)
            self.backward(X, y, y_hat, learning_rate)
            
    def predict(self, X):
        y_hat = self.forward(X)
        return np.round(y_hat)

在这个例子中，我们定义了一个类`BP_NeuralNetwork`来实现一个基本的BP神经网络。它包含了一个初始化函数，一个sigmoid激活函数，一个前向传播函数，一个sigmoid梯度函数，一个反向传播函数，一个训练函数和一个预测函数。

在初始化函数中，我们随机生成权重和偏置的初始值。在前向传播函数中，我们通过输入数据X和当前的权重和偏置来计算输出y_hat。在反向传播函数中，我们通过计算误差并使用梯度下降算法来更新权重和偏置。在训练函数中，我们通过多次迭代调用前向传播和反向传播函数来训练模型。最后，在预测函数中，我们使用训练好的模型来预测新数据的输出。

使用示例：

X = np.array([[0,0,1],[0,1,1],[1,0,1],[1,1,1]])
y = np.array([[0],[1],[1],[0]])

nn = BP_NeuralNetwork(input_size=3, hidden_size=4, output_size=1)
nn.train(X, y, epochs=10000, learning_rate=0.1)

print("Predictions:")
print(nn.predict(np.array([[0,1,1],[1,0,0],[1,1,1]])))

在这个示例中，我们使用一个4层的神经网络来学习XOR函数。我们随机生成了权重和偏置的初始值，并使用训练函数来训练模型。最后，我们使用预测函数来预测新数据的输出。