bp神经网络模型优化 完整代码

下面是一个使用优化技术（如动量优化和学习率衰减）的BP神经网络模型的完整代码示例：

import numpy as np

class NeuralNetwork:
    def __init__(self, input_size, hidden_size, output_size):
        self.W1 = np.random.randn(input_size, hidden_size)
        self.W2 = np.random.randn(hidden_size, output_size)
        self.V1 = np.zeros_like(self.W1)  # 用于动量优化
        self.V2 = np.zeros_like(self.W2)  # 用于动量优化
        
    def sigmoid(self, x):
        return 1 / (1 + np.exp(-x))
    
    def sigmoid_derivative(self, x):
        return x * (1 - x)
    
    def forward(self, X):
        self.z = np.dot(X, self.W1)
        self.hidden_layer = self.sigmoid(self.z)
        self.output_layer = self.sigmoid(np.dot(self.hidden_layer, self.W2))
        
    def backward(self, X, y, learning_rate, momentum):
        output_error = y - self.output_layer
        output_delta = output_error * self.sigmoid_derivative(self.output_layer)
        
        hidden_error = np.dot(output_delta, self.W2.T)
        hidden_delta = hidden_error * self.sigmoid_derivative(self.hidden_layer)
        
        dW2 = np.dot(self.hidden_layer.T, output_delta)
        dW1 = np.dot(X.T, hidden_delta)
        
        self.V2 = momentum * self.V2 + learning_rate * dW2
        self.V1 = momentum * self.V1 + learning_rate * dW1
        
        self.W2 += self.V2
        self.W1 += self.V1

X = np.array([[0, 0], [0, 1], [1, 0], [1, 1]])
y = np.array([[0], [1], [1], [0]])

input_size = X.shape[1]
hidden_size = 4
output_size = 1

nn = NeuralNetwork(input_size, hidden_size, output_size)

epochs = 10000
learning_rate = 0.1
momentum = 0.9

for i in range(epochs):
    nn.forward(X)
    nn.backward(X, y, learning_rate, momentum)
    
    # 学习率衰减
    learning_rate *= 0.99

new_data = np.array([[1, 1]])
nn.forward(new_data)
print("预测结果：", nn.output_layer)

在这个优化的代码示例中，我们添加了动量优化和学习率衰减。动量优化通过引入速度（V）变量来加速参数更新，并减少震荡。学习率衰减通过每个epoch后减小学习率来提高模型的收敛性。

请注意，这只是一个简单的示例代码，实际应用中可能需要更复杂的优化技术和调参方法。神经网络的性能和训练结果很大程度上取决于数据集和网络结构的选择。如果你有更多问题，请随时提问。