使用python写一个使用归一化、Xavier初始化、正则化方法和MSGD的BP网络(8个输入,1个输出,5个隐藏节点),并写一个main实现将训练集投入网络训练,训练后将测试集投入得出预测输出。训练和测试数据均存在同一个xlsx文件的同一个页面表格中。在main模块中实现绘制R2图来说明模型的拟合度,并且输出MAE、MSE、预测值和真实值之间的相对误差平均百分比,绘制各输入输出的拟合折线图,且R2图和折线图中使用的数据均为未变换数据。
时间: 2023-11-27 13:53:30 浏览: 72
神经网络Xavier随机初始化
5星 · 资源好评率100%
好的,这里是一个简单的实现,仅供参考:
```python
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
# sigmoid函数
def sigmoid(x):
return 1 / (1 + np.exp(-x))
# sigmoid函数的导数
def sigmoid_derivative(x):
return x * (1 - x)
# 归一化
def normalize(X):
X = (X - np.min(X)) / (np.max(X) - np.min(X))
return X
# Xavier初始化
def xavier_init(n_input, n_output):
W = np.random.randn(n_input, n_output) * np.sqrt(1 / (n_input + n_output))
return W
# 正则化
def regularization(W, lambd):
return W * (1 - lambd)
class NeuralNetwork:
def __init__(self, n_input, n_hidden, n_output, learning_rate, lambd):
self.n_input = n_input
self.n_hidden = n_hidden
self.n_output = n_output
self.learning_rate = learning_rate
self.lambd = lambd
self.W1 = xavier_init(n_input, n_hidden)
self.W2 = xavier_init(n_hidden, n_output)
def forward(self, X):
self.z1 = np.dot(X, self.W1)
self.a1 = sigmoid(self.z1)
self.z2 = np.dot(self.a1, self.W2)
self.y_hat = sigmoid(self.z2)
return self.y_hat
def backward(self, X, y, y_hat):
delta2 = (y_hat - y) * sigmoid_derivative(y_hat)
dW2 = np.dot(self.a1.T, delta2)
delta1 = np.dot(delta2, self.W2.T) * sigmoid_derivative(self.a1)
dW1 = np.dot(X.T, delta1)
# 添加正则化项
dW1 = regularization(dW1, self.lambd)
dW2 = regularization(dW2, self.lambd)
self.W1 -= self.learning_rate * dW1
self.W2 -= self.learning_rate * dW2
def train(self, X, y, epochs):
m = X.shape[0]
for i in range(epochs):
y_hat = self.forward(X)
loss = np.mean(np.square(y_hat - y))
self.backward(X, y, y_hat)
print('Epoch:', i+1, 'Loss:', loss)
def predict(self, X):
return self.forward(X)
# 读取数据
data = pd.read_excel('data.xlsx', sheet_name='Sheet1')
X_train = data.iloc[:10, :8].values
y_train = data.iloc[:10, 8:].values
X_test = data.iloc[10:, :8].values
y_test = data.iloc[10:, 8:].values
# 归一化
X_train = normalize(X_train)
y_train = normalize(y_train)
X_test = normalize(X_test)
y_test = normalize(y_test)
# 训练模型
model = NeuralNetwork(n_input=8, n_hidden=5, n_output=1, learning_rate=0.1, lambd=0.01)
model.train(X_train, y_train, epochs=1000)
# 预测并计算指标
y_pred = model.predict(X_test)
r2 = 1 - np.sum(np.square(y_test - y_pred)) / np.sum(np.square(y_test - np.mean(y_test)))
mae = np.mean(np.abs(y_test - y_pred))
mse = np.mean(np.square(y_test - y_pred))
error = np.mean(np.abs(y_test - y_pred) / y_test) * 100
print('R2:', r2)
print('MAE:', mae)
print('MSE:', mse)
print('Error:', error)
# 绘制拟合折线图
plt.plot(y_test, label='True')
plt.plot(y_pred, label='Predicted')
plt.legend()
plt.show()
# 绘制R2图
plt.scatter(y_test, y_pred)
plt.plot([0, 1], [0, 1], '--', color='red')
plt.xlabel('True')
plt.ylabel('Predicted')
plt.title('R2: {}'.format(r2))
plt.show()
```
需要注意的是,这里使用的是全样本梯度下降法,可能会存在过拟合的问题,可以通过加入早停法等方法进行改进。另外,这里使用的是最简单的单层网络,如果需要提高拟合度,可以考虑使用多层神经网络。
阅读全文