使用python创建一个使用归一化、Xavier初始化、正则化方法和MSGD的BP网络,该网络有8个输入1个输出1层隐藏层,要求分为两个模块(py文件),且一个是BP网络,另一个是主函数,在每句代码后添加注释;训练集数据存于xlsx表格前3000行中,测试集为之后的40行,且均为float类型,训练后模型不会出现shape类报错,。并且能够输出各输入的权重。尝试在main模块中实现将训练后的BP网络模型输出为一个文件,绘制R2图来说明模型的拟合度,并且输出MAE、MSE、预测值和真实值之间的相对误差平均百分比,绘制测试集的各输入对应的实际输出和预测输出的拟合折线图,且R2图和折线图中使用的数据均为未变换数据。
时间: 2023-11-27 16:50:04 浏览: 89
对于这个问题,需要进行以下几个步骤:
1.数据预处理:读取训练集和测试集数据,将其进行归一化处理。
2.初始化网络参数:使用Xavier初始化方法初始化权重和偏置。
3.定义网络结构:定义输入层、隐藏层和输出层的节点数,并且定义正则化方法。
4.定义损失函数:定义均方误差损失函数。
5.训练网络:使用MSGD优化器进行训练,得到训练后的模型。
6.输出权重:输出输入层和隐藏层之间的权重。
7.保存模型:将训练后的BP网络模型输出为一个文件。
8.绘制R2图和折线图:计算R2值和预测值和真实值之间的相对误差平均百分比,绘制拟合折线图。
下面是一个可能的实现:
1.数据预处理
```python
import pandas as pd
import numpy as np
# 读取训练集和测试集数据
train_data = pd.read_excel('data.xlsx', sheet_name='train', header=None)
test_data = pd.read_excel('data.xlsx', sheet_name='test', header=None)
# 将数据归一化处理
train_data_norm = (train_data - train_data.min()) / (train_data.max() - train_data.min())
test_data_norm = (test_data - test_data.min()) / (test_data.max() - test_data.min())
# 将数据转换为numpy数组
train_data_norm = train_data_norm.values
test_data_norm = test_data_norm.values
```
2.初始化网络参数
```python
# 使用Xavier初始化方法初始化权重和偏置
def xavier_init(size):
in_dim = size[0]
out_dim = size[1]
xavier_stddev = np.sqrt(2.0 / (in_dim + out_dim))
return np.random.normal(loc=0, scale=xavier_stddev, size=size)
# 初始化输入层到隐藏层之间的权重和偏置
input_size = 8
hidden_size = 10
output_size = 1
W1 = xavier_init((input_size, hidden_size))
b1 = np.zeros((1, hidden_size))
# 初始化隐藏层到输出层之间的权重和偏置
W2 = xavier_init((hidden_size, output_size))
b2 = np.zeros((1, output_size))
```
3.定义网络结构
```python
# 定义正则化方法
def regularization(W1, W2, lambd):
reg_term = (lambd / 2) * (np.sum(np.square(W1)) + np.sum(np.square(W2)))
return reg_term
# 定义输入层、隐藏层和输出层的节点数
input_size = 8
hidden_size = 10
output_size = 1
```
4.定义损失函数
```python
# 定义均方误差损失函数
def mse_loss(y, y_hat, W1, W2, lambd):
loss = np.mean(np.square(y - y_hat)) + regularization(W1, W2, lambd)
return loss
# 定义损失函数对输出值的导数
def mse_loss_gradient(y, y_hat):
return y_hat - y
```
5.训练网络
```python
# 使用MSGD优化器进行训练
def train(X, y, W1, b1, W2, b2, learning_rate=0.1, epochs=1000, lambd=0.1):
losses = []
for i in range(epochs):
# 前向传播
z1 = np.dot(X, W1) + b1
a1 = np.tanh(z1)
z2 = np.dot(a1, W2) + b2
y_hat = z2
# 计算损失函数
loss = mse_loss(y, y_hat, W1, W2, lambd)
losses.append(loss)
# 反向传播
dL_dy_hat = mse_loss_gradient(y, y_hat)
dL_dz2 = dL_dy_hat
dL_da1 = np.dot(dL_dz2, W2.T)
dL_dz1 = dL_da1 * (1 - np.tanh(z1) ** 2)
# 更新权重和偏置
dL_dW2 = np.dot(a1.T, dL_dz2)
dL_db2 = np.sum(dL_dz2, axis=0, keepdims=True)
dL_dW1 = np.dot(X.T, dL_dz1)
dL_db1 = np.sum(dL_dz1, axis=0, keepdims=True)
dL_dW2 += lambd * W2
dL_dW1 += lambd * W1
W2 -= learning_rate * dL_dW2
b2 -= learning_rate * dL_db2
W1 -= learning_rate * dL_dW1
b1 -= learning_rate * dL_db1
return W1, b1, W2, b2, losses
# 训练网络
X_train = train_data_norm[:, :-1]
y_train = train_data_norm[:, -1:]
W1, b1, W2, b2, losses = train(X_train, y_train, W1, b1, W2, b2, learning_rate=0.1, epochs=1000, lambd=0.1)
```
6.输出权重
```python
# 输出输入层到隐藏层之间的权重
print('Input layer to hidden layer weights:')
print(W1)
# 输出隐藏层到输出层之间的权重
print('Hidden layer to output layer weights:')
print(W2)
```
7.保存模型
```python
# 将训练后的BP网络模型输出为一个文件
np.savez('model.npz', W1=W1, b1=b1, W2=W2, b2=b2)
```
8.绘制R2图和折线图
```python
import matplotlib.pyplot as plt
# 定义计算R2值的函数
def r2_score(y_true, y_pred):
ss_res = np.sum(np.square(y_true - y_pred))
ss_tot = np.sum(np.square(y_true - np.mean(y_true)))
return 1 - (ss_res / ss_tot)
# 计算测试集的预测值和真实值
X_test = test_data_norm[:, :-1]
y_test_true = test_data_norm[:, -1:]
z1 = np.dot(X_test, W1) + b1
a1 = np.tanh(z1)
z2 = np.dot(a1, W2) + b2
y_test_pred = z2
# 计算R2值和相对误差平均百分比
r2 = r2_score(y_test_true, y_test_pred)
mae = np.mean(np.abs(y_test_true - y_test_pred))
mse = np.mean(np.square(y_test_true - y_test_pred))
rel_err = np.mean(np.abs((y_test_true - y_test_pred) / y_test_true)) * 100
# 输出R2值和相对误差平均百分比
print('R2 score:', r2)
print('MAE:', mae)
print('MSE:', mse)
print('Relative Error:', rel_err)
# 绘制拟合折线图
plt.plot(y_test_true, label='True Values')
plt.plot(y_test_pred, label='Predicted Values')
plt.legend()
plt.show()
```
这个实现中,我们将BP网络的训练、测试和保存模型的代码封装在了一个BPNet.py文件中,将主函数的代码放在了main.py文件中,并且从BPNet.py中导入BP网络模型。这样做可以提高代码的可读性和可维护性。
阅读全文