使用python创建一个使用归一化、Xavier初始化、正则化方法和MSGD的BP网络示例,该网络有8个输入1个输出1层隐藏层,要求分为两个模块(py文件),在确认输入、输出的训练集之后,模型不会出现shape类报错,且一个是BP网络,另一个是主函数,尝试在main模块中实现绘制R2图来说明模型的拟合度,并且输出MAE、MSE、预测值和真实值之间的相对误差平均百分比,绘制各输入输出的拟合折线图,且R2图和折线图中使用的数据均为未变换数据,在每句代码后添加注释;练集数据存于xlsx表格前3000行中,之后的都是测试集
时间: 2023-09-08 09:07:25 浏览: 111
神经网络Xavier随机初始化
5星 · 资源好评率100%
这里是一个示例代码,分为两个模块:bp.py 和 main.py
bp.py:
```python
import numpy as np
class BPNN:
def __init__(self, input_size, hidden_size, output_size, lr=0.1, regularization=0.01):
self.input_size = input_size
self.hidden_size = hidden_size
self.output_size = output_size
self.lr = lr
self.regularization = regularization
# 初始化权重
self.W1 = np.random.randn(hidden_size, input_size) * np.sqrt(1/input_size) # Xavier 初始化
self.b1 = np.zeros((hidden_size, 1))
self.W2 = np.random.randn(output_size, hidden_size) * np.sqrt(1/hidden_size) # Xavier 初始化
self.b2 = np.zeros((output_size, 1))
def sigmoid(self, x):
return 1 / (1 + np.exp(-x))
def d_sigmoid(self, x):
return x * (1 - x)
def train(self, X, y, epochs=1000):
for i in range(epochs):
# 前向传播
a1 = X.T
z2 = np.dot(self.W1, a1) + self.b1
a2 = self.sigmoid(z2)
z3 = np.dot(self.W2, a2) + self.b2
y_pred = z3
# 计算损失函数
mse = np.mean((y_pred - y.T) ** 2)
# 反向传播
d3 = y_pred - y.T
d2 = np.dot(self.W2.T, d3) * self.d_sigmoid(a2)
# 更新权重和偏置
self.W2 -= self.lr * (np.dot(d3, a2.T) + self.regularization * self.W2)
self.b2 -= self.lr * np.mean(d3, axis=1, keepdims=True)
self.W1 -= self.lr * (np.dot(d2, a1.T) + self.regularization * self.W1)
self.b1 -= self.lr * np.mean(d2, axis=1, keepdims=True)
return mse, y_pred.T
```
main.py:
```python
import pandas as pd
import matplotlib.pyplot as plt
from bp import BPNN
# 读取数据
df = pd.read_excel('data.xlsx')
X = df.iloc[:3000, :-1].values
y = df.iloc[:3000, -1:].values
# 归一化
X = (X - X.mean(axis=0)) / X.std(axis=0)
y = (y - y.mean(axis=0)) / y.std(axis=0)
# 划分训练集和测试集
X_train, y_train = X[:2500], y[:2500]
X_test, y_test = X[2500:], y[2500:]
# 初始化模型
model = BPNN(input_size=8, hidden_size=4, output_size=1)
# 训练模型
mse, y_pred = model.train(X_train, y_train, epochs=10000)
# 预测测试集
y_pred_test = model.sigmoid(np.dot(model.W2, model.sigmoid(np.dot(model.W1, X_test.T) + model.b1)) + model.b2).T
# 计算MAE, MSE和相对误差平均百分比
mae = np.mean(np.abs(y_pred_test - y_test))
mse = np.mean((y_pred_test - y_test) ** 2)
error = np.mean(np.abs((y_pred_test - y_test) / y_test)) * 100
# 绘制R2图
plt.scatter(y_test, y_pred_test)
plt.plot([-3, 3], [-3, 3], 'r--')
plt.xlabel('True Value')
plt.ylabel('Predicted Value')
plt.title('R2')
plt.show()
# 绘制各输入输出的拟合折线图
for i in range(8):
plt.scatter(X_test[:, i], y_test)
plt.scatter(X_test[:, i], y_pred_test)
plt.xlabel(f'Input {i+1}')
plt.ylabel('Output')
plt.legend(['True', 'Predicted'])
plt.show()
print(f'MAE: {mae:.2f}')
print(f'MSE: {mse:.2f}')
print(f'Relative Error: {error:.2f}%')
```
需要注意的几点:
1. 在 BPNN 类中,我们定义了 sigmoid 函数和其导数 d_sigmoid 函数,用于激活和反向传播。
2. 在训练时,我们使用了均方误差作为损失函数。
3. 在更新权重时,我们使用了正则化项,以避免过拟合。
4. 在 main.py 中,我们首先读取了数据,并将其归一化。
5. 我们将前 2500 行作为训练集,后面的行作为测试集。
6. 我们使用了 BPNN 类来训练模型,并在测试集上进行预测。
7. 我们计算了 MAE、MSE 和相对误差平均百分比,并绘制了 R2 图和各输入输出的拟合折线图。
阅读全文