规模,使网络的输出更加平滑,有效增强网络的泛化性能,减小网络过拟合的可能
[12-14]
。一
般神经网络的性能函数为
EF
,而正则化方法是在网络误差函数
E
后面加入一个惩罚项
w
E ,
那么贝叶斯正则化 BP 神经网络的性能函数
F
[13]
为:
EEF
w
1
(1)
其中
E
为训练输出 y 与目标输出 t 之间的均方误差,
1,0
为比例系数。在网络训练过
程中,贝叶斯正则化算法能够自适应地调节
的大小,使其达到最优。
2.2 基于贝叶斯正则化的 BP 神经网络逆向迭代算法
神经网络逆向建模的目标就是求出与目标参数相对应的结构参数,与正向建模修正权值
不同的是,逆向建模在正向模型的基础上需要调整输入参数的值以使评价函数达到最小,此
时保持权值和阈值不变,更新后获得的模型输入与目标输入之间非常接近,这样可以简化逆
向建模的学习过程。输入参数的更新过程是:
n
nn
x
F
xx
1
, ......2,1,0
n
(2)
其中
1n
x
、
n
x
为输入参量,
为学习速率。
正则化方法常见的规则化函数是 L
0
,L
1
,L
2
范数。L
0
正则化模型是应用最早的变量选择
和特征提取的正则化方法,可以产生稀疏的解,但需要求解一个
NP 组合优化问题来给出最优
的变量选择结果。L
1
正则化模型较易求解,但不能总是产生最稀疏的解。L
2
正则化模型是最
常用的方法,能产生光滑解,但不具备稀疏性,其网络剪枝能力较弱
[11
、
15
、
16]
。L
1/2
正则化模
型易于求解且解的稀疏性较好,应用到贝叶斯正则化 BP 神经网络逆向建模中能够有效缩短网
络的运行时间。当贝叶斯正则化的比例系数
较大时,可以增加网络输出的平滑性,有效提
高逆向建模过程中网络的稳定性。
本文选用 BP 神经网络的一般结构,假设输入层有 N 个神经元、隐含层有 P 个神经元、
输出层有 M 个神经元,如图 1 所示。隐含层的激活函数为 logsig 函数,输出层激活函数为线
性 purelin 函数。
1
x
n
x
N
x
ppn
v
1
,
mmp
w
2
,
1
y
m
y
M
y
Figure 1 BP neural network structure
图 1 BP 神经网络结构图
根据图 1 可得,隐含层神经元的输出为:
N
n
pnkpnpk
xvfz
1
1
(3)
其中
pk
z
表示第 k 组数据的第
p
个隐含层神经元的输出,
nk
x 是第 k 组数据的第
n
个输入值,