BP 神经网络计算过程详解，
神经网络结构主要包括：输入层、隐藏层和输出层
BP（Back Propagaon）神经网络分为两个过程
（1）工作信号正向传递过程
（2）误差信号反向传递过程
1
2
工作信号正向传递过程（前向传播）：
四个步骤：
1、输入层的每个节点，都要与的隐藏层每个节点做点对点的计算，计算的方法是加权求和+激活
2、利用隐藏层计算出的每个值，再用相同的方法，和输出层进行计算。
3、隐藏层用都是用 Sigmoid 作激活函数，而输出层用的是 Purelin。这是因为 Purelin 可以保持之前任意
范围的数值缩放，便于和样本值作比较，而 Sigmoid 的数值范围只能在 0~1 之间。
4、起初输入层的数值通过网络计算分别传播到隐藏层，再以相同的方式传播到输出层，最终的输出值
和样本值作比较，计算出误差，这个过程叫前向传播(Forward Propagaon)。
误差信号反向传递过程
两个步骤
BP 算法是一种计算偏导数的有效方法，它的基本原理是：
5、利用前向传播最后输出的结果来计算误差的偏导数（前向传播后求偏导），
6、再用这个偏导数和前面的隐藏层进行加权求和
7、如此一层一层的向后传下去（隐藏层间偏导加权求和）
8、直到输入层(不计算输入层)（也就是第一隐藏层到输入层的偏导加权求和）
9、最后利用每个节点求出的偏导数来更新权重。
为了便于理解，后面一律用“残差(error term)”这个词来表示误差的偏导数。
输出层→隐藏层：残差 = -(输出值-样本值) * 激活函数的导数
隐藏层→隐藏层：残差 = (右层每个节点的残差加权求和)* 激活函数的导数
如果用 Sigmoid(logsig)作激活函数，那么：Sigmoid 导数 = Sigmoid*(1-Sigmoid)
输出层→隐藏层：残差 = -(Sigmoid 输出值-样本值) * Sigmoid*(1-Sigmoid) = -(输出值-样本值)
输出值
(1-输
出值)
隐藏层→隐藏层：残差 = (右层每个节点的残差加权求和)* 当前节点的 Sigmoid*(1-当前节点的 Sigmoid)
剩余10页未读，继续阅读
评论0