哈工大模式识别讲义：BP算法推导与优化

"哈工大模式识别讲义中讲解了BP算法在多层感知器学习中的应用，旨在通过调整神经元权重和偏置减小训练样本的识别误差。讲义内容涉及误差平方和的优化问题、梯度下降法以及三层感知器网络中参数的迭代公式推导。" BP算法，全称为反向传播（Backpropagation）算法，是多层神经网络训练中常用的一种权重更新方法。在模式识别领域，BP算法被广泛用于训练多层感知器，以实现非线性模型的学习。哈工大的这门研究生课程讲义深入探讨了BP算法的原理和推导过程。 首先，BP算法的核心目标是通过调整网络中的权重矢量和偏置，使得对于给定的训练样本集合D，网络的识别误差最小化。这个过程可以转化为对误差平方和的优化问题。误差平方和J是所有训练样本的实际输出与期望输出之间差值的平方和，即(1)式所示。在线性网络中，由于输出与参数的关系直接，可以通过微分找到误差函数的最小值。然而，在多层感知器中，由于存在隐藏层，实际输出与参数之间的关系变得复杂，不能直接求解，因此需要采用梯度下降法进行优化。 梯度下降法的基本思想是从一个随机初始化的权重矢量w开始，按照误差函数J对权重的负梯度方向进行迭代更新，以逐步逼近误差函数的最小值，如(2)式所示。这里，η是学习率，控制每次迭代时权重更新的幅度。 对于三层感知器网络，假设有一个包含n个样本的训练集D，其中每个样本x_i有对应的期望输出t_i。网络包含一个含n个神经元的输入层、一个含H个神经元的隐藏层和一个含L个神经元的输出层。每个神经元的激活函数通常是非线性的，如Sigmoid或ReLU函数。 在BP算法中，关键在于计算误差函数对每个网络参数的偏导数，即链式法则的应用。对于输出层神经元，例如第k个神经元，其输出依赖于隐藏层神经元的输出y_j（j=1,2,...,H），而隐藏层神经元的输出又依赖于输入层的信号和它们的权重。通过反向传播误差，我们可以得到输出层神经元的权重kj_w和偏置k_b的更新公式： 1. 输出层神经元的输出z_k与期望输出t_k的误差对权重kj_w的偏导数为： \(\frac{\partial J}{\partial kj_w} = z_k - t_k \cdot h'(net_k)\) 2. 对于偏置k_b，误差对其的偏导数为： \(\frac{\partial J}{\partial k_b} = z_k - t_k \cdot h'(net_k)\) 其中，\(h'\)是隐藏层和输出层激活函数的导数，net_k是输出层第k个神经元的净输入。 对于隐藏层的神经元，其权重更新涉及到输出层的误差传播。隐藏层神经元的权重更新公式会更加复杂，因为它不仅受到自身输出的影响，还受到其连接的输出层神经元的误差影响。类似的过程可以扩展到包含更多隐藏层的网络。 通过迭代更新权重和偏置，BP算法最终会使网络的预测输出逐渐接近训练样本的期望输出，从而达到学习的目的。哈工大的模式识别讲义通过详细推导这些公式，帮助学生理解和掌握BP算法在实际应用中的操作。