多层感知机与BP算法：上世纪80年代神经网络的发展与挑战

本周报告由黄敬雯于2017年7月25日撰写，主要内容聚焦于上世纪80年代的多层感知机（Multilayer Perceptron，MLP）的发展和应用，这是现代神经网络（Neural Network, NN）的基础架构。多层感知机的创新在于引入了连续函数，如Sigmoid和tanh，这些函数能够模拟神经元对输入的连续响应，从而突破了早期离散传输函数的限制。 多层感知机的核心技术包括反向传播（Backpropagation, BP）算法，由Werbos发明，它是基于梯度下降法的一种优化策略。BP算法的工作原理是通过正向传播计算网络的输出与期望输出之间的误差，然后通过反向传播更新网络权重，以最小化这个误差。这种算法允许神经网络在多个层次中学习复杂的非线性映射，其网络深度直接影响模型的表达能力。 然而，随着网络深度的增加，也带来了一些挑战。首先，优化过程易陷入局部最优解，深层网络在有限数据集上可能不如浅层网络表现好。其次，深层网络中的梯度消失问题更为显著，尤其是在使用sigmoid这类激活函数时，由于它们的输出接近饱和，导致在网络深处的梯度几乎为零，使得权重更新困难，训练过程变得不稳定。 尽管如此，BP网络仍然在某些特定环境下表现出色，例如在宽频带信号识别和信噪分离任务中，它能够有效地处理复杂信号。但是，为克服这些问题，后来的研究者们发展出了各种改进的激活函数、初始化策略以及正则化方法，如ReLU、Batch Normalization等，以提高深层网络的训练效率和性能。 总结来说，2017年7月25日的这份周报回顾了多层感知机的历史演变，强调了其在神经网络领域的重要地位，并讨论了深度学习初期面临的挑战，为后续的深度学习研究奠定了基础。