深度学习与PReLU单元：超越人类级图像识别

"深度探索整流器：超越人类级的ImageNet分类性能" 在深度学习领域，整流激活单元（Rectified Linear Units, ReLUs）是现代神经网络的核心组成部分。本文《2015-Kaiming初始化-Delving Deep into Rectifiers_Surpassing Human-Level Performance on ImageNet Classification》深入研究了整流神经网络在图像分类中的两个关键方面，并提出了一种新的激活函数和一种更稳健的初始化方法。 首先，作者引入了参数化整流线性单元（Parametric Rectified Linear Unit, PReLU）。PReLU是对传统ReLU的扩展，它引入了一个可学习的参数，允许在网络训练过程中调整负区的斜率。这不仅提高了模型的拟合能力，几乎不增加额外的计算成本，而且降低了过拟合的风险。通过让网络自适应地学习负区的权重，PReLU可以更好地捕捉数据的复杂性，从而提高模型的泛化能力。 其次，他们开发了一种针对整流非线性的初始化方法。传统的初始化策略可能在处理深度网络时遇到梯度消失或爆炸的问题，特别是在使用ReLU时。而这种新方法考虑了ReLU的特性，使得训练极深的整流模型成为可能，可以直接从头开始训练，无需预训练。这为探索更深或更宽的网络架构提供了可能性。 基于PReLU网络（PReLU-nets），他们在ImageNet 2012分类数据集上取得了4.94%的前五错误率，这是对2014年ILSVRC竞赛冠军GoogLeNet（6.66%错误率）的26%的相对改进。据作者所知，这是首次在ImageNet上达到超越人类水平的表现。 这篇论文展示了整流器在深度学习中的重要性，以及通过改进激活函数和初始化策略可以显著提升深度神经网络的性能。PReLU和提出的初始化方法为后续的研究提供了有价值的见解，推动了深度学习领域的发展。