深度学习笔记：批量归一化与残差网络实践

"批量归一化和残差网络是深度学习中两种重要的技术，用于优化神经网络的训练过程和性能。批量归一化通过标准化中间层的输出，确保数据在深度网络中的稳定性，而残差网络则通过引入跳过连接来解决梯度消失问题，促进深度网络的训练。" 批量归一化（Batch Normalization）是一种在深度学习中用于改善神经网络训练的技术，特别适用于处理深层网络的数据波动。它不是简单地对输入数据进行标准化，而是针对每个小批量数据进行操作，计算其均值和标准差，然后调整神经网络内部的中间层输出，使得这些输出的分布更加稳定。批量归一化通常被插入到全连接层或卷积层的激活函数之前，仿射变换之后，这样可以确保在网络的每一层，数据都保持在一个相对固定的范围内，从而加速训练过程，提高模型的泛化能力。 在全连接层中应用批量归一化时，假设输入向量u的形状为(batchsize, 输入神经元个数)，经过权重矩阵W和偏置b的仿射变换后，得到形状为(batchsize, 输出神经元个数)的X。批量归一化就是在X上进行，计算每个小批量的均值μB和方差σB2，然后根据公式对X的每个元素进行标准化： y(i)=BN(x(i))=γ(x(i)−μB)σB+β, \boldsymbol{y}^{(i)}=\text{BN}(\boldsymbol{x}^{(i)})=\gamma\left(\frac{\boldsymbol{x}^{(i)}-\boldsymbol{\mu}_\mathcal{B}}{\boldsymbol{\sigma}_\mathcal{B}}\right)+\beta,y(i)=BN(x(i))=γ(σB​x(i)−μB​​)+β, 其中γ和β是可学习的标量参数，用于保持网络的表达能力，同时适应不同的数据分布。 残差网络（Residual Networks）是为了解决深度网络中梯度消失问题而提出的。在传统的深度网络中，随着网络层数的增加，信号传递变得困难，导致浅层的权重更新缓慢。残差网络通过引入“跳跃连接”（skip connections），即直接将输入数据传递到网络的输出端，允许信号直接跨过几层，使得网络能够更容易地学习身份映射。这种设计显著提高了深度网络的训练效果，使得训练上百层的网络成为可能。例如，ResNet-50和ResNet-152等模型就是利用这种思想构建的，它们在图像识别任务中取得了非常优秀的性能。 批量归一化与残差网络结合使用，可以进一步提升深度学习模型的训练效率和准确性。批量归一化保证了网络内部的稳定性，而残差网络则促进了信息的有效传递，两者协同工作，使得深度网络在处理复杂任务时更具优势。在实际应用中，这两种技术已经广泛应用于计算机视觉、自然语言处理和其他领域的深度学习模型中。