深度学习复习：正则化、损失函数与神经网络优化

"这篇资料是关于山东大学2019级智能班的神经网络与深度学习复习内容，涵盖了正则化、损失函数、神经网络基础、反向传播、激活函数、权重初始化、批量归一化以及训练神经网络时的一些策略，如学习率调整等关键知识点。" 在神经网络和深度学习领域，理解并掌握这些概念至关重要。首先，正则化是一种防止过拟合的技术，通过在损失函数中添加正则项（如L1或L2正则化）来约束模型复杂度。L2正则化会惩罚权重矩阵中所有参数的平方和，而L1正则化则倾向于产生稀疏权重，使部分神经元不活跃。正则化系数λ决定了正则项在总损失中的权重。 损失函数是衡量模型预测结果与真实值之间差距的指标，常见的有交叉熵损失、均方误差等。神经网络的基础包括前向传播和反向传播。前向传播用于计算网络的预测输出，反向传播则是利用链式法则计算梯度，以更新权重和偏置。如果没有激活函数，神经网络将仅能执行线性分类。ReLU（Rectified Linear Unit）是常用的激活函数，因其简单且有效，但在x值极端时可能会出现梯度消失问题。 数据预处理、权重初始化对模型的训练有显著影响。全零初始化会破坏模型对称性，导致性能下降。小的随机数初始化在小型网络中适用，但在深层网络中可能引起梯度消失或梯度爆炸。Xavier初始化和Kaiming初始化（MSRA初始化）是为了解决这一问题，它们通过调整权重的方差，使网络各层的输出分布保持相对稳定，有助于收敛速度的提升。 批量归一化（Batch Normalization）是训练深度网络时的一种重要技术，它可以加速训练，改善梯度流，并且具有正则化效果。然而，需要注意的是，它在训练和测试阶段的表现可能不同，合适的初始化对避免激活函数饱和和梯度消失至关重要。 训练神经网络时，学习率的调整是优化过程的关键。传统的学习率衰减策略是随着迭代次数的增加逐渐减小学习率。线性预热（Linear Warmup）策略在训练初期增加学习率，以防止损失爆炸。另外，当批量大小发生变化时，学习率也需要相应调整。自适应学习率方法，如Adam和RMSprop，能够根据每个参数的历史梯度动态调整学习率，进一步提高了训练效率。 神经网络与深度学习涉及众多复杂的概念和技术，这些内容是理解并构建高效模型的基础。学习和熟练掌握这些知识点，对于提升模型性能和解决实际问题具有重要意义。