山东大学2020深度学习复习关键点：超参、正则化与激活函数

"这是山东大学2020年深度学习复习提纲，主要涵盖了深度学习的基础概念，包括超参数、正则化、激活函数、权重初始化等核心知识点，旨在帮助学生有效复习和理解深度学习的基本原理和技术。" 1. 超参数：在深度学习模型中，超参数是那些在训练前设定，且对模型性能有直接影响但不通过训练过程学习的参数。例如，学习率、正则化参数λ、神经网络层数等。通过交叉验证的方式，我们可以尝试不同的超参数组合，找到最优的设置。 2. 正则化：正则化是一种防止过拟合的策略，其中L1和L2正则化是最常见的形式。L1正则化使权重向量变得稀疏，即许多权重趋于0，从而实现特征选择。L2正则化则鼓励模型产生较小的权重，避免权重过大引起的过拟合。正则化参数λ的大小对模型的拟合程度有很大影响，需谨慎调整。 3. 激活函数：在神经网络中，激活函数用于引入非线性，使网络能够学习复杂的关系。Sigmoid函数在0附近梯度消失，导致训练困难；Tanh函数以0为中心，但同样存在梯度消失问题；ReLU函数因其简单的计算和非饱和性而受到欢迎，但负值区域梯度为0可能导致“死亡神经元”；LeakyReLU解决了ReLU的问题，ELU在负值区域的处理更优，但计算稍复杂；Maxout函数可以看作ReLU和LeakyReLU的扩展，但需要更多的参数。 4. 数据预处理：数据零中心化是一个重要的预处理步骤，它将数据映射到以0为中心的范围内，有助于加速模型的收敛。此外，数据归一化可以进一步提高模型的收敛速度，减少过拟合，并可能提高模型的精度。 5. 权重初始化：权重初始化对神经网络的训练至关重要。如果所有权重初始化为0，会导致所有神经元更新步调一致，模型可能退化为线性模型。随机初始化权重，如采用Xavier或He初始化，可以确保每个神经元的激活分布均匀，有助于网络的初始学习。 6. 损失函数与梯度下降：损失函数衡量模型预测与真实值的差距，梯度下降法用于更新权重以最小化损失。权重初始化为较小的随机值可以避免因初始权重过大导致的梯度爆炸或梯度消失问题。 深度学习是一个广泛的领域，涵盖的不仅仅是这些基础概念。还包括卷积神经网络（CNN）、循环神经网络（RNN）、长短时记忆（LSTM）、自编码器（Autoencoder）、生成对抗网络（GAN）等复杂的模型结构。这些模型在图像识别、自然语言处理、推荐系统等多个领域有着广泛的应用。理解并掌握这些基本概念是深入学习深度学习的关键。