山东大学2018级深度学习期末复习要点：超参、正则化与激活函数详解

深度学习复习.pdf是山东大学计算机学院人工智能实验班（2018级）期末复习的重要参考资料，主要涵盖了深度学习与神经网络的核心概念和关键知识点。以下是详细内容的概述： 1. 超参数调整：超参数是非学习参数，如正则化参数λ。正则化用于防止过拟合，L1正则化使权重稀疏，L2正则化鼓励权重分散且小。选择合适的λ至关重要，过大可能导致欠拟合，过小则易引发过拟合。 2. 激活函数： - Sigmoid：优点是输出范围在0到1，模拟神经元的信息传导，但存在梯度消失问题和非对称性。 - Tanh：映射到-1到1，收敛速度快，但同样有梯度消失问题。 - ReLU：不饱和，计算简单，收敛快，但不是中心对称，x<0时梯度不可定义。 - Leaky ReLU：修正了ReLU的“死亡神经元”问题，即在x<0时允许非零梯度。 - ELU：类似ReLU，有零均值的输出，增加噪声处理鲁棒性，但需计算exp。 3. Maxout：一种混合激活函数，结合了ReLU和LeakyReLU的优点，但需要更多的参数。 4. 数据预处理： - Zero-centered：确保数据集中在0附近，有助于加快收敛，但可能需要考虑输入值的符号来指导权重更新。 - 归一化：提高模型性能，防止过拟合，但可能影响模型的原始特征表示。 5. 权重初始化：权重初始化影响模型的学习过程。初始化为零会导致所有神经元同步学习，类似线性模型。通常采用随机初始化，如0.01，以控制权重的大小。 这份复习资料强调了深度学习中关键的理论和技术细节，包括参数调整、激活函数的选择和优化、数据预处理策略以及权重初始化的策略。理解和掌握这些内容对于期末考试和后续的深度学习实践都非常重要。