优化神经网络：正则化与激活函数策略

在神经网络与深度学习的学习过程中，课后的习题练习是巩固理论理解的重要环节。以下是针对几个关键习题的详细解析： **习题3.6 - Softmax回归的正则化与数值稳定性** Softmax回归中的权重向量存在冗余性，即减去一个公共向量并不会改变输出结果。为了防止权重过大导致数值计算溢出，正则化技术（如L2正则化）被引入，它通过限制权重向量的大小，避免参数爆炸。同时，正则化还有助于防止模型过度拟合，保持模型的泛化能力。 **习题4.3 - ReLU激活函数与死亡ReLU问题** ReLU激活函数通过非线性处理有助于缓解梯度消失问题，但当输入值小于0时，ReLU输出恒为0，可能导致神经元“死亡”，即在训练过程中无法被激活。这阻碍了后续神经元的训练。为解决这一问题，人们开发了变体如leaky ReLU、ELU和softplus，它们在输入为负时不是完全停止激活，而是提供一个很小的非零值。 **习题4.5 - 全连接神经网络的参数计算** 全连接网络中，参数数量根据层数计算得出：连接输入层与第1层的参数量为\( M_0 \times N / L \)，隐藏层内部连接为\((L-1) \times N^2 / L^2\)，连接第\( L \)层与输出层为\( N / L \)，加上所有隐藏层和输出层的偏置项，总参数量\( M = M_0 \times N / L + (L-1) \times N^2 / L^2 + N / L + N + 1 \)。 **习题4.7 - 偏置项的正则化与模型复杂性** 在神经网络的风险函数中，通常不会对偏置项\( b \)进行正则化。这是因为偏置项b主要起平移作用，对函数的影响较小，对输入的敏感度不高，不会显著增加模型复杂性或过拟合。正则化主要针对权重\( W \)，以防止参数过大。对偏置进行正则化反而可能降低模型性能，出现欠拟合现象。 **习题4.8 - 反向传播的含义与优化** 反向传播算法是训练神经网络的核心过程，它通过链式法则计算每个参数对损失函数的梯度，然后用这些梯度更新网络权重，以最小化损失。这个过程确保了误差信号从输出层逐层向输入层传递，从而优化整个网络的参数。它解决了梯度消失和梯度爆炸的问题，是深度学习模型高效训练的关键。通过反向传播，神经网络能够调整其内部结构以适应数据的复杂模式，提高模型的泛化能力。 通过解答这些习题，学习者不仅能掌握神经网络的基础概念，还能深入理解正则化、激活函数选择、参数计算以及反向传播的重要性，进一步提升在深度学习领域的实践能力。