深度学习基础：从神经网络到ReLU激活函数

"这是一份关于深度学习基础的在线教育课件，由上海交通大学博士叶梓主讲，主要内容包括深度学习与传统神经网络的区别、目标函数、改进的梯度下降、避免过适应、以及卷积神经网络（CNN）的初步介绍。课件强调了深度学习在层数、层间连接、目标函数选择、激活函数和优化方法上的特点，并介绍了如何通过 Dropout 等技术防止过适应。此外，还讲解了均方误差和交叉熵作为目标函数的优缺点，以及 Softmax 层的作用和梯度消失问题的解决方案，如使用 ReLU 激活函数。" 深度学习是现代人工智能领域的一个重要分支，它主要通过构建多层神经网络来模拟人脑的学习过程，处理复杂的数据问题。在深度学习中，网络的深度是其关键特征之一，通常包含数百甚至上千层，这与传统的浅层神经网络形成鲜明对比。传统的神经网络一般只有几层，但深度学习模型能够学习到更抽象的特征表示。 深度学习中的层间连接不再局限于全连接，而是采用了各种形式，如共享权重、跨层反馈等，以提高模型的表达能力和效率。在目标函数的选择上，除了经典的均方误差（MSE），深度学习更倾向于使用交叉熵（Cross-Entropy）作为损失函数，因为它对梯度的敏感性更高，有助于更快地收敛到最优解。 激活函数在深度学习中扮演着非线性转换的角色，Sigmoid 曾经是常用的激活函数，但由于其梯度消失问题，逐渐被 ReLU（Rectified Linear Unit）所取代。ReLU 函数解决了梯度消失问题，加快了训练速度，且具有生物学依据，使得神经元的输出更加线性，提高了模型的性能。 为了避免过适应，深度学习引入了正则化技术，如 Dropout，它在训练过程中随机关闭一部分神经元，以增加模型的泛化能力。此外，改进的梯度下降算法，如 Adam，也被广泛应用于优化参数更新，以更好地适应不同问题和数据集。 卷积神经网络（CNN）是深度学习在图像处理领域的核心模型，其基本组件包括卷积层和池化层。卷积层通过卷积核提取特征，而池化层则用于下采样，降低计算复杂性，同时保持关键信息。在反向传播过程中，卷积层和池化层的误差传播方式各有特点，确保了模型能够从输入图像中学习到有效的特征。 这份深度学习基础课件涵盖了深度学习的关键概念和技术，对于初学者来说是很好的学习资源。