山东大学人工智能实验2：前向传播与反向传播详解

资源摘要信息:"山东大学人工智能导论实验2工程文件-前向传播和反向传播" 在人工智能和深度学习领域，前向传播（Forward Propagation）和反向传播（Backward Propagation）是神经网络训练的核心算法。前向传播指的是数据通过神经网络的各个层，最终输出结果的过程；反向传播则是根据输出结果和实际结果之间的差异（损失），逆向调整网络参数（权重和偏置）的过程。本实验旨在通过实现前向传播和反向传播算法，加深学生对这两个过程的理解，以及如何通过编程实现这一过程。 ### 前向传播 在前向传播过程中，输入数据逐层传递，并在每一层上进行加权求和和激活函数的运算，直至达到输出层。对于一个简单的两层（一个隐藏层）的神经网络，前向传播可以表示为： 1. 输入层到隐藏层的前向传播： - \( z^{[1]} = W^{[1]}x + b^{[1]} \) - \( a^{[1]} = \sigma(z^{[1]}) \) 2. 隐藏层到输出层的前向传播： - \( z^{[2]} = W^{[2]}a^{[1]} + b^{[2]} \) - \( a^{[2]} = \sigma(z^{[2]}) \) 其中，\( W \) 表示权重矩阵，\( b \) 表示偏置向量，\( x \) 表示输入向量，\( \sigma \) 表示激活函数（本实验中使用的是sigmoid函数），\( a \) 表示加权输入后通过激活函数的输出。 ### 反向传播 反向传播是梯度下降算法的一部分，目的是最小化损失函数。它首先计算损失函数关于输出层激活的梯度，然后应用链式法则逐层向后计算梯度，最后使用这些梯度更新权重和偏置。对于上述神经网络，反向传播的步骤大致如下： 1. 计算损失函数关于输出层激活的梯度： - \( \delta^{[2]} = \nabla_{a^{[2]}} C \cdot \sigma'(z^{[2]}) \) 2. 计算损失函数关于隐藏层激活的梯度： - \( \delta^{[1]} = (\delta^{[2]} \cdot (W^{[2]})^T) \cdot \sigma'(z^{[1]}) \) 3. 更新权重和偏置： - \( W^{[2]} := W^{[2]} - \alpha \delta^{[2]} a^{[1]T} \) - \( b^{[2]} := b^{[2]} - \alpha \delta^{[2]} \) - \( W^{[1]} := W^{[1]} - \alpha \delta^{[1]} x^T \) - \( b^{[1]} := b^{[1]} - \alpha \delta^{[1]} \) 其中，\( \alpha \) 是学习率，\( C \) 是损失函数（本实验中使用的是交叉熵损失函数），\( \nabla_{a^{[2]}} C \) 是损失函数关于输出层激活的梯度，\( \delta \) 是误差项，\( \sigma' \) 是激活函数的导数。 ### 代码实现 在实验的代码实现部分，学生需要根据提供的代码模板实现前向传播和反向传播的函数。这包括初始化参数（权重和偏置），执行前向传播计算输出，然后根据计算得到的输出和真实标签计算损失，执行反向传播以更新参数。代码的输出结果截图部分要求学生将每次参数更新后的结果进行截图保存，以便验证算法的正确性和迭代的效果。 ### 实验要求 除了实现前向传播和反向传播算法外，实验还要求学生理解交叉熵损失函数的概念和重要性。交叉熵损失函数用于衡量模型的预测概率分布与真实概率分布之间的差异。在多分类问题中，对于每个样本，交叉熵损失函数可以表示为： \[ C = -\sum_{j=1}^{m} y_j \log(a^{[2]}_j) \] 其中，\( y \) 是真实标签的one-hot编码，\( a^{[2]} \) 是模型的输出概率，\( m \) 是类别的数量。 ### 结语 通过完成本次实验，学生不仅能够掌握前向传播和反向传播这两个深度学习的基本算法，而且能够加深对神经网络参数更新机制的理解，并且通过实践提高编程实现机器学习算法的能力。这对于未来进一步深入学习人工智能、神经网络设计与优化等课程具有重要的基础作用。