实验二：BP神经网络的训练与测试-文荟俨

"本次实验是关于模式识别的，由文荟俨执行，主要涉及BP神经网络的训练与测试。实验目标包括实现3-3-4型BP神经网络，理解和掌握前向传播和反向传播算法，并对数据进行训练和预测。实验过程中，使用numpy库生成多元正态分布的数据，通过调整协方差矩阵、尺寸等参数。网络结构包括输入层、隐藏层和输出层，各层节点分别为3、3和4，激活函数采用了ReLU和softmax。在反向传播阶段，计算敏感度并更新权重。最后，通过softmax后的最大值索引来预测标签。实验还关注了学习因子对算法收敛性的影响。" 实验内容详细说明： 1. **数据生成**： 实验使用`np.random.multivariate_normal()`生成多元正态分布数据。其中，`mean`参数是分布的均值，`cov`参数是协方差矩阵，需确保对称且半正定。`size`参数决定了生成矩阵的维度，例如`size=(1,1,2)`会得到形状为1x1x2xN的矩阵，N为`mean`的长度。`check_valid`参数用于处理非半正定协方差矩阵的情况，可以设置为'warn'、'raise'或'ignore'，分别对应不同的处理策略。 2. **网络结构与前向传播**： 实验采用的网络结构是3-3-4型BP神经网络，即输入层有3个节点，隐藏层有3个节点，输出层有4个节点，每个层都包含偏置项。隐藏层激活函数为ReLU，输出层使用softmax函数，损失函数选用均方差。前向传播过程中，通过线性组合和激活函数计算网络的输出。 3. **反向传播**： 反向传播阶段，网络根据误差来调整权重。敏感度计算涉及输出层和隐藏层单元，通过链式法则计算误差的梯度，进而更新权重。这里，单元K的敏感度和隐单元的敏感度分别按特定公式计算。 4. **预测**： 预测阶段，通过计算softmax函数后的输出概率分布，选取概率最大的类别作为预测标签，这可以通过`np.argmax()`函数实现。 5. **学习因子与收敛性**： 实验还将探讨BP算法中的学习因子如何影响算法的收敛趋势和速度。学习因子通常决定权重更新的速度，过大可能导致震荡不收敛，过小则可能使收敛速度变慢。 通过这个实验，学生不仅能深入理解神经网络的工作原理，还能实践数据生成、模型训练和预测，以及参数调整对模型性能的影响，从而提升模式识别和机器学习的技能。