3-3-4型BP神经网络训练与测试实现

"HIT19S103256文荟俨1 - 实现3-3-4型BP神经网络，使用Softmax输出，训练4类三维数据，比较后验概率，计算识别率。" 在本次实验中，重点涉及了人工神经网络中的反向传播（Backpropagation, BP）算法，以及训练和测试神经网络的基本流程。实验的目标是通过编程实现一个3-3-4结构的BP神经网络，即输入层有3个节点，隐藏层有3个节点，输出层有4个节点。以下是实验的详细步骤和关键知识点： 1. **数据生成**：生成4000个训练样本，每类1000个，共4类。这些样本服从高斯分布，采用`np.random.multivariate_normal()`方法生成，具有三维特征。数据被分为训练集（80%）和测试集（20%），以4:1的比例。 2. **网络结构定义**：网络采用带偏置项的BP结构，隐藏层使用ReLU激活函数，输出层使用Softmax函数，确保输出是概率分布。损失函数选用均方误差（Mean Squared Error, MSE），计算输出层与目标向量的差距。 - 输入层：接受三维输入。 - 隐藏层：3个节点，使用ReLU激活，其函数形式为`f(x) = max(0, x)`，在负区间为0，正区间线性增长，有助于避免梯度消失问题。 - 输出层：4个节点，使用Softmax函数，将每个节点的激活值转换为概率，确保所有节点值之和为1。 3. **前向传播**：输入向量经过输入层，其每个单元的输出等于输入向量对应元素。隐藏层每个节点的净激活值是输入信号与权重的加权和。激活值计算公式为`net = w1*x1 + w2*x2 + w3*x3 + bias`，其中`w`是权重，`x`是输入，`bias`是偏置。 4. **反向传播**：计算输出层的误差，并根据梯度下降法更新权重。误差反向传播到隐藏层，再次计算隐藏层的误差，并更新隐藏层的权重。这个过程反复进行，直到权重收敛或达到预设的训练迭代次数。 5. **训练算法**：通过不断调整权重和偏置，使得网络的预测输出逐渐接近目标输出，从而最小化损失函数。常用的学习算法有随机梯度下降（Stochastic Gradient Descent, SGD）、批量梯度下降（Batch Gradient Descent,BGD）和小批量梯度下降（Mini-Batch Gradient Descent）。 6. **样本预测**：训练完成后，使用训练好的网络对测试集进行预测，计算预测的后验概率。同时，利用贝叶斯公式计算理论上的置信度，对比两者以评估网络性能。 7. **识别率计算**：生成一组测试样本集，通过网络进行预测，然后与真实类别比较，计算识别正确样本的比例，即为识别率。 这个实验不仅涵盖了神经网络的基本构建，还包括了数据预处理、模型训练、性能评估等多个关键环节，是理解深度学习和BP神经网络原理的实践案例。