Python实现简单神经网络：从构建到训练

本篇文章主要介绍了如何使用Python实现一个简单的神经网络来解决2维输入向量映射到二进制输出的问题。神经网络结构包括2个输入神经元、6个隐藏神经元的隐藏层和1个输出神经元。网络的结构通过权重矩阵来表示，其中输入层与隐藏层之间的权重矩阵称为Wh，隐藏层与输出层之间的权重矩阵称为Wo。每个神经元还配备了一个大小为1的偏置量。 文章的核心内容集中在以下几个方面： 1. **矩阵维度**: - 训练集 X 为 (750, 2)，表示750个样本每样本包含2个特征。 - 目标 Y 为 (750, 1)，单类别问题下的输出。 - Wh 权重矩阵为 (2, 6)，对应于输入层到隐藏层的权重。 - bh 偏置向量为 (1, 6)，隐藏层的偏置。 - Wo 权重矩阵为 (6, 1)，隐藏层到输出层的权重。 - bo 偏置向量为 (1, 1)，输出层的偏置。 2. **损失函数**: 使用的是分类交叉熵函数，与Logistic回归类似，用于多类别分类任务。在训练过程中，通过比较网络的预测输出和实际目标来衡量误差。 3. **训练过程**: - **初始化参数**：设置初始权重和偏置值。 - **梯度下降法**：重复进行前向传播和反向传播，计算并更新参数，直至达到收敛条件。 - **前向传播**：使用矩阵运算计算所有神经元的激活值和输出值。 - **反向传播**：计算各参数对损失函数的偏导数，这是优化过程的关键部分，涉及到链式法则的应用。 4. **代码示例**: 提供了导入必要的库（如numpy和pandas）后，作者展示了如何通过Python实现神经网络的前向传播和权重更新的部分代码片段。 这篇文章提供了构建和训练一个简单神经网络的基础框架，重点在于理解权重矩阵、损失函数以及使用梯度下降方法进行参数更新的过程。对于初学者来说，这是一个很好的实践神经网络基本概念的教程。