从NumPy到PyTorch：实现两层神经网络

"这篇教程介绍了如何使用NumPy从头实现一个两层的全连接神经网络，包含ReLU激活函数，无偏置，并且用于预测任务，损失函数为Square Loss。然后，文章过渡到如何在PyTorch中实现相同的功能，探讨了从数值计算库到深度学习框架的转换过程。" 在这个简单的神经网络中，我们有以下关键概念： 1. **全连接层（Fully Connected Layers）**：每个神经元都与上一层的所有神经元相连，权重矩阵`w1`表示输入层到隐藏层的连接，而`w2`则表示隐藏层到输出层的连接。 2. **ReLU激活函数（Rectified Linear Unit）**：ReLU是神经网络中常用的非线性激活函数，它将负值替换为零，保留正值。在前向传播过程中，`hrelu`是`h`经过ReLU后的结果，确保了网络的非线性特性。 3. **无偏置（No Bias）**：这个模型中没有使用偏置项，这意味着每个神经元不具有常数输入，简化了网络结构。 4. **Square Loss（均方误差）**：作为损失函数，它衡量预测值`y^`与实际值`y`之间的差异，表达式为`(y^ - y)^2`。这是回归任务中常用的一种损失函数，因为它对所有误差具有相同的敏感度。 5. **前向传播（Forward Pass）**：在前向传播过程中，输入`x`通过乘以权重矩阵`w1`得到隐藏层的激活`h`，接着`h`通过ReLU函数转换为`hrelu`，最后再乘以权重`w2`得到预测输出`y^`。 6. **反向传播（Backward Pass）**：反向传播用于计算损失函数关于参数的梯度，这些梯度用于更新参数。计算包括`∂L/∂y^`，`∂L/∂ω2`和`∂L/∂hrelu`等，这些梯度是优化过程的关键部分，它们将用于梯度下降或类似的优化算法来更新权重。 7. **PyTorch实现**：虽然这里主要讨论了NumPy的实现，但PyTorch是一个流行的深度学习框架，可以更高效地处理这些计算，包括自动求导机制，这使得在PyTorch中实现相同网络变得更为简洁。 这个教程对于理解神经网络的基础工作原理很有帮助，同时展示了从基础的数值计算库到现代深度学习框架的转变。对于初学者来说，这是一个很好的起点，能够帮助他们理解深度学习模型的内部工作原理，并逐步过渡到更高级的框架如PyTorch。