吴恩达神经网络基础：从Logistic回归到梯度下降

"这篇文档是吴恩达教授关于深度学习的第一课内容，主要涉及神经网络的基础知识，包括正向传播和反向传播过程，以及Logistic回归在二分类问题中的应用。" 在深度学习中，神经网络是核心组成部分，它通过模拟人脑神经元的工作方式来处理和学习数据。正向传播是神经网络的第一步，它涉及到输入数据通过多层神经元的计算，逐层传递，最终得到输出结果。反向传播则是优化网络权重的过程，通过计算损失函数的梯度来更新网络参数，以减小预测误差。 Logistic回归是一种二分类算法，它通过sigmoid函数将线性组合的权重和偏置转换为0到1之间的概率值。在图像识别场景中，计算机存储一张图片时，通常会为红、绿、蓝三个颜色通道分别保存矩阵，每个像素点有三个亮度值。这些值被组织成特征向量x，用于输入到模型中。特征向量通常以列向量的形式构建，方便矩阵运算。 在二分类问题中，目标是训练一个模型，输入是图片的特征向量，输出是0或1，指示图片中是否存在特定对象。训练集由多个样本（x, y）组成，其中x是特征向量，y是对应的类别标签。用Python的numpy库可以构建包含所有训练样本特征的矩阵X，其形状为(n_x, m)，n_x表示特征维度，m表示样本数量。同样，我们可以创建一个1*m的矩阵Y来存储所有标签。 预测输出y的计算通常通过线性函数y = w^T * x + b进行，但为了适应二分类问题，我们会使用sigmoid函数对其进行非线性变换，即y = sigmoid(w^T * x + b)。sigmoid函数提供了一个平滑的、介于0和1之间的输出，更适合作为概率估计。 损失函数L是衡量单个样本预测精度的指标，对于二分类问题，一般使用交叉熵损失。如果实际标签y为0，理想情况下预测值y_hat应接近0，损失最小；反之，如果y为1，y_hat应接近1以使损失最小。总体的成本函数（或称为代价函数）是所有样本损失函数的平均值，用于全局评估模型性能。 优化模型参数通常采用梯度下降法，这是一个迭代过程，每次迭代更新权重W，更新公式为 W = W - α * (dJ(W)/dW)，其中α是学习率，控制每次更新的步长，dJ(W)/dW是成本函数关于W的梯度，表示参数W的改变方向。通过不断调整权重，模型逐渐收敛到最优状态，提高预测准确性。