吴恩达机器学习课程第三周小测：浅层神经网络与激活函数

"吴恩达机器学习第三周Quiz小测验主要涵盖了浅层神经网络的相关知识，包括神经网络的激活向量、激活函数以及前向传播的向量化实现等核心概念。" 在机器学习领域，尤其是深度学习中，吴恩达是一位知名的大师，他的课程深入浅出地讲解了各种机器学习算法，包括神经网络。这份小测验的重点在于第三周的内容，主要涉及浅层神经网络的基础知识。 1. 第一个问题讨论了神经网络中的一些关键术语： - 激活向量（activation vector）指的是神经网络中某一层的所有神经元激活值的集合。 - 训练样例矩阵（matrix with each row as one training example）表示数据集中每个样本的特征表示，每一行对应一个训练样本。 - 训练样例列矩阵（matrix with each column as one training example）可能是指转置后的训练样例矩阵，每一列代表一个特征在所有样本上的值。 - 层的激活向量对于第i个训练样例（activation vector of the layer on the i-th training example）是针对特定训练样本的某一层神经元的激活值。 - 单个神经元的激活输出（activation output by the j-th neuron of the k-th layer）指的是神经网络中特定层的特定神经元的输出。 - 层的激活输出对于第i个训练样例（activation output of the k-th layer for the i-th training example）是指整个k层在处理第i个训练样本时的输出。 2. 第二个问题涉及激活函数的比较： - tanh激活函数通常优于sigmoid激活函数用作隐藏层，因为tanh的输出均值接近于0，这有助于更好地中心化数据，以便于下一层处理。因此，答案是“True”。 3. 第三个问题测试了前向传播的向量化表示： - 前向传播是神经网络中计算输出的过程，涉及权重矩阵W、激活向量A和偏置项b。正确的向量化实现应该是`Z[l] = W[l] * A[l] + b[l]`，其中l表示层的索引，1≤l≤L，Z[l]是l层的线性组合，W[l]是l层的权重矩阵，A[l]是l-1层的激活向量，b[l]是l层的偏置项。 4. 第四个问题与二分类问题有关： - 在构建区分黄瓜（y=1）和西瓜（y=0）的二分类器时，模型的目标是学习如何正确区分这两种类别。具体选择哪种策略或指标未在问题中给出，但通常涉及损失函数（如交叉熵损失）的选择和模型性能评估（如准确率、精确率、召回率和F1分数）。 这些问题是机器学习初学者理解和掌握神经网络基本概念的重要练习，通过解决这些问题，可以加深对神经网络内部运作的理解，为进一步学习深度学习打下坚实基础。