机器学习考试练习：感知器与支持向量机对比解析

"机器学习期末测试练习题3.pdf" 这篇资料包含了多个关于机器学习的测试题目，涵盖了不同的概念和技术，包括感知器与支持向量机的对比、过拟合的理解、学习率衰减策略、激活函数的选择以及神经网络权重初始化的影响。 1. 感知器算法与支持向量机(SVM)的区别： - A选项正确地指出SVM通过寻找最大化间隔的超平面来优化分类效果，而感知器算法则寻找任意可以分离两类样本的超平面。SVM通常能提供更好的泛化能力。 - B选项说明了SVM是解决全局优化问题，这是正确的，因为它试图找到最优的决策边界。 - C选项表述有误，因为感知器算法通常比SVM计算资源消耗少，尤其是在大型数据集上，而SVM可能需要更多的计算资源。 - D选项因C选项的错误而不正确。 2. 过拟合与数据量和假设空间的关系： - A选项正确，数据量较少时更容易发生过拟合，因为模型可能过度适应有限的训练数据，导致在新数据上的表现不佳。 - B选项错误，假设空间较小通常有助于减少过拟合，因为它限制了模型复杂度，使其更难以捕获噪声。 3. 学习率衰减方法： - A和B选项是常见的衰减策略，它们分别是以指数和平方根衰减学习率，有助于在训练过程中逐渐减小学习速率。 - C选项是指数衰减，也是一种常用策略，初始学习率乘以0.95的t次方。 - D选项的学习率衰减是指数增长，这将导致学习率快速增大，不利于训练稳定，故不是好的衰减方法。 4. 二元分类器激活函数选择： - C选项sigmoid函数适合二元分类问题，其输出范围在(0,1)之间，可以直接解释为概率。 - A选项ReLU、B选项tanh和D选项LeakyReLU通常用于多层神经网络的隐藏层，而不是二分类的输出层。 5. 神经网络权重初始化为零的影响： - B选项正确，所有权重初始化为零意味着在初始阶段，每个神经元将执行相同的计算，因为输入到每个神经元的信号是相同的。这会导致所有神经元在前向传播中产生相同的激活值，从而在反向传播时，梯度也会相同，削弱了神经网络的并行性和学习能力。 6. 权重初始化为大值的影响： - B选项正确，较大的权重初始化可能导致tanh激活函数的输入值过大，使得梯度也变得很大。为了保持训练的稳定性，需要降低学习率，这将减慢模型参数的更新速度。 - A选项错误，权重大小确实会影响梯度下降过程。 - C选项表述不准确，所有神经元在初始化后会有相同的行为，但不同层的神经元不会计算相同的结果，除非权重初始化在所有层都是相同的。 - D选项不正确，因为权重初始化为大值会导致所有神经元在初始迭代中执行相同计算，而非不同的计算。 这些题目展示了机器学习中基础概念的重要性，如模型选择、训练策略和优化方法，以及如何理解这些概念对实际模型性能的影响。