线性分类深入解析：SVM与Softmax对比

"CS231n课程笔记翻译：线性分类笔记（下） - 知乎专栏1" 这篇笔记主要介绍了线性分类器的深入概念，特别是支持向量机（SVM）和Softmax分类器。线性分类器是一种广泛应用于图像识别、自然语言处理等领域的机器学习模型，它们通过线性评分函数对数据进行分类。 线性评分函数是线性分类器的基础，它为每个类别分配一个评分，这些评分反映了输入数据属于相应类别的可能性。评分函数通常由权重矩阵和偏差向量决定，权重矩阵乘以输入特征加上偏差向量得到每个类别的评分。 为了优化模型，我们需要定义损失函数。在SVM中，常用的是折叶损失（Hinge Loss），它鼓励模型找到最大边距的决策边界。当预测正确时，损失为0，但当预测错误且分类间隔不足时，损失增加。SVM的目标是最大化正确分类样本的间隔，同时最小化损失。 另一方面，Softmax分类器是多分类任务中的逻辑回归扩展。与SVM不同，Softmax分类器的输出是经过归一化的概率分布，即每个类别的概率。其损失函数是交叉熵损失（Cross-Entropy Loss），这使得模型能够直接优化概率分布的拟合度。交叉熵损失衡量了模型预测概率分布与实际标签分布之间的差异，当模型预测完全正确时，损失为0。 在Softmax分类器中，评分向量通过softmax函数转换为概率分布，softmax函数确保了所有概率的和为1，且每个元素在0到1之间。交叉熵损失可以看作是模型预测概率分布与理想 delta 函数（即所有概率集中在正确类别上的分布）之间的相对熵的最小化，从而驱动模型更接近真实分布。 总结来说，SVM和Softmax分类器都是线性分类器，但它们的损失函数和输出形式有所不同。SVM侧重于找到最大间隔的决策边界，而Softmax分类器则直接优化概率分布的拟合度，更适合处理多分类问题。通过理解这两种模型，我们可以根据具体任务的需求选择合适的分类器。