理解SVM与LR：机器学习中的关键概念解析

"这篇文档包含了关于机器学习和深度学习的基础知识，特别提到了SVM（支持向量机）、TensorFlow的计算图概念、距离度量（欧氏距离和曼哈顿距离），以及逻辑回归（LR）的相关内容。此外，还讨论了LR与SVM之间的联系与区别，并提及了防止过拟合的技术，如dropout、正则化和batch normalization。" 在机器学习领域，SVM是一种强大的监督学习算法，主要用于分类和回归分析。它通过找到最大边界（最大间隔）的超平面来划分数据，使得不同类别的数据点尽可能地被这个超平面分开。SVM的一个关键特点是使用核函数，能够处理非线性可分的数据。 TensorFlow是一个广泛使用的深度学习框架，它基于计算图的概念。在TensorFlow中，计算过程被表示为一个由节点（代表操作）和边（代表数据流动）组成的有向图。这些节点在图形中定义了数据的操作顺序，而边则指示了数据的流动路径。计算图使得TensorFlow可以在多个设备上进行分布式计算，优化模型训练效率。 距离度量在机器学习中至关重要，特别是当我们在寻找最近邻时。欧氏距离是最常见的距离度量，适用于欧几里得空间，它是两点间直线距离。而曼哈顿距离，也称为L1距离，是在固定直角坐标系中，沿着坐标轴方向的距离总和。例如，在城市街道布局中，从一点到另一点的实际行走距离就是曼哈顿距离。 逻辑回归（LR）是另一种常用的分类方法，尤其适合二分类问题。它通过sigmoid函数将线性组合的输入映射到0到1之间，表示事件发生的概率。LR与最大熵模型（MaxEnt模型）密切相关，因为最大熵模型是在所有可能的概率分布中选择熵最大的那个，这在某些情况下等价于逻辑回归。相比于线性回归，LR具有更好的解释性和分类能力，因为它引入了非线性变换。 防止过拟合是训练模型时的重要考虑因素，过拟合发生在模型过度适应训练数据，导致在新数据上的表现不佳。为此，我们可以采用dropout技术随机忽略一部分神经元，正则化通过添加惩罚项来限制模型复杂度，而batch normalization则通过标准化层内特征，使模型更稳定，减少内部协变量漂移。 LR和SVM在处理分类问题上有共同之处，但也有本质区别。两者都能处理线性问题，但SVM通过找到最大间隔的决策边界，往往在高维空间中表现更好，而LR则更简单，易于理解和实现。在处理非线性问题时，SVM可以利用核技巧，而LR通常需要其他非线性变换。此外，SVM对于异常值不敏感，而LR可能会因个别离群点受到影响。