机器学习中的距离与相似度度量：从欧式到马氏

"该资源是一个关于机器学习中距离和相似度度量方法的PPT，由丁少兵制作。内容涵盖了各种距离计算方法，如欧式距离、马氏距离、曼哈顿距离、切比雪夫距离，以及闵可夫斯基距离的概念和应用场景。此外，还介绍了几种相似度表示，如余弦相似度、互信息，并提到了迁移学习中的最大均值差异（MMD）和多核最大均值差异（MK-MMD）。同时，还提及了汉明距离及其在信息编码中的应用。" 在机器学习中，理解和选择正确的距离或相似度度量方法至关重要，因为它们是许多算法，如聚类、分类和回归的基础。以下是这些度量方法的详细说明： 1. **欧式距离**：是最常见的距离度量，适用于欧几里得空间，计算两个点之间的直线距离。在二维或三维空间中直观易懂，但在高维空间中可能会导致“维数灾难”。 2. **马氏距离**：考虑了数据的协方差结构，能够解决不同特征尺度和分布问题。当协方差矩阵为单位矩阵时，马氏距离退化为欧式距离。 3. **曼哈顿距离**（城市街区距离）：适用于城市网格布局的情况，是各坐标轴上绝对差的总和。在某些情况下，它可能比欧式距离更能反映实际距离。 4. **切比雪夫距离**：取各坐标轴差值的最大值，对极端值敏感，但忽略了其他维度的信息。 5. **闵可夫斯基距离**：是一个通用的距离公式，通过调整参数p可以得到不同的距离类型，如曼哈顿距离（p=1）和欧式距离（p=2）。 6. **余弦相似度**：用于衡量两个非零向量之间的角度，常用于文本分析，因为它可以捕捉词向量之间的关系，而不考虑它们的大小。 7. **互信息**：是一种衡量两个变量之间依赖程度的统计量，常用于特征选择和信息传输。 8. **最大均值差异（MMD）**：在迁移学习中，用于评估源和目标域之间的差异，通过比较两组数据的均值分布来度量。 9. **多核最大均值差异（MK-MMD）**：是MMD的一种扩展，通过引入多核函数，可以更好地适应复杂的数据分布。 10. **汉明距离**：用于衡量字符串之间的差异，常用于错误检测和纠错编码，计算两个等长字符串不同位置的字符数量。 选择合适的度量方法取决于数据的特性和问题的上下文。例如，对于具有不同尺度的特征，可能需要使用马氏距离；对于文本数据，余弦相似度可能是更好的选择。理解这些概念并能灵活应用是机器学习实践中的关键技能。