k-NN算法详解：基于距离的分类与回归基础

机器学习02--K近邻算法 K近邻算法（k-Nearest Neighbor，简称k-NN）是一种基础的监督学习方法，最初由Cover T和Hart P在1967年提出，适用于分类和回归问题。其核心思想是基于实例的学习，通过分析训练样本集中已有的标记数据，对新的未标记数据进行预测。在k-NN方法中，关键参数k代表了“近邻”的数量，通常取值较小，如1到20，用来确定与新数据最相似的邻居。 算法的工作流程如下： 1. 数据集与标签：k-NN依赖于一个已标记的训练样本集，其中每个样本都有对应的特征向量和类别标签。这些标签指示了每个样本所属的类别。 2. 预测过程：当面临一个新的未标记数据时，首先计算其与训练集中所有样本的特征距离，通常是欧氏距离或其他合适的度量方式。接着，选取k个与新数据最相似的训练样本（最近邻）。 3. 决策规则：对于分类问题，k个最近邻中出现次数最多的类别被赋予给新数据；对于回归问题，则通常取这k个邻居的均值作为预测值。 以电影分类为例，我们可以看到一个具体的k-NN应用。例如，通过分析电影的打斗镜头数和接吻镜头数，算法会找出距离给定电影（例如，打斗镜头49，接吻镜头51）最近的k个电影，如动作片（108,5）等。如果k=3，通过计算这些电影的类别频率，算法最终决定新电影的类别。 实现步骤： - 计算新数据与训练集中所有点的距离。 - 将这些距离排序，选择k个最近的点。 - 统计这k个点中各类别的出现次数。 - 根据各类别的频率，确定新数据的分类。 在Python中，可以使用`numpy`库来创建数据集并实现k-NN算法。`createDataSet()`函数用于生成四组二维特征数据集，以及相应的分类标签。 k-NN算法是一种直观且易于理解的方法，但它可能在大数据集上运行效率较低，因为它在预测时需要遍历整个训练集。然而，由于其简单易用，对于小型或简单问题，k-NN仍是一个强大的工具。