对 KNN 算法的改进（改变 K 值，距离值，加权投票值）
一、 算法概述
最简单最初级的分类器是将全部的训练数据所对应的类别都记录下来，当
测试对象的属性和某个训练对象的属性完全匹配时，便可以对其进行分类。但
是怎么可能所有测试对象都会找到与之完全匹配的训练对象呢，其次就是存在
一个测试对象同时与多个训练对象匹配，导致一个训练对象被分到了多个类的
问题，基于这些问题呢，就产生了 KNN。
kNN 算法又称为 k 近邻分类。KNN 是通过测量不同特征值之间的距离进行
分类。它的的思路是：如果一个样本在特征空间中的 k 个最相似(即特征空间中
最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。K 通常
是不大于 20 的整数。KNN 算法中，所选择的邻居都是已经正确分类的对象。
该方法在定类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本
所属的类别。
该算法涉及 3 个主要因素：训练集、距离或相似的衡量、k 的大小。因此，
对该算法进行改进时，可以通过改变 K 值，距离值，加权投票值来进行改进。
二、 算法要点以及改进要点
通过一个简单的例子说明一下：如下图，绿色圆要被决定赋予哪个类，是
红色三角形还是蓝色四方形？如果 K=3，由于红色三角形所占比例为 2/3，绿
评论0