几种常见模式识别算法整理和总结
1. K-Nearest Neighbor：
可以说是一种最直接的用来分类未知数据的方法。基本通过下面这张图跟文字说明
就可以明白 是干什么的：
简单来说， 可以看成：有那么一堆你已经知道分类的数据，然后当一个新数据进入
的时候，就开始跟训练数据里的每个点求距离，然后挑离这个训练数据最近的 个点看看
这几个点属于什么类型，然后用少数服从多数的原则，给新数据归类。实际上 本身
的运算量是相当大的，因为数据的维数往往不止 维，而且训练数据库越大，所求的样本
间距离就越多。就拿我们 的人脸检测来说，输入向量的维数是 维
的图，当然我觉得这种方法比较 ，训练数据有上千个，所以每次求距离这里
用的是欧式距离，就是我们最常用的平方和开根号求距法这样每个点的归类都要花上上
百万次的计算。所以现在比较常用的一种方法就是 。也就是把整个输入空间划分成
很多很多小子区域，然后根据临近的原则把它们组织为树形结构。然后搜索最近 个点的
时候就不用全盘比较而只要比较临近几个子区域的训练数据就行了。 的一个比较好
的课件可以见下面链接：
!"" # !$" !$" %!
当然， 有一个问题就是当输入维数跟训练数据数量很接近时就很难优化了。所以用
&'(稍后会介绍降维大多数情况下是很有必要的
2. Bayes Classifier
贝叶斯方法一篇比较科普的中文介绍可以见 #$" 的平凡而神奇的贝叶斯方法)
* " +,*"#"$"" *，实际实现一个贝叶斯分类器之
后再回头看这篇文章，感觉就很不一样。
在模式识别的实际应用中，贝叶斯方法绝非就是 正比于 - 这个公式这么
简单，一般而言我们都会用正态分布拟合 来实现。
评论0