基于python实现KNN分类算法_knn文本分类算法python - CSDN文库

169 浏览量更新于2023-05-11 评论 1 收藏 57KB PDF 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

资源详情

资源评论

资源推荐

基于基于python实现实现KNN分类算法分类算法

主要为大家详细介绍了基于python实现KNN分类算法，具有一定的参考价值，感兴趣的小伙伴们可以参考一下

kNN算法的核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类

别，并具有这个类别上样本的特性。该方法在确定分类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的

类别。 kNN方法在类别决策时，只与极少量的相邻样本有关。由于kNN方法主要靠周围有限的邻近的样本，而不是靠判别类

域的方法来确定所属类别的，因此对于类域的交叉或重叠较多的待分样本集来说，kNN方法较其他方法更为适合。

通俗简单的说，就是将这个样本进行分类，怎么分类，就是用该样本的特征与空间中其他样本做计算距离，当出现大多数距离

偏向于某个样本类时，我们认为该样本属于这个类别。

举例说明：淘宝商品是按类进行售卖的，对于零食类商品a,b,c，价格与销量分别对应（19，1000），（89，500），

（9.9，3000）对与电器类商品d,e,f，价格与销量分别为（1000，10），（499，30），（999，100），对于一个未知的产品

（300，80），我们使用kNN算法进行求解，我们假设k=3（k的值要时情况而定，没有确定的）,分别求出未知产品到这六个

点的欧式距离，即：sqrt((x1-y1)**2+(x2-y2)**2)计算出结果进行倒序排序，我们得出前三的点分别为：e,b,f。所以我们认为未

知产品是电器类产品，当然实际生活中不能仅仅有价格，销量这两个二维数据，可能是n维数据，欧式距离的公式也是一样

的，现实中也不仅仅有这两个分类，kNN提供了一种简单的解决思路。其中a,b,c,d,e,f称为训练数据，未知数据称为测试数

据。

还有在进行计算时有时需要格式化一下数据，例如对于c产品与未知产品，明显计算销量所产生的数据要远大于价格，为了减

小这个带来的误差，可以使用以下：

参考链接

def normData(dataSet):

maxVals = dataSet.max(axis=0)#按列获取最大值，并返回数组

minVals = dataSet.min(axis=0)

ranges = maxVals - minVals

retData = (dataSet - minVals) / ranges

return retData, ranges, minVals

代码

#！／user/bin/env python

#-*- coding:utf-8 -*-

import numpy as np

import operator as opt

def normData(dataSet):#标准化训练集数据

maxVals = dataSet.max(axis=0)

minVals = dataSet.min(axis=0)

ranges = maxVals - minVals

retData = (dataSet - minVals) / ranges

return retData, ranges, minVals

def kNN(dataSet, labels, testData, k):

distSquareMat = (dataSet - testData) ** 2 # 计算差值的平方

distSquareSums = distSquareMat.sum(axis=1) # 求每一行的差值平方和，axis=0则按列计算

distances = distSquareSums ** 0.5 # 开根号，得出每个样本到测试点的距离

sortedIndices = distances.argsort() # 排序，得到排序后的下标

indices = sortedIndices[:k] # 取最小的k个

labelCount = {} # 存储每个label的出现次数，出现次数最多的就是我们要选择的类别

for i in indices:

label = labels[i]

labelCount[label] = labelCount.get(label, 0) + 1 # 次数加一，使用字典的get方法，第一次出现时默认值是0

sortedCount = sorted(labelCount.items(), key=opt.itemgetter(1), reverse=True) # 对label出现的次数从大到小进行排序

return sortedCount[0][0] # 返回出现次数最大的label

if __name__ == "__main__":#测试程序

dataSet = np.array([[2, 3], [6, 8]])#训练集

normDataSet, ranges, minVals = normData(dataSet)

labels = ['a', 'b']#训练集分别为a和b类

testData = np.array([3.9, 5.5])#测试数据

normTestData = (testData - minVals) / ranges#同样需要将测试数据标准化

result = kNN(normDataSet, labels, normTestData, 1)#k=1

print(result)

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持我们。

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余0页未读，立即下载

评论0

weixin_38526225

粉丝: 5
资源: 956

会员权益专享

图片转文字

全年可省5，000元立即开通

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈