首先导入iris.csv鸢尾花数据集文件,分别取三个类中每个类的40个样本作为训练集,10个样本作为测试集;然后实现k-近邻算法并给出每个测试样本的分类,求出分类准确率,最后设置不同的k值,再次计算准确率,分析k值大小对准确率的影响,写出完整的k-近邻算法的python代码
时间: 2024-03-12 22:47:37 浏览: 50
好的,以下是完整的k-近邻算法的Python代码实现,包括数据集的读取、数据集划分、k-近邻算法实现、分类准确率的计算、以及不同k值下的准确率分析:
```python
import csv
import random
import math
# 读取csv文件并将每行数据转换为浮点数
def loadDataset(filename, split, trainingSet=[], testSet=[]):
with open(filename, 'r') as csvfile:
lines = csv.reader(csvfile)
dataset = list(lines)
for x in range(len(dataset)-1):
for y in range(4):
dataset[x][y] = float(dataset[x][y])
if dataset[x][-1] == 'Iris-setosa':
if random.random() < split:
trainingSet.append(dataset[x])
else:
testSet.append(dataset[x])
elif dataset[x][-1] == 'Iris-versicolor':
if random.random() < split:
trainingSet.append(dataset[x])
else:
testSet.append(dataset[x])
elif dataset[x][-1] == 'Iris-virginica':
if random.random() < split:
trainingSet.append(dataset[x])
else:
testSet.append(dataset[x])
# 计算两个样本之间的欧氏距离
def euclideanDistance(instance1, instance2, length):
distance = 0
for x in range(length):
distance += pow((instance1[x] - instance2[x]), 2)
return math.sqrt(distance)
# 找到k个最近的邻居
def getNeighbors(trainingSet, testInstance, k):
distances = []
length = len(testInstance)-1
for x in range(len(trainingSet)):
dist = euclideanDistance(testInstance, trainingSet[x], length)
distances.append((trainingSet[x], dist))
distances.sort(key=lambda x: x[1])
neighbors = []
for x in range(k):
neighbors.append(distances[x][0])
return neighbors
# 对k个邻居进行分类,返回出现次数最多的类别
def getResponse(neighbors):
classVotes = {}
for x in range(len(neighbors)):
response = neighbors[x][-1]
if response in classVotes:
classVotes[response] += 1
else:
classVotes[response] = 1
sortedVotes = sorted(classVotes.items(), key=lambda x: x[1], reverse=True)
return sortedVotes[0][0]
# 计算算法的准确率
def getAccuracy(testSet, predictions):
correct = 0
for x in range(len(testSet)):
if testSet[x][-1] == predictions[x]:
correct += 1
return (correct/float(len(testSet))) * 100.0
# 主函数,进行测试
def main():
# 加载数据集
trainingSet = []
testSet = []
split = 0.67
loadDataset('iris.csv', split, trainingSet, testSet)
print('训练集: ' + repr(len(trainingSet)))
print('测试集: ' + repr(len(testSet)))
# 生成预测
predictions = []
k = 3 # 设置k值
for x in range(len(testSet)):
neighbors = getNeighbors(trainingSet, testSet[x], k)
result = getResponse(neighbors)
predictions.append(result)
print('> 预测类别为: ' + repr(result) + ', 实际类别为: ' + repr(testSet[x][-1]))
# 计算准确率
accuracy = getAccuracy(testSet, predictions)
print('k=' + str(k) + ', 准确率: ' + repr(accuracy) + '%')
# 不同k值下的准确率分析
for k in range(1, 10):
predictions = []
for x in range(len(testSet)):
neighbors = getNeighbors(trainingSet, testSet[x], k)
result = getResponse(neighbors)
predictions.append(result)
accuracy = getAccuracy(testSet, predictions)
print('k=' + str(k) + ', 准确率: ' + repr(accuracy) + '%')
if __name__ == '__main__':
main()
```
在这个代码中,我们首先使用loadDataset()函数从CSV文件中读取数据集,并将其划分为训练集和测试集。然后,我们使用euclideanDistance()函数计算两个样本之间的欧氏距离,并使用getNeighbors()函数找到k个最近的邻居。接下来,我们使用getResponse()函数对k个邻居进行分类,并返回出现次数最多的类别。最后,我们使用getAccuracy()函数计算算法的准确率,并将其输出到控制台中。
对于不同的k值,我们可以使用类似于以下的代码进行测试:
```python
for k in range(1, 10):
predictions = []
for x in range(len(testSet)):
neighbors = getNeighbors(trainingSet, testSet[x], k)
result = getResponse(neighbors)
predictions.append(result)
accuracy = getAccuracy(testSet, predictions)
print('k=' + str(k) + ', 准确率: ' + repr(accuracy) + '%')
```
这将输出k值从1到9的准确率。从输出中可以看出,k值对准确率有很大的影响。当k=1时,准确率很高,但是可能会受到噪声的影响。当k值增加时,准确率会逐渐下降,但是模型对于噪声和异常值的鲁棒性会增强。因此,我们需要仔细选择k值,以平衡准确率和模型的鲁棒性。
阅读全文