基于python的手写数字识别knn_KNN分类算法实现手写数字识别
时间: 2023-10-19 09:08:54 浏览: 133
手写数字识别是机器学习中经典的问题之一,KNN(K-最近邻)算法是一种常用的分类算法。下面给出基于Python的手写数字识别KNN算法的实现过程。
1. 数据集准备
首先,我们需要一个手写数字的数据集。MNIST数据集是一个经典的手写数字数据集,可以从http://yann.lecun.com/exdb/mnist/下载。下载后,将数据集解压缩到本地文件夹中。
2. 数据预处理
将数据集中的图片转换成向量形式,以便于计算机处理。这里我们将每张图片转换成一个784维的向量(28*28像素),并将像素值归一化到[0,1]范围内。
```python
import os
import struct
import numpy as np
def load_mnist(path, kind='train'):
labels_path = os.path.join(path, '%s-labels-idx1-ubyte' % kind)
images_path = os.path.join(path, '%s-images-idx3-ubyte' % kind)
with open(labels_path, 'rb') as lbpath:
magic, n = struct.unpack('>II', lbpath.read(8))
labels = np.fromfile(lbpath, dtype=np.uint8)
with open(images_path, 'rb') as imgpath:
magic, num, rows, cols = struct.unpack('>IIII', imgpath.read(16))
images = np.fromfile(imgpath, dtype=np.uint8).reshape(len(labels), 784)
return images, labels
X_train, y_train = load_mnist('mnist/', kind='train')
X_test, y_test = load_mnist('mnist/', kind='t10k')
# 数据归一化
X_train = X_train / 255.0
X_test = X_test / 255.0
```
3. KNN算法实现
KNN算法的基本思路是:对于一个未知样本,计算它与训练集中每个样本的距离,选择距离最近的K个样本,将它们的标签作为预测结果。
```python
from collections import Counter
def knn(X_train, y_train, X_test, k):
pred_labels = []
for i in range(len(X_test)):
# 计算测试样本与训练集样本的距离
distances = np.sqrt(np.sum((X_train - X_test[i])**2, axis=1))
# 选择距离最近的K个样本
nearest = np.argsort(distances)[:k]
# 统计K个样本的标签
counter = Counter(y_train[nearest])
# 将出现次数最多的标签作为预测结果
pred_labels.append(counter.most_common(1)[0][0])
return pred_labels
```
4. 测试效果
将KNN算法应用到手写数字识别问题上,测试其效果。
```python
pred_labels = knn(X_train, y_train, X_test[:100], 5)
accuracy = np.sum(pred_labels == y_test[:100]) / len(y_test[:100])
print('Accuracy:', accuracy)
```
输出结果如下:
```
Accuracy: 0.97
```
可以看出,KNN算法在手写数字识别问题上的表现还是比较不错的。