KNN算法理论代码例子

下面是使用Python实现KNN算法的代码示例：

import numpy as np

def euclidean_distance(x1, x2):
    """
    计算两个向量之间的欧氏距离
    """
    return np.sqrt(np.sum((x1 - x2)**2))

class KNN:
    def __init__(self, k=3):
        self.k = k

    def fit(self, X, y):
        self.X_train = X
        self.y_train = y

    def predict(self, X):
        y_pred = [self._predict(x) for x in X]
        return np.array(y_pred)

    def _predict(self, x):
        # 计算输入样本与所有训练样本之间的距离
        distances = [euclidean_distance(x, x_train) for x_train in self.X_train]
        # 选取距离最近的k个样本
        k_indices = np.argsort(distances)[:self.k]
        # 根据这k个样本的类别来预测输入样本的类别
        k_nearest_labels = [self.y_train[i] for i in k_indices]
        # 进行投票，选择出现最多的类别作为预测结果
        most_common = Counter(k_nearest_labels).most_common(1)
        return most_common[0][0]

上述代码实现了一个简单的KNN分类器，其中`fit`方法用于训练模型，`predict`方法用于预测新的输入样本的类别，`_predict`方法用于预测单个输入样本的类别。其中，计算欧氏距离的函数`euclidean_distance`可以使用NumPy库提供的函数进行优化。