如何使用python从零实现knn算法

K-近邻(K-Nearest Neighbors, KNN)算法是一种基于实例的学习方法，用于分类和回归分析。在Python中，我们可以从基本的步骤开始实现它：

1. **数据预处理**：
- 导入所需库，如`numpy`, `pandas`。

   import numpy as np
   import pandas as pd

- 加载数据集，并将特征和标签分离出来。

2. **计算距离**：
- 定义一个函数来计算欧几里得距离或其他合适的度量，例如`euclidean_distance`。

   def euclidean_distance(x1, x2):
       return np.sqrt(np.sum((x1 - x2)**2))

3. **选择K值**：
- 用户需要提供K值，代表邻居的数量。

4. **预测新样本**：
- 对于给定的新样本，找出训练集中与其最近的K个邻居。
- 统计邻居的类别，如果多数类别的出现次数最多，则预测该类别。

5. **实现分类**：
- 如果是分类任务，可以使用最常见的类别作为预测结果。

   def knn_predict(X_train, y_train, test_point, k):
       distances = [euclidean_distance(test_point, train) for train in X_train]
       top_k_indices = np.argsort(distances)[:k]
       most_common_class = Counter(y_train[top_k_indices]).most_common(1)[0][0]
       return most_common_class

6. **评估模型**：
- 可以通过交叉验证的方式对模型进行评估。

完整示例代码：

def main():
    # ... (加载数据、分割特征标签)
    
    k = 3  # 例如选择3个最近邻
    test_point = np.array([some_new_value])  # 测试样本

    predicted_class = knn_predict(X_train, y_train, test_point, k)

    print(f"预测类别：{predicted_class}")

if __name__ == "__main__":
    main()