KNN与支持向量机的区别

KNN（K-Nearest Neighbors）和支持向量机（Support Vector Machine）是两种常见的机器学习算法，它们在分类和回归问题中都有广泛的应用。它们的区别主要体现在以下几个方面：

1. 原理：KNN是一种基于实例的学习方法，它通过计算样本之间的距离来进行分类。当需要对一个新样本进行分类时，KNN会找到与该样本最近的K个邻居，并根据这K个邻居的标签来决定该样本的类别。支持向量机是一种基于统计学习理论的分类器，它通过在特征空间中找到一个最优的超平面来进行分类，使得不同类别的样本尽可能地分开。

2. 训练时间：KNN是一种懒惰学习算法，它在训练阶段不进行任何计算，只是简单地将训练样本存储起来。而支持向量机是一种急切学习算法，它在训练阶段需要计算并优化一个目标函数，因此训练时间相对较长。

3. 决策边界：KNN的决策边界是非线性的，它可以适应各种复杂的数据分布。支持向量机的决策边界是线性的，但通过使用核函数可以将其扩展到非线性情况。

4. 参数选择：KNN的主要参数是K值，即选择多少个邻居进行投票决策。支持向量机的主要参数是核函数的选择和正则化参数的调节。

5. 鲁棒性：KNN对于噪声和异常值比较敏感，因为它的分类结果完全依赖于邻居的标签。支持向量机对于噪声和异常值相对较鲁棒，因为它的决策边界是由支持向量决定的。

下面是一个演示KNN和支持向量机的例子：

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.neighbors import KNeighborsClassifier
from sklearn.svm import SVC

# 加载鸢尾花数据集
iris = load_iris()
X = iris.data
y = iris.target

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 使用KNN进行分类
knn = KNeighborsClassifier()
knn.fit(X_train, y_train)
knn_score = knn.score(X_test, y_test)
print("KNN分类准确率：", knn_score)

# 使用支持向量机进行分类
svm = SVC()
svm.fit(X_train, y_train)
svm_score = svm.score(X_test, y_test)
print("支持向量机分类准确率：", svm_score)