sklearn 为 SVC 提供了哪几种核函数？观察各种核函数里的λ，有什么作用？

sklearn中提供了四种核函数，分别是：

1. 线性核函数（linear）：K(x, y) = x * y，最简单的核函数，只有一个 λ 参数，可以用于线性可分的情况。

2. 多项式核函数（poly）：K(x, y) = (γ * x * y + r)^d，其中 γ 和 r 是 λ 参数，d 是多项式的次数。这个核函数可以处理非线性的决策边界，但是需要调整的参数较多。

3. RBF核函数（rbf）：K(x, y) = exp(-γ ||x-y||^2)，其中 γ 是 λ 参数，||x-y||^2 是欧几里得距离的平方。这个核函数可以处理非线性的决策边界，且只有一个调整的参数，因此应用最广泛。

4. Sigmoid核函数（sigmoid）：K(x, y) = tanh(γ x * y + r)，其中 γ 和 r 是 λ 参数。这个核函数可以处理非线性的决策边界，但是要求数据缩放到某个范围内。

在这些核函数中，λ 参数对于模型的复杂度和泛化能力有很大影响。λ 参数越大，模型的复杂度越高，越容易过拟合；λ 参数越小，模型的复杂度越低，越容易欠拟合。因此，需要通过交叉验证等方法来调整 λ 参数，使得模型具有最好的泛化性能。

相关问题

sklearn 为 SVC 提供了哪几种核函数？观察 各种核函数里的λ，有什么作用？ 分别用上述几种核函数、每种核函数选取 3 个以上的λ，进行鸢尾花数据集分类决策，并绘制出决策区 域

sklearn为SVC提供了四种核函数：线性核函数（linear）、多项式核函数（poly）、径向基函数核（rbf）、sigmoid核函数（sigmoid）。

在SVM分类中，λ（也称为gamma）表示核函数的宽度参数，控制着支持向量的影响范围。λ越大，支持向量的影响范围就越小，决策边界越复杂，模型越容易过拟合；λ越小，支持向量的影响范围就越大，决策边界越平滑，模型越容易欠拟合。

下面是使用四种核函数进行鸢尾花数据集分类决策的代码和结果展示：

import numpy as np
import matplotlib.pyplot as plt
from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.svm import SVC

# 加载数据集
iris = datasets.load_iris()
X = iris.data[:, :2]
y = iris.target

# 将数据集分为训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 定义函数绘制决策区域
def plot_decision_region(X, y, classifier, title, xlabel, ylabel, target_names):
    x_min, x_max = X[:, 0].min() - 0.1, X[:, 0].max() + 0.1
    y_min, y_max = X[:, 1].min() - 0.1, X[:, 1].max() + 0.1
    xx, yy = np.meshgrid(np.arange(x_min, x_max, 0.01), np.arange(y_min, y_max, 0.01))
    Z = classifier.predict(np.c_[xx.ravel(), yy.ravel()])
    Z = Z.reshape(xx.shape)
    plt.contourf(xx, yy, Z, alpha=0.8)
    plt.scatter(X[:, 0], X[:, 1], c=y, cmap=plt.cm.RdYlBu, edgecolors='black')
    plt.xlabel(xlabel)
    plt.ylabel(ylabel)
    plt.title(title)
    plt.colorbar()
    plt.legend(target_names)
    plt.show()

# 使用线性核函数进行分类决策
for gamma in [0.1, 1, 10]:
    svc = SVC(kernel='linear', gamma=gamma)
    svc.fit(X_train, y_train)
    plot_decision_region(X_test, y_test, svc, f"SVC with linear kernel and gamma={gamma}", "sepal length", "sepal width", iris.target_names)

# 使用多项式核函数进行分类决策
for gamma in [0.1, 1, 10]:
    for degree in [2, 3, 4]:
        svc = SVC(kernel='poly', gamma=gamma, degree=degree)
        svc.fit(X_train, y_train)
        plot_decision_region(X_test, y_test, svc, f"SVC with polynomial kernel and gamma={gamma} and degree={degree}", "sepal length", "sepal width", iris.target_names)

# 使用径向基函数核进行分类决策
for gamma in [0.1, 1, 10]:
    svc = SVC(kernel='rbf', gamma=gamma)
    svc.fit(X_train, y_train)
    plot_decision_region(X_test, y_test, svc, f"SVC with rbf kernel and gamma={gamma}", "sepal length", "sepal width", iris.target_names)

# 使用sigmoid核函数进行分类决策
for gamma in [0.1, 1, 10]:
    svc = SVC(kernel='sigmoid', gamma=gamma)
    svc.fit(X_train, y_train)
    plot_decision_region(X_test, y_test, svc, f"SVC with sigmoid kernel and gamma={gamma}", "sepal length", "sepal width", iris.target_names)

使用线性核函数进行分类决策：


使用多项式核函数进行分类决策：


使用径向基函数核进行分类决策：


使用sigmoid核函数进行分类决策：


sklearn 为 SVC 提供了哪几种核函数?分别用上述几种核函数、每种核函数选取 3 个以上的λ，对鸢尾花数据集进行分类决策，并绘制出决策区域。

sklearn提供了以下几种核函数:

1. linear（线性核函数）
2. poly（多项式核函数）
3. rbf（径向基核函数）
4. sigmoid（Sigmoid核函数）
5. precomputed（预计算核函数）

以下是使用这些核函数对鸢尾花数据集进行分类决策并绘制出决策区域的示例代码：

from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.svm import SVC
import matplotlib.pyplot as plt
import numpy as np

# 加载鸢尾花数据集
iris = datasets.load_iris()
X = iris.data[:, :2]  # 只选取前两个特征作为示例
y = iris.target

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 定义 lambda 值
lambdas = [0.1, 1, 10]

# 定义核函数和参数
kernels = ['linear', 'poly', 'rbf', 'sigmoid']
params = {'linear': {'C': 1},
          'poly': {'C': 1, 'degree': 3},
          'rbf': {'C': 1, 'gamma': 'scale'},
          'sigmoid': {'C': 1, 'gamma': 'scale'}}

# 绘制决策区域
h = 0.02  # 步长
x_min, x_max = X[:, 0].min() - 1, X[:, 0].max() + 1
y_min, y_max = X[:, 1].min() - 1, X[:, 1].max() + 1
xx, yy = np.meshgrid(np.arange(x_min, x_max, h), np.arange(y_min, y_max, h))

for kernel in kernels:
    for lambda_val in lambdas:
        # 训练模型
        clf = SVC(kernel=kernel, C=lambda_val, **params[kernel])
        clf.fit(X_train, y_train)

        # 绘制决策区域
        Z = clf.predict(np.c_[xx.ravel(), yy.ravel()])
        Z = Z.reshape(xx.shape)
        plt.contourf(xx, yy, Z, alpha=0.4)
        plt.scatter(X[:, 0], X[:, 1], c=y, alpha=0.8)

        # 设置图标题
        plt.title('kernel={}, lambda={}'.format(kernel, lambda_val))
        plt.show()

运行结果会生成四个图像，分别对应不同的核函数和 lambda 值。每个图像都展示了训练数据和决策区域。