采用 scikit-learn 中的 LogisticRegression 逻辑回归模型对非线性数据集进行分类。 具体内容: (1)数据集:使用 sklearn 自带数据生成器 make_moons 产生两类数据样本,特征衍生(数据增强):使用 sklearn 自带 sklearn.preprocessing.PolynomialFeatures 生成指 定阶次的多项式特征,从而得到所有多项式组合成的新特征矩阵,degree 参数任选。)模型建立:在新特征基础上建立逻辑回归二分类模型。 (4)决策边界可视化:绘制决策边界,观察非线性边界的变化。
时间: 2024-02-11 19:04:17 浏览: 84
机器学习系列7 基于Python的Scikit-learn库构建逻辑回归模型
好的,我可以为您解答这个问题。首先,我们需要导入必要的库和数据集。您可以使用以下代码:
```python
from sklearn.datasets import make_moons
from sklearn.preprocessing import PolynomialFeatures
from sklearn.linear_model import LogisticRegression
import matplotlib.pyplot as plt
import numpy as np
# 生成数据集
X, y = make_moons(n_samples=500, noise=0.3, random_state=42)
# 特征衍生
poly_features = PolynomialFeatures(degree=3, include_bias=False)
X_poly = poly_features.fit_transform(X)
```
接下来,我们可以将数据集分为训练集和测试集,并训练逻辑回归模型。您可以使用以下代码:
```python
# 将数据集分为训练集和测试集
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X_poly, y, random_state=42)
# 训练逻辑回归模型
log_reg = LogisticRegression(solver='lbfgs')
log_reg.fit(X_train, y_train)
# 在测试集上进行预测
y_pred = log_reg.predict(X_test)
# 计算准确率
from sklearn.metrics import accuracy_score
accuracy = accuracy_score(y_test, y_pred)
print("Accuracy:", accuracy)
```
最后,我们可以绘制决策边界来观察非线性边界的变化。您可以使用以下代码:
```python
# 绘制决策边界
x1_min, x1_max = X[:, 0].min() - 1, X[:, 0].max() + 1
x2_min, x2_max = X[:, 1].min() - 1, X[:, 1].max() + 1
xx1, xx2 = np.meshgrid(np.linspace(x1_min, x1_max, 1000),
np.linspace(x2_min, x2_max, 1000))
X_new = np.c_[xx1.ravel(), xx2.ravel()]
X_new_poly = poly_features.transform(X_new)
y_proba = log_reg.predict_proba(X_new_poly)[:, 1]
zz = y_proba.reshape(xx1.shape)
plt.contourf(xx1, xx2, zz, cmap=plt.cm.RdBu)
plt.scatter(X[:, 0], X[:, 1], c=y, cmap=plt.cm.RdBu_r)
plt.xlabel("Feature 1")
plt.ylabel("Feature 2")
plt.show()
```
运行代码后,您将看到绘制的决策边界。您可以尝试不同的多项式阶次来观察决策边界的变化。
阅读全文