请介绍sklearn里面自带的数据集以及他们的大小
时间: 2024-06-04 11:07:58 浏览: 54
sklearn里面自带的数据集有很多,以下是一些常见的数据集及其大小:
1. iris:150个样本,4个特征,3个类别
2. digits:1797个样本,64个特征,10个类别
3. wine:178个样本,13个特征,3个类别
4. breast_cancer:569个样本,30个特征,2个类别
5. boston:506个样本,13个特征,回归问题
6. diabetes:442个样本,10个特征,回归问题
这些数据集都是经典的机器学习数据集,可以用于算法的测试和比较,也可以用于教学和学术研究。同时,这些数据集也可以作为sklearn库的使用示例,帮助使用者更好地了解和掌握sklearn的使用方法。
相关问题
python自带数据集_sklearn 内置数据集中与分类问题相关的数据集
sklearn内置数据集中与分类问题相关的数据集有以下几个:
1. iris数据集:iris数据集包含3种不同品种的150个鸢尾花样本,每个样本包含4个特征,分别是花萼长度、花萼宽度、花瓣长度和花瓣宽度。
2. digits数据集:digits数据集包含1797个手写数字的样本,每样本是一个8x8的灰度图像。
3. wine数据集:wine数据集包含178个葡萄酒样本,每个样本包含13个特征,包括酒的化学成分和品质等级。
4. breast_cancer数据集:breast_cancer数据集包含569个乳腺癌样本,每个样本包含30个特征,包括肿瘤大小、形状、质地等。
这些数据集都是经典的机器学习数据集,可以用于各种分类算法的实验和测试。
用pycharm写、题目一:采用 scikit-learn 中的 RandomForestRegressor 对加利福尼亚房价数据集进行预测。 具体要求: (1)导入数据集:加利福尼亚房价数据集是 sklearn 中自带的数据集,通过查看数据量和维度、特征类型(离散 or 连续)、特征名、标签名、标签分布情况、数据集 的描述等信息了解数据集。 (2)模型建立:分别使用 DecisionTreeRegressor 和 RandomForestRegressor 建立分类模型(参数 默认即可)。 (3)模型评估:输出训练集和测试集评分(以根均方误差 RMSE 为评估指标)。讨论一】比较随机森林和决策树在数据集上的表现,可将交叉验证评分进行可视化,讨论二】随机森林中的 n_estimator 超参数如何选择? 提示:可采用学习曲线进行选择,如图 2 所示。学习曲线能够看到变化趋势,帮助确定超参数的 搜索范围。对于 RandomForestRegressor 模型,自行选择超参数搜索的方法,找到合适的超参 数,最终将超参数在如下的交叉验证集上进行建模,并计算 RMSE 评分。介绍调参过程,并比较调 参前后的效果超参数的搜索范围可根据建立的决策树的建树信息进行设定,决策树的建树信息可通 过.tree_属性查看
好的,以下是用 PyCharm 实现题目一的代码:
```python
import pandas as pd
from sklearn.datasets import fetch_california_housing
from sklearn.tree import DecisionTreeRegressor
from sklearn.ensemble import RandomForestRegressor
from sklearn.model_selection import cross_val_score, train_test_split
from sklearn.metrics import mean_squared_error
import matplotlib.pyplot as plt
# 导入数据集
california = fetch_california_housing()
X = pd.DataFrame(california.data, columns=california.feature_names)
y = pd.DataFrame(california.target, columns=["MedHouseVal"])
# 查看数据信息
print("数据集大小:", X.shape)
print("数据集特征类型:", X.dtypes)
print("数据集特征名:", X.columns)
print("数据集标签名:", y.columns)
print("数据集标签分布情况:\n", y["MedHouseVal"].describe())
# 建立决策树模型
dtr = DecisionTreeRegressor(random_state=42)
dtr_scores = cross_val_score(dtr, X, y, cv=10, scoring="neg_mean_squared_error")
dtr_rmse_scores = (-dtr_scores) ** 0.5
print("决策树模型交叉验证 RMSE 评分:", dtr_rmse_scores.mean())
# 建立随机森林模型
rfr = RandomForestRegressor(n_estimators=100, random_state=42)
rfr_scores = cross_val_score(rfr, X, y, cv=10, scoring="neg_mean_squared_error")
rfr_rmse_scores = (-rfr_scores) ** 0.5
print("随机森林模型交叉验证 RMSE 评分:", rfr_rmse_scores.mean())
# 可视化交叉验证评分
plt.plot(range(1, 11), dtr_rmse_scores, label="Decision Tree")
plt.plot(range(1, 11), rfr_rmse_scores, label="Random Forest")
plt.xlabel("Fold")
plt.ylabel("RMSE")
plt.legend()
plt.show()
# 随机森林调参
n_estimators = [10, 50, 100, 200, 500]
rfr_scores = []
for n in n_estimators:
rfr = RandomForestRegressor(n_estimators=n, random_state=42)
rfr_scores.append(cross_val_score(rfr, X, y, cv=10, scoring="neg_mean_squared_error").mean())
plt.plot(n_estimators, (-1 * rfr_scores) ** 0.5)
plt.xlabel("n_estimators")
plt.ylabel("RMSE")
plt.show()
# 训练最优模型并计算 RMSE 评分
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
rfr = RandomForestRegressor(n_estimators=200, random_state=42)
rfr.fit(X_train, y_train)
y_pred = rfr.predict(X_test)
rfr_rmse = mean_squared_error(y_test, y_pred, squared=False)
print("随机森林最优模型测试集 RMSE 评分:", rfr_rmse)
```
代码解释:
1. 导入需要的库,包括 pandas、scikit-learn 中的数据集 fetch_california_housing、DecisionTreeRegressor、RandomForestRegressor、cross_val_score、train_test_split 和 mean_squared_error,以及用于可视化的 matplotlib.pyplot。
2. 使用 fetch_california_housing 函数从 scikit-learn 自带的数据集中加载加利福尼亚房价数据集。将数据集中的特征和标签分别存储到 X 和 y 中。
3. 使用 pandas 库提供的函数查看数据集的信息,包括数据集大小、特征类型、特征名、标签名和标签分布情况等。
4. 使用 DecisionTreeRegressor 和 RandomForestRegressor 分别建立决策树和随机森林模型,并使用交叉验证计算模型的 RMSE 评分。
5. 使用 matplotlib.pyplot 库将决策树和随机森林模型的交叉验证评分可视化。
6. 使用随机森林模型进行调参,通过学习曲线确定最优的 n_estimator 超参数。
7. 使用 train_test_split 函数将数据集划分为训练集和测试集,使用最优的超参数训练随机森林模型,并在测试集上进行评估,计算模型的 RMSE 评分。
阅读全文