python实现训练集验证集测试集区分
时间: 2023-08-23 12:08:23 浏览: 143
在Python中,可以使用numpy库的random模块或sklearn库的train_test_split函数来将数据集分为训练集、验证集和测试集。
以下是一个简单的示例代码:
```python
import numpy as np
from sklearn.model_selection import train_test_split
# 加载数据集
X = np.load('data.npy')
y = np.load('labels.npy')
# 将数据集分为训练集、验证集和测试集,比例为6:2:2
X_train, X_val_test, y_train, y_val_test = train_test_split(X, y, test_size=0.4, random_state=42)
X_val, X_test, y_val, y_test = train_test_split(X_val_test, y_val_test, test_size=0.5, random_state=42)
# 打印分割后的数据集大小
print("训练集大小:", X_train.shape[0])
print("验证集大小:", X_val.shape[0])
print("测试集大小:", X_test.shape[0])
```
在上面的代码中,我们使用了numpy库的load函数加载数据集,然后使用train_test_split函数将数据集分为训练集、验证集和测试集。test_size参数指定了验证集和测试集的比例,random_state参数用于指定随机种子,以确保每次运行代码时得到的分割结果都是一致的。最后,我们打印了分割后的数据集大小。
阅读全文