PythonsklearnKFold生成交叉验证数据集的方法_KFold

Python

sklearn

45 浏览量更新于2023-03-16 评论 2 收藏 45KB PDF 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

资源详情

资源评论

资源推荐

Python sklearn KFold 生成交叉验证数据集的方法生成交叉验证数据集的方法

今天小编就为大家分享一篇Python sklearn KFold 生成交叉验证数据集的方法，具有很好的参考价值，希望对大

家有所帮助。一起跟随小编过来看看吧

源起：源起：

1.我要做交叉验证，需要每个训练集和测试集都保持相同的样本分布比例，直接用sklearn提供的KFold并不能满足这个需求。

2.将生成的交叉验证数据集保存成CSV文件，而不是直接用sklearn训练分类模型。

3.在编码过程中有一的误区需要注意：

这个这个sklearn官方给出的文档官方给出的文档

>>> import numpy as np

>>> from sklearn.model_selection import KFold

>>> X = ["a", "b", "c", "d"]

>>> kf = KFold(n_splits=2)

>>> for train, test in kf.split(X):

... print("%s %s" % (train, test))

[2 3] [0 1]

[0 1] [2 3]

我之前犯的一个错误是将train，test理解成原数据集分割成子数据集之后的子数据集索引。而实际上，它就是原始数据集本身

的样本索引。

源码：源码：

# -*- coding:utf-8 -*-

# 得到交叉验证数据集，保存成CSV文件

# 输入是一个包含正常恶意标签的完整数据集，在读数据的时候分开保存到datasetBenign，datasetMalicious

# 分别对两个数据集进行KFold，最后合并保存

from sklearn.model_selection import KFold

import csv

def writeInFile(benignKFTrain, benignKFTest, maliciousKFTrain, maliciousKFTest, i, datasetBenign, datasetMalicious):

newTrainFilePath = "E:\hadoopExperimentResult\5KFold\AllDataSetIIR10\dataset\ImbalancedAllTraffic-train-%s.csv" % i

newTestFilePath = "E:\hadoopExperimentResult\5KFold\AllDataSetIIR10\dataset\IImbalancedAllTraffic-test-%s.csv" % i

newTrainFile = open(newTrainFilePath, "wb")# wb 为防止空行

newTestFile = open(newTestFilePath, "wb")

writerTrain = csv.writer(newTrainFile)

writerTest = csv.writer(newTestFile)

for index in benignKFTrain:

writerTrain.writerow(datasetBenign[index])

for index in benignKFTest:

writerTest.writerow(datasetBenign[index])

for index in maliciousKFTrain:

writerTrain.writerow(datasetMalicious[index])

for index in maliciousKFTest:

writerTest.writerow(datasetMalicious[index])

newTrainFile.close()

newTestFile.close()

def getKFoldDataSet(datasetPath):

# CSV读取文件

# 开始从文件中读取全部的数据集

datasetFile = file(datasetPath, 'rb')

datasetBenign = []

datasetMalicious = []

readerDataset = csv.reader(datasetFile)

for line in readerDataset:

if len(line) > 1:

curLine = []

curLine.append(float(line[0]))

curLine.append(float(line[1]))

curLine.append(float(line[2]))

curLine.append(float(line[3]))

curLine.append(float(line[4]))

curLine.append(float(line[5]))

curLine.append(float(line[6]))

curLine.append(line[7])

if line[7] == "benign":

datasetBenign.append(curLine)

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余1页未读，立即下载

weixin_38631182

粉丝: 8
资源: 954

会员权益专享

Python sklearn KFold 生成交叉验证数据集的方法

评论0

会员权益专享

最新资源

Python sklearn KFold 生成交叉验证数据集的方法

评论0

Python实现K折交叉验证法的方法步骤

随机森林的交叉验证验证集是不是从整个数据集的训练集里选？

pythonk折交叉验证法

python交叉验证代码

生成鸢尾花数据集10折交叉验证法的代码

交叉验证将数据集分成训练集与测试集，怎么单独调用训练集

自己的数据集进行k折交叉验证python代码

十折交叉验证python

training_data_loader = torch.utils.data.DataLoader(training_data, batch_size=1, shuffle=True, num_workers=0,pin_memory=True) 中的DataLoader有没有实现数据集的随机交叉验证

k折交叉验证python代码

十折交叉验证将数据集分成训练集与测试集，怎么每次单独调用训练集

kfold与dataset生成k折验证法

十折交叉验证pytorch

应用k折交叉验证的线性回归问题的Python代码

KFold函数的内部代码

请给我逻辑回归五折交叉验证代码

pytorch实现10折交叉验证

五个输入一个输出的数据集，输入输出数据个数都为210。应用k折交叉验证的线性回归问题的Python代码

setuptools-33.1.1-py2.py3-none-any.whl

超级简单的地图操作工具开发可疑应急,地图画点,画线,画区域,获取地图经纬度等

会员权益专享

最新资源