训练数据如何分批读取,举几个例子
时间: 2024-05-06 17:19:21 浏览: 90
游标分批取数据例子
4星 · 用户满意度95%
训练数据可以使用Python中的Generator分批读取。例如,对于一个包含1000条数据的文本文件,可以定义一个生成器函数,每次返回一批数据,如每次返回100条数据,直到读取完所有数据。
具体代码如下:
```python
def read_data_in_batches(file_path, batch_size):
with open(file_path, 'r', encoding='utf-8') as f:
while True:
batch_data = []
for i in range(batch_size):
line = f.readline()
if not line:
return
batch_data.append(line.strip())
yield batch_data
```
调用该生成器可得到一个可迭代对象,每次迭代返回一批数据。例如,读取一个文本文件中的数据时,每次读取100条数据:
```python
data_generator = read_data_in_batches('data.txt', batch_size=100)
for data_batch in data_generator:
# 对这一批数据进行处理
...
```
阅读全文