python open分批读取文件
时间: 2024-01-18 11:09:36 浏览: 96
python分批定量读取文件内容,输出到不同文件中的方法
你可以使用`open`函数结合`read`方法来分批读取文件。下面是一个示例代码:
```python
def read_file_in_batches(file_path, batch_size):
with open(file_path, 'r') as file:
while True:
batch = file.read(batch_size)
if not batch:
break
yield batch
file_path = 'path/to/your/file.txt'
batch_size = 1024 # 每个批次的大小
for batch in read_file_in_batches(file_path, batch_size):
# 在这里处理每个批次的数据
print(batch)
```
在这个示例中,`read_file_in_batches`函数打开文件并使用`yield`关键字生成每个批次的数据。`batch_size`参数确定每个批次的大小。你可以根据需要调整这个值来适应你的场景。在主循环中,你可以对每个批次的数据进行处理,或者根据需要进行其他操作。
阅读全文