python分割大型txt文本
时间: 2023-07-24 11:14:01 浏览: 117
Python读取分割压缩TXT文本文件的方法
在Python中,你可以使用以下代码来分割大型的txt文件:
```python
def split_file(input_file, output_prefix, chunk_size):
with open(input_file, 'r') as file:
chunk_number = 1
while True:
chunk = file.read(chunk_size)
if not chunk:
break
output_file = f"{output_prefix}_{chunk_number}.txt"
with open(output_file, 'w') as output:
output.write(chunk)
chunk_number += 1
# 示例用法
input_file = 'big_file.txt' # 大型txt文件的路径
output_prefix = 'output_chunk' # 输出文件的前缀名
chunk_size = 1000000 # 每个分割文件的大小,以字节数为单位
split_file(input_file, output_prefix, chunk_size)
```
在上面的代码中,`split_file` 函数接受输入文件路径、输出文件前缀和分块大小作为参数。它使用`with open`语句打开输入文件,并以指定的分块大小读取文件内容。然后,它将每个分块写入一个新的输出文件,并通过递增的数字编号命名输出文件。
在示例用法中,你需要根据实际情况设置 `input_file`、`output_prefix` 和 `chunk_size` 的值。`chunk_size` 的大小可以根据你的需求进行调整,以使得分割后的文件大小符合你的要求。
执行上述代码后,将会生成以 `output_prefix` 开头的多个分割文件,每个文件大小约为 `chunk_size` 字节。
阅读全文