如何把10万行数据按照每1000行切割成100个小文件
时间: 2024-02-06 07:11:43 浏览: 209
你可以使用Python来实现这个需求。以下是一个简单的Python代码示例,可以实现将一个10万行的数据文件按照每1000行切割成100个小文件的功能:
```python
# 定义每个小文件的行数
chunk_size = 1000
# 打开大文件,读取数据并分割成小文件
with open('bigfile.txt', 'r') as big_file:
for i, chunk in enumerate(iter(lambda: big_file.readlines(chunk_size), [])):
# 将每个小文件保存到磁盘上
with open(f'chunk_{i}.txt', 'w') as small_file:
small_file.write(''.join(chunk))
```
在上面的代码中,我们首先定义了每个小文件的行数为1000。然后我们使用Python的`open()`函数打开大文件`bigfile.txt`,并使用`readlines()`方法读取数据。由于我们需要将大文件分割成小文件,因此我们使用`iter()`函数和`lambda`表达式来将大文件分割成固定长度的小块。在`enumerate()`函数中,我们使用`i`来迭代每个小文件,并使用`with`语句打开每个小文件。最后,我们将每个小文件保存到磁盘上,文件名为`chunk_i.txt`,其中`i`为小文件的索引号。
阅读全文