python实现大文件分割与合并

python实现大文件分割与合并实现大文件分割与合并

主要为大家详细介绍了python实现大文件分割与合并，具有一定的参考价值，感兴趣的小伙伴们可以参考一下

很多时候我们会面临大文件无法加载到内存，或者要传输大文件的问题。这时候就需要考虑将大文件分割为小文件进行处理

了。

下面是一种用python分割与合并分件的实现。

import os

FILE_DIR = os.path.dirname(os.path.abspath(__file__))

#========================================================

OUTPUT -> 文件名列表

'''

return [os.path.join(dir, f) for f in os.listdir(dir) if f.endswith(postfix)]

def get_filelist2(dir, preffix):

'''

按照前缀返回文件名列表

INPUT -> 目录地址, 文件前缀

OUTPUT -> 文件名列表

'''

return [os.path.join(dir, f) for f in os.listdir(dir) if f.startswith(preffix)]

file = os.path.splitext(filename)

preffix, postfix = file

return postfix

def get_file_preffix(filename):

'''

获取文件名前缀

INPUT -> 文件名

OUTPUT -> 文件前缀

'''

file = os.path.splitext(filename)

'''

if chunksize > 0:

filepath = path+'/'+filename

partnum = 0

inputfile = open(filepath, 'rb')

while True:

chunk = inputfile.read(chunksize)

if not chunk:

break

partnum += 1

print('chunksize must bigger than 0!')

def file_linespilt(path, filename, limit):

'''

文件按照行分割成多个子文件

INPUT -> 文件目录, 文件名, 行数

'''

if limit > 0: