python使用boto3快速下载大文件

Python使用Boto3库下载Amazon S3等云存储的大文件通常采用分块下载的方式，以避免一次性加载整个大文件到内存中，减少内存消耗。以下是基本步骤：

1. 导入所需的模块：

import boto3
import os

2. 初始化S3客户端：

s3 = boto3.client('s3')

3. 设置要下载的bucket和object（即文件名）：

bucket_name = 'your_bucket_name'
file_key = 'your_file_path'

4. 定义下载函数，使用S3提供的`download_fileobj()`方法，并将其拆分为较小的块（例如1MB）进行下载：

def download_large_file(bucket, key, local_filename):
    part_size = 1024 * 1024  # 1 MB
    s3_object = s3.get_object(Bucket=bucket, Key=key)
    total_parts = int(os.path.getsize(local_filename) / part_size)

    with open(local_filename, 'wb') as f:
        for i in range(total_parts + 1):  # +1 accounts for the last incomplete chunk
            start = i * part_size
            if i == total_parts:  # Handle the final incomplete chunk
                end = os.path.getsize(local_filename)
            else:
                end = (i + 1) * part_size

            s3_response = s3.download_fileobj(s3_object['Body'], f, ExtraArgs={'Range': f'StartByte={start} EndByte={end - 1}'})

5. 调用下载函数并传递参数：

local_filepath = 'path/to/downloaded/file'
download_large_file(bucket_name, file_key, local_filepath)

在这个例子中，我们假设本地路径有足够的空间存放完整文件。如果不确定大小，可以在下载之前创建一个临时文件，并在下载过程中动态调整位置。