python 通过url列表批量下载
时间: 2023-08-28 13:05:10 浏览: 71
好的,您可以通过以下步骤来实现Python批量下载URL列表中的文件:
1. 读取URL列表:将URL列表保存在一个文本文件中,每个URL一行。例如,将URL列表保存在`urls.txt`文件中。
2. 使用Python的requests库:使用requests库发送HTTP请求并下载文件。
3. 循环遍历URL列表并下载文件:使用Python的for循环语句来遍历URL列表中的每个URL,并下载对应的文件。
下面是一个示例代码:
```python
import requests
# 读取URL列表
with open('urls.txt') as f:
urls = f.readlines()
# 使用requests库下载文件
for url in urls:
url = url.strip()
filename = url.split('/')[-1] # 使用URL中的文件名作为本地文件名
try:
response = requests.get(url, stream=True)
with open(filename, 'wb') as f:
for chunk in response.iter_content(chunk_size=1024):
if chunk:
f.write(chunk)
print(f"{filename} 下载成功!")
except Exception as e:
print(f"{filename} 下载失败:{e}")
```
需要注意的是,上述代码中使用了requests库的`stream`参数来启用流式下载,可以避免下载大文件时占用过多内存的问题。同时,代码中也处理了下载失败的情况并打印了错误信息。