python批量自动化下载fnl资料
时间: 2024-09-24 17:24:29 浏览: 57
Python中可以使用一些库,如`requests`, `BeautifulSoup`或`selenium`来进行网页数据抓取并批量下载文件。以下是一个简单的例子,假设我们想从一个网站上批量下载名为"fnl"的文件:
```python
import os
import requests
# 假设fnl文件的URL列表存储在这个变量里
urls = ['http://example.com/fnl1', 'http://example.com/fnl2', ...]
def download_file(url):
response = requests.get(url, stream=True)
if response.status_code == 200:
filename = url.split("/")[-1] # 获取文件名
with open(filename, "wb") as f:
for chunk in response.iter_content(chunk_size=1024): # 分块下载防止内存溢出
if chunk: # 如果有内容
f.write(chunk)
print(f"已成功下载 {filename}")
else:
print(f"无法下载{url}, 状态码: {response.status_code}")
# 创建目标目录如果不存在
if not os.path.exists("downloads"):
os.makedirs("downloads")
# 批量下载
for url in urls:
download_file(url)
阅读全文