python爬虫批量下载pdf
时间: 2023-07-27 20:06:50 浏览: 247
通过python爬虫批量下载PDF文件
你可以使用Python的requests库来编写一个简单的爬虫来批量下载PDF文件。下面是一个示例代码:
```python
import requests
import os
def download_pdf(url, save_path):
response = requests.get(url)
with open(save_path, 'wb') as file:
file.write(response.content)
def batch_download_pdf(urls, save_dir):
if not os.path.exists(save_dir):
os.makedirs(save_dir)
for i, url in enumerate(urls):
save_path = os.path.join(save_dir, f'file{i}.pdf')
download_pdf(url, save_path)
print(f"Downloaded {url} to {save_path}")
# 示例URL列表
pdf_urls = [
'http://example.com/file1.pdf',
'http://example.com/file2.pdf',
'http://example.com/file3.pdf',
]
# 指定保存目录
save_directory = 'pdf_files'
batch_download_pdf(pdf_urls, save_directory)
```
你需要将`pdf_urls`列表替换为你要下载的PDF文件的URL列表,然后指定一个保存目录`save_directory`。运行以上代码,它将会依次下载每个PDF文件,并保存到指定目录下。请确保你拥有下载这些PDF文件的合法权利。
阅读全文