python批量下载公司年报
时间: 2023-11-23 07:57:56 浏览: 63
为了批量下载公司年报,可以使用Python的requests库和BeautifulSoup库来爬取网页上的下载链接,并使用urllib库下载文件。以下是一个简单的Python代码示例:
```python
import requests
from bs4 import BeautifulSoup
import urllib.request
# 设置下载链接的前缀和后缀
prefix = 'http://www.example.com/'
suffix = '.pdf'
# 循环下载所有年报
for i in range(600000, 601001):
# 构造年报的下载链接
url = prefix + str(i) + suffix
# 发送请求并解析网页
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
# 获取下载链接
download_link = soup.find('a', {'class': 'download-link'})['href']
# 下载文件
urllib.request.urlretrieve(download_link, str(i) + '.pdf')
```
在这个示例中,我们首先设置了下载链接的前缀和后缀,然后使用循环来下载所有年报。在循环中,我们首先构造了年报的下载链接,然后发送请求并解析网页。接着,我们使用BeautifulSoup库来获取下载链接,并使用urllib库下载文件。