python爬取下载链接的文件
时间: 2023-10-25 22:28:53 浏览: 80
Python 抓取网页下载链接
5星 · 资源好评率100%
您好,可以使用Python的requests和beautifulsoup库来实现爬取下载链接的文件。以下是一个示例代码:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://example.com'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
links = soup.find_all('a')
for link in links:
href = link.get('href')
if href.endswith('.pdf') or href.endswith('.zip'):
file_url = url + href
file_response = requests.get(file_url)
with open(href, 'wb') as f:
f.write(file_response.content)
```
在这个示例中,我们首先使用requests库获取网页的HTML代码,然后使用beautifulsoup库解析HTML代码并找到所有的链接。接着,我们过滤出只包含.pdf或.zip后缀的链接,并使用requests库下载文件并保存到本地。
阅读全文