如何使用python爬取网页指定的超链接并下载这个超链接的文件
时间: 2023-06-15 15:04:30 浏览: 331
Python提取网页中超链接的方法
你可以使用Python中的`requests`和`beautifulsoup4`库来实现这个功能。
首先,使用`requests`库来获取网页的HTML代码:
```python
import requests
url = 'http://example.com'
response = requests.get(url)
html_content = response.content
```
然后,使用`beautifulsoup4`库来解析HTML代码并获取超链接:
```python
from bs4 import BeautifulSoup
soup = BeautifulSoup(html_content, 'html.parser')
links = soup.find_all('a')
for link in links:
href = link.get('href')
if href.endswith('.pdf'): # 判断链接是否指向PDF文件
# 下载文件
pdf_response = requests.get(href)
with open('example.pdf', 'wb') as f:
f.write(pdf_response.content)
```
以上代码将下载所有超链接指向的PDF文件到本地文件系统中。请注意,这个代码只下载第一个超链接指向的PDF文件,如果你需要下载所有的PDF文件,你需要在循环中处理每一个链接。
阅读全文