python爬取网页超链接代码
时间: 2023-04-04 09:01:17 浏览: 150
Python提取网页中超链接的方法
可以使用 Python 的 requests 库和 BeautifulSoup 库来爬取网页超链接代码。具体步骤如下:
1. 使用 requests 库发送 HTTP 请求,获取网页的 HTML 代码。
2. 使用 BeautifulSoup 库解析 HTML 代码,提取出所有的超链接。
3. 对于每个超链接,可以使用正则表达式或者 BeautifulSoup 库提供的方法来获取其 href 属性值,即超链接的地址。
下面是一个简单的示例代码:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://www.example.com'
response = requests.get(url)
html = response.text
soup = BeautifulSoup(html, 'html.parser')
links = []
for link in soup.find_all('a'):
href = link.get('href')
if href:
links.append(href)
print(links)
```
这段代码会输出网页中所有的超链接地址。
阅读全文