python爬虫如何获取超链接

在Python中，爬取网页并获取其中的超链接通常涉及到HTML解析库如BeautifulSoup或lxml，以及URL处理库如urllib或requests。以下是一个简单的步骤：

1. **安装必要的库**:
首先需要安装`beautifulsoup4`, `requests`和`lxml`（如果没装的话）：

   pip install beautifulsoup4 requests lxml

2. **发送HTTP请求**:
使用`requests.get()`函数获取网页内容：

   import requests
   url = 'https://example.com'
   response = requests.get(url)

3. **解析HTML**:
将响应内容传给BeautifulSoup解析HTML：

   from bs4 import BeautifulSoup
   soup = BeautifulSoup(response.text, 'lxml')

4. **查找超链接**:
使用`find_all()`或`select()`方法查找`<a>`标签（代表超链接），它们通常包含`href`属性：

   links = soup.select('a[href]')

5. **提取链接地址**:
获取每个超链接的`href`属性值：

   for link in links:
       href = link['href']
       print(href)

6. **保存或进一步处理链接**:
可能还需要对链接进行验证、过滤或存储到文件或数据库中。

记得遵守网站的robots.txt规则，并尊重网站的爬虫政策。