BeautifulSoup爬取网页链接

BeautifulSoup是一个强大的Python库，用于从HTML和XML文档中提取结构化数据。它并不直接爬取网页链接，而是帮助你解析已经获取到的HTML页面。以下是使用BeautifulSoup爬取网页链接的基本步骤：

1. **导入库**：首先安装BeautifulSoup和requests库，如果你还没有，可以使用`pip install beautifulsoup4 requests`命令安装。

from bs4 import BeautifulSoup
import requests

2. **发送GET请求**：使用requests库发送一个GET请求到目标网址，并获取返回的HTML内容。

url = 'https://example.com'
response = requests.get(url)
html_content = response.text

3. **创建BeautifulSoup对象**：将HTML内容传入BeautifulSoup构造函数，选择合适的解析器（如lxml或html.parser）。

soup = BeautifulSoup(html_content, 'lxml')

4. **查找链接**：使用BeautifulSoup提供的方法（如`find_all('a')`）查找所有的超链接标签`<a>`。

links = soup.find_all('a', href=True)

5. **处理链接**：对找到的链接进行进一步处理，例如提取`href`属性得到完整的URL。

for link in links:
    url = link['href']
    print(url)