BeautifulSoup

BeautifulSoup是一个Python库，它可以从HTML或XML文件中提取数据。它为解析HTML和XML文档提供了一些工具，可以轻松地遍历文档树、搜索和修改文档内容。使用BeautifulSoup，我们可以将复杂的HTML文档转换成一个复杂的树形结构，每个节点都是Python对象，可以轻松地进行遍历和操作。

BeautifulSoup支持几乎所有的HTML和XML解析器，包括标准的Python库解析器，lxml解析器、html5lib解析器等。它还包含了许多解析HTML文档的函数，例如find()和find_all()，它们可以帮助我们查找文档中的元素和标签。

下面是一个使用BeautifulSoup解析HTML的示例：

from bs4 import BeautifulSoup
import requests

url = 'https://www.example.com'
response = requests.get(url)

soup = BeautifulSoup(response.text, 'html.parser')

# 找到网页中的第一个h1标签
h1 = soup.find('h1')

# 找到所有的a标签
a_tags = soup.find_all('a')

# 打印第一个h1标签的文本内容
print(h1.text)

# 打印所有a标签的href属性值
for a in a_tags:
    print(a['href'])

在上面的示例中，我们首先使用requests库发送GET请求获取网页的HTML内容，然后使用BeautifulSoup库解析HTML文档。我们使用find()方法查找文档中的第一个h1标签，并使用text属性获取其文本内容。我们还使用find_all()方法查找所有的a标签，并使用属性方式获取它们的href属性值。