python 爬虫 html = lxml

### 使用 Python 爬虫与 Lxml 库解析 HTML

#### 安装 Lxml 库
为了使用 `lxml` 进行 HTML 解析，首先需要确保已安装该库。可以通过以下命令进行安装：

pip install lxml

对于某些操作系统环境，可能还需要额外的依赖项，例如在基于 RedHat 的 Linux 发行版上可执行如下命令[^4]。

#### 导入必要的模块并获取网页内容
要利用 `requests` 获取目标网站的内容，并将其传递给 `lxml.html.fromstring()` 方法转换成易于处理的对象形式：

import requests
from lxml import html

url = 'http://example.com'
response = requests.get(url)
tree = html.fromstring(response.content)

#### 提取数据
一旦有了树状结构表示的页面源码之后，就可以运用 XPath 或 CSS Selectors 来定位所需的信息节点了。这里展示两种方式提取 `<title>` 标签内的文本以及带有特定类名 `.class-name` 下的所有链接地址的例子：

##### 使用XPath表达式

# 获取<title>中的文字
titles = tree.xpath('//title/text()')
print(titles)

# 查找所有具有'class-name'类别的<a>标签下的href属性值
links_by_xpath = tree.xpath("//a[contains(@class, 'class-name')]/@href")
for link in links_by_xpath:
    print(link)

##### 利用CSS选择器

# 同样也可以采用cssselect方法实现相同功能
links_by_css_selector = tree.cssselect('.class-name a::attr(href)')
for link in links_by_css_selector:
    print(link)

需要注意的是，实际操作过程中可能会遇到一些非法或不符合标准的 HTML 结构，这可能导致解析失败等问题；此时可以考虑借助其他工具如 BeautifulSoup 预先清理和规范化输入再交给 `lxml` 处理[^1]。