Python爬虫入门：安装与xpath解析教程

"Python爬虫教程第1季.pdf" 是一份关于使用Python进行网络爬虫的教程，主要涉及Python的基础爬虫库安装、模块导入、以及XPath表达式用于网页解析。 教程首先介绍了如何安装必要的Python库，包括`requests`和`lxml`。`requests`库用于发送HTTP请求，获取网页的HTML源代码；而`lxml`是一个强大的XML和HTML处理库，它包含了`etree`模块，能够高效地解析和操作XML或HTML文档。安装这两个库的步骤包括找到`pip3.exe`的位置，通过命令行工具（CMD）进入该目录并执行相应的`pip3 install`命令。 接着，教程讲解了如何在Python中导入`lxml`的`etree`模块。`etree`模块提供了两个主要的方法来实例化一个`etree`对象：`etree.parse()`用于加载本地HTML文档的源码数据，而`etree.HTML()`则可以将从互联网获取的源码数据加载到对象中。 教程进一步深入到XPath表达式的使用，这是解析HTML或XML文档的一种强大工具。XPath允许我们通过路径表达式来选取节点。在示例中，通过`tree.xpath()`方法结合XPath表达式，可以获取网页中特定元素的属性值或者文本内容。例如，选取具有特定类名的`div`元素的`href`属性，或者选取`span`元素中具有特定类名的文本内容。 在实际爬取过程中，教程演示了如何模拟用户代理（UA伪装）来避免被目标网站识别为机器人。通过设置请求头的`user-agent`字段，可以模拟不同的浏览器访问。然后，对于获取到的每个城区链接，再次发送请求获取其详细页面，再使用XPath解析出所需数据，如店铺名称。 这份Python爬虫教程涵盖了基础的库安装、模块导入、XPath表达式和HTTP请求的基本用法，为初学者提供了全面的入门指导。学习者通过此教程可以掌握基本的网页爬取和数据提取技能。