使用Xpath爬取36氪动态页面并保存到Excel

本示例演示了如何使用Python的requests、lxml和pandas库，通过XPath解析动态网页，抓取某氪网站上的新闻标题和链接，并将数据保存到Excel文件中。 首先，我们导入所需的库：requests用于发送HTTP请求，lxml库中的etree模块用于处理XML和HTML文档，csv库用于处理CSV文件（虽然在这个例子中并未使用），pandas库则用于数据操作和存储。 在代码中，我们设置了一个基础URL（"https://36kr.com/"）和一个模拟浏览器头部（headers），以便更好地伪装成浏览器请求，避免被网站识别为爬虫。然后，使用requests.get方法获取网页的HTML内容。 接着，利用lxml.etree.HTML(response.text)将HTML文本转换为ElementTree对象，这样我们可以使用XPath表达式来查找特定的HTML元素。在这个例子中，选取了所有类名为"kr-home-flow-item"的div元素。 对于找到的每个div元素，我们进一步提取其内部的新闻标题（a标签，类名为"article-item-title weight-bold"）和链接（同样在a标签内）。使用两个循环，一个用于遍历div列表，另一个用于处理每条新闻的多个标题和链接。将这些数据分别存储在titles和url_news列表中。 接下来，我们使用pandas创建DataFrame，将titles和url_news列表转换为DataFrame对象，并沿着列轴(axis=1)进行拼接。最后，将合并后的DataFrame保存到Excel文件"36news.xlsx"中，便于查看和进一步分析。 总结一下，这个实例涉及的知识点包括： 1. Python爬虫的基本结构：发送HTTP请求、解析HTML内容。 2. requests库的使用，包括get方法和设置headers参数。 3. lxml库的etree模块，特别是使用XPath选择器选取HTML元素。 4. Python列表的遍历和操作，如append方法。 5. pandas库的DataFrame对象，用于数据处理和存储。 6. DataFrame的concat方法，用于合并DataFrame。 7. Excel文件的读写，这里使用了to_excel方法。 这个实例展示了Python爬虫如何有效地抓取和整理动态网页上的信息，以及如何将数据保存到结构化的文件中，为后续的数据分析提供便利。