python ，使用xpath取得范围，如何继续提取下一级的内容，代码示例

时间: 2024-09-22 12:10:03 浏览: 68

python3使用scrapy生成csv文件代码示例

### Python3 使用 Scrapy 生成 CSV 文件代码示例详解 #### 概述本文将详细介绍如何使用Python3结合Scrapy框架来抓取网页数据，并将其存储为CSV文件格式。此教程具有一定的实践指导意义，适合对爬虫感兴趣的学习者及开发者。 #### 目标与应用场景本案例的主要目标是从腾讯招聘网（http://hr.tencent.com/position.php）抓取招聘信息，具体包括招聘单位、招聘类型、招聘人数、招聘地点和招聘时间等关键字段。这些数据将被整理成结构化的CSV文件形式，便于后续的数据分析或导入其他系统进行处理。 #### 技术栈与工具 - **Python3**：作为主要编程语言。 - **Scrapy**：一个用于Web数据抓取的开源和协作的框架，支持快速高效地构建复杂的爬虫项目。 - **XPath**：一种用于在XML文档中查询和选取节点的语言，Scrapy中用来定位页面元素。 #### 实现步骤 ### 1. 创建Scrapy项目与Spider 需要创建一个新的Scrapy项目。假设项目名为`get_Field`： ```bash scrapy startproject get_Field ``` 接着，在项目目录下创建一个Spider： ```bash cd get_Field scrapy genspider field hr.tencent.com ``` 这将生成一个名为`field.py`的Spider文件，其默认路径为`get_Field/spiders/field.py`。 ### 2. 定义数据模型在`get_Field`项目中，定义一个名为`GetItem`的数据模型，用于存储从网页抓取的信息： ```python # get_Field/items.py import scrapy class GetItem(scrapy.Item): name = scrapy.Field() # 招聘单位 genre = scrapy.Field() # 招聘类型 number = scrapy.Field() # 招聘人数 place = scrapy.Field() # 招聘地点 time = scrapy.Field() # 招聘时间 ``` ### 3. 编写Spider逻辑编辑`field.py`文件，实现具体的爬虫逻辑： ```python # get_Field/spiders/field.py import scrapy from get_Field.items import GetItem from scrapy.http import Request class Tencentzhaopin(scrapy.Spider): name = "field" # Spider的唯一标识 allowed_domains = ["hr.tencent.com"] start_urls = ["http://hr.tencent.com/position.php?&start=0#a"] def parse(self, response): items = [] # 获取招聘信息的关键字段 names = response.xpath('//table//td[@class="l square"]//a/text()').extract() genres = response.xpath('//table//tr[not(@class="h")]//td[2][not(@align="center")]/text()').extract() numbers = response.xpath('//table//tr[not(@class="h")]//td[3][not(@align="center")]/text()').extract() places = response.xpath('//table//tr[not(@class="h")]//td[4][not(@align="center")]/text()').extract() times = response.xpath('//table//tr[not(@class="h")]//td[5][not(@align="center")]/text()').extract() # 将提取的数据封装到GetItem实例中 for i in range(len(names)): item = GetItem() item['name'] = names[i] item['genre'] = genres[i] item['number'] = numbers[i] item['place'] = places[i] item['time'] = times[i] items.append(item) # 返回提取到的Item对象 return items ``` ### 4. 运行Spider并保存为CSV文件为了方便运行，可以在项目根目录下创建一个`.py`文件，例如`run_spider.py`，并在其中调用Scrapy的命令行接口来启动爬虫并将结果保存为CSV文件： ```python # run_spider.py from scrapy import cmdline if __name__ == '__main__': cmdline.execute("scrapy crawl field -o info.csv -t csv".split()) ``` ### 5. 执行爬虫运行`run_spider.py`文件即可启动爬虫： ```bash python run_spider.py ``` 这将在项目根目录下生成一个名为`info.csv`的文件，其中包含了抓取的招聘信息。 ### 总结通过上述步骤，我们成功实现了使用Python3和Scrapy框架从腾讯招聘网抓取招聘信息，并将数据存储为CSV文件的功能。整个过程涉及了项目的创建、数据模型的设计、爬虫逻辑的编写以及最终数据的导出。此案例不仅有助于加深对Scrapy框架的理解，还为实际应用提供了有价值的参考。

在Python中，我们可以使用`lxml`或`selenium`库中的XPath功能来处理XML或HTML文档，并递归地提取内容。这里以`lxml`为例，假设我们有一个包含嵌套元素的HTML字符串： ```python from lxml import etree # 假设我们有这样一个HTML字符串 html = ''' <html> <body> <ul> <li>Item 1 <ul> <li>Sub-item 1</li> <li>Sub-item 2</li> </ul> </li> <li>Item 2</li> </ul> </body> </html> ''' # 使用lxml解析HTML root = etree.fromstring(html) # 定义一个函数来递归提取元素 def extract_content(element, level=0): content = element.text.strip() if element.text else '' for child in element.getchildren(): new_level = level + 1 content += f"\n{' ' * new_level}{child.text}{' - ' if child.tail else ''}" content += extract_content(child, new_level) # 递归提取子元素 return content # 获取并打印第一级列表项及其子项 item_list = root.xpath('//ul/li') for item in item_list: print(extract_content(item)) ``` 在这个例子中，`extract_content`函数会根据指定的层级`level`来添加缩进，并递归地查找每个子元素。运行此代码将输出每个列表项及其子项的内容。

阅读全文

python ，使用xpath取得范围，如何继续提取下一级的内容，代码示例

相关推荐

Python探索之爬取电商售卖信息代码示例

一个简化的Python爬虫概述和示例代码.pdf

python提取字段用xpath,给出示例代码

python使用xpath

python 使用xpath爬取下厨房菜谱数据

如何在Python爬虫中使用XPath选择器提取tbody部分的数据？

python爬虫xpath提取文本

python使用xpath爬取网页

python中使用xpath

使用xpath提取新闻数据

python提取表格文本用xpath,且去除thead数据，循环遍历tbody数据，给出示例代码

python xpath获取文本内容

python爬虫xpath

python爬虫xpath实战

xpath爬虫示例代码

python xpath

爬虫 xpath 示例代码

python xPath requests

Python+xpath爬取国家统计局数据

最新推荐

用python3教你任意Html主内容提取功能

Python requests30行代码爬取知乎一个问题的所有回答

Python实现爬虫抓取与读写、追加到excel文件操作示例

autocorr-vi-5.3.6.1-24.el7.noarch.rpm.zip

Angular程序高效加载与展示海量Excel数据技巧

管理建模和仿真的文件

【SecureCRT高亮技巧】：20年经验技术大佬的个性化设置指南

如何设计一个基于FPGA的多功能数字钟，实现24小时计时、手动校时和定时闹钟功能？

Argos客户端开发流程及Vue配置指南

"互动学习：行动中的多样性与论文攻读经历"