Python开发：使用Scrapy框架创建Web爬虫示例

资源摘要信息:"openjobs-scraper: Openjobs示例刮板" 知识点: 1. Scrapy框架介绍: Scrapy是一个快速的高级web爬取和web抓取框架，用于抓取web站点并从中提取结构化的数据。它被广泛应用于数据挖掘，信息处理或历史归档等场景。Scrapy适用于复杂的网站，可以在各种页面类型之间导航，从页面中提取数据并进行处理。 2. Scrapy 1.x版本: 在本示例中，openjobs刮板使用的是Scrapy 1.x版本。这意味着在编写此代码时，作者采用了Scrapy较早的一个版本中的特性进行开发，而Scrapy 1.x相较于2.x版本在API和一些特性上可能有所不同，例如在Scrapy 1.x中Item的定义方式以及选择器的使用等。 3. RethinkDB数据库: RethinkDB是一个开源的NoSQL文档存储数据库，专为处理实时数据和快速构建实时应用而设计。它支持多种编程语言的API，并且具有强大的查询语言。RethinkDB通过一个简单且灵活的模型来存储数据，并提供实时更新功能。本示例代码将爬取的web数据存储在RethinkDB数据库中。 4. 使用virtualenv和pip: virtualenv是一个用于创建隔离的Python环境的工具，它允许用户创建独立的Python环境，这意味着可以为每个项目安装不同版本的库而不会相互冲突。在该示例中，鼓励使用virtualenv创建一个独立的环境，并使用pip安装Scrapy和RethinkDB库。 5. 创建RethinkDB数据库: 通过执行python vagascrawler/createdb.py脚本，可以在RethinkDB中创建所需的数据库结构，以便存储从web页面爬取的数据。 6. 运行Scrapy爬虫: 使用scrapy crawl openjobs命令启动Scrapy爬虫。该命令将会触发爬虫运行，爬取指定的web站点并将数据保存在之前创建的RethinkDB数据库中。爬虫的具体实现和配置细节（例如起始URL，中间件，管道，选择器等）将在这一步骤中得到执行。 7. Python标签说明: 在给定的文件信息中，指出了"Python"作为相关技术标签。这表明openjobs-scraper项目是一个Python开发的项目，所有的代码编写、配置和执行都是在Python环境中进行的。 8. 压缩包子文件名列表: 提供的文件列表是"openjobs-scraper-master"，这是项目存放的文件夹名称。这表明该代码库是开源的，并且可以在GitHub等平台上找到该项目的源代码和相关文档。 以上知识点详细介绍了标题和描述中所提及的openjobs-scraper项目的各个关键要素，包括Scrapy框架、RethinkDB数据库的使用、virtualenv环境隔离、pip安装包管理以及如何创建和运行Scrapy爬虫。该知识点解释了整个数据采集的过程，以及所涉及到的关键技术和工具。