scrapy2.9 如何获取 通过 scrapy crwal 运行项目 传递的参数

在 Scrapy 2.9 中，可以通过 `crawler_process.crawl()` 方法启动一个爬虫，并且可以将参数传递给爬虫。在爬虫的 `__init__` 方法中可以使用 `**kwargs` 接收这些参数。

具体来说，可以在命令行中使用 `-a` 参数传递参数，例如：

scrapy crawl myspider -a foo=bar -a abc=123

然后，在爬虫的 `__init__` 方法中可以通过 `**kwargs` 获取这些参数，例如：

class MySpider(scrapy.Spider):
    name = 'myspider'

    def __init__(self, *args, **kwargs):
        super().__init__(*args, **kwargs)
        self.foo = kwargs.get('foo')
        self.abc = kwargs.get('abc')

这样，就可以在爬虫代码中使用 `self.foo` 和 `self.abc` 这两个参数了。

相关问题

如何运行scrapy项目

要运行一个Scrapy项目，需要按照以下步骤：

1. 安装 Scrapy：可以使用 pip 命令进行安装，如下所示：

pip install scrapy

2. 创建 Scrapy 项目：可以使用 Scrapy 命令来创建一个新的 Scrapy 项目，如下所示：

scrapy startproject project_name

其中，project_name 是你的项目名称。

3. 创建 Spiders：在 Scrapy 项目中，Spider 负责从网站上抓取数据。你可以使用 Scrapy 命令来创建一个新的 Spider，如下所示：

scrapy genspider spider_name domain.com

其中，spider_name 是你的 Spider 名称，domain.com 是你要抓取的网站域名。

4. 编写 Spider：在 Spider 中，你需要定义如何抓取数据。你需要编辑 Spider 的 Python 文件，以编写代码来实现数据抓取。

5. 运行 Spider：使用 Scrapy 命令来运行 Spider，如下所示：

scrapy crawl spider_name

其中，spider_name 是你要运行的 Spider 名称。

这些就是运行 Scrapy 项目的基本步骤。

通过django运行scrapy

通过Django运行Scrapy是一种简单而有效的方式来结合两种强大的Python框架。首先，我们需要在Django项目中创建一个新的app，并且在settings.py文件中添加该app的配置。然后，我们在该app中创建一个view，通过该view来调用Scrapy的爬虫。在view中，我们可以使用subprocess模块来调用Scrapy的命令行工具，比如“scrapy crawl 爬虫名称”。另一种方法是直接在Python代码中调用Scrapy的API，这样可以更灵活地控制爬虫的行为。

一旦我们成功地将Scrapy整合到Django项目中，我们就可以利用Django的强大功能，比如ORM和模板引擎，来处理和展示爬取的数据。我们可以将爬取的数据存储到Django的数据库中，然后在模板中使用Django提供的模板标签来动态地展示数据。

通过Django运行Scrapy还可以给我们带来更高的可扩展性和维护性。因为Django和Scrapy都是Python框架，它们之间可以很好地协同工作。我们可以使用Django的用户认证系统和权限系统来管理爬虫的访问权限，也可以利用Django的管理后台来监控和管理爬虫的运行状态。同时，我们也可以将Scrapy的爬虫模块化，通过Django的app来管理和封装不同的爬虫任务，这样可以更好地组织和维护我们的爬虫系统。

总的来说，通过Django运行Scrapy是一种把两个优秀的Python框架结合起来的有效方式，它可以为我们带来更好的数据处理和数据展示的体验，并且提供更高的可扩展性和维护性。