scrapy2.9 如何获取 通过 scrapy crwal 运行项目 传递的参数
时间: 2024-02-09 08:08:50 浏览: 62
scrapy练习 获取喜欢的书籍
在 Scrapy 2.9 中,可以通过 `crawler_process.crawl()` 方法启动一个爬虫,并且可以将参数传递给爬虫。在爬虫的 `__init__` 方法中可以使用 `**kwargs` 接收这些参数。
具体来说,可以在命令行中使用 `-a` 参数传递参数,例如:
```
scrapy crawl myspider -a foo=bar -a abc=123
```
然后,在爬虫的 `__init__` 方法中可以通过 `**kwargs` 获取这些参数,例如:
```python
class MySpider(scrapy.Spider):
name = 'myspider'
def __init__(self, *args, **kwargs):
super().__init__(*args, **kwargs)
self.foo = kwargs.get('foo')
self.abc = kwargs.get('abc')
```
这样,就可以在爬虫代码中使用 `self.foo` 和 `self.abc` 这两个参数了。
阅读全文