scrapy crawl myspider -n如何在setting中配置

您可以按照以下步骤在Scrapy的settings.py文件中配置：

1. 在settings.py文件中定义一个变量：

NEWSPIDER_MODULE = 'your_project_name.spiders'

2. 按照下面的格式为您的spider定义一个pipeline：

ITEM_PIPELINES = {'your_project_name.pipelines.YourPipelineName': 1}

3.运行spider，使用以下命令：

scrapy crawl myspider -n

注意，您需要将"myspider"替换为您的spider名称，将"your_project_name"替换为您的项目名称，以及"YourPipelineName"替换为您定义的pipeline名称。

相关问题

提示错误scrapy crawl myspider Scrapy 2.6.2 - no active project Unknown command: crawl Use "scrapy" to see available commands

这个错误提示表明Scrapy没有找到当前活动的项目，并且无法识别命令“crawl”。这可能是由于以下几个原因之一：

1. 您没有在Scrapy项目目录中运行“scrapy crawl”命令。确保您已切换到项目目录并运行该命令。

2. 您没有正确配置您的Scrapy项目。确保您已正确设置项目，包括项目名称和过滤器列表。

3. 您使用的版本不受支持。确保您使用的是支持版本的Scrapy。

尝试通过以下步骤解决此问题：

1. 确保您已切换到Scrapy项目目录中，然后运行“scrapy crawl myspider”命令。

2. 如果您没有正确配置项目，请执行以下操作：

- 创建项目：在终端中输入“scrapy startproject myproject”（将项目名称替换为您的项目名称）。

- 打开“settings.py”文件并设置项目名称：在文件中添加“BOT_NAME = 'myproject'”行（将项目名称替换为您的项目名称）。

- 在“settings.py”文件中添加过滤器：在文件末尾添加以下行：

SPIDER_MODULES = ['myproject.spiders']
NEWSPIDER_MODULE = 'myproject.spiders'

3. 确保您正在使用支持版本的Scrapy。目前，在Scrapy2.1及更高版本中支持“crawl”命令。如果您的版本过低，请尝试升级Scrapy。

scrapy crawl EsfSpider -o result.csv ^ SyntaxError: invalid syntax

这个错误提示表明你的命令语法有误。在 Windows 系统中，命令行中的命令参数应该使用斜杠 / 而不是横杠 -。也就是说，正确的命令应该是：

scrapy crawl EsfSpider /o result.csv

或者，你可以在横杠前面加上两个连字符，也就是：

scrapy crawl EsfSpider --o result.csv

希望这可以解决你的问题。