使用scrapyd部署爬虫

Scrapyd是一个基于Twisted的Python爬虫部署工具，它可以帮助我们方便地管理和部署自己编写的爬虫程序。

以下是使用Scrapyd部署爬虫的步骤：

1. 安装Scrapyd

可以使用pip命令安装Scrapyd：

pip install scrapyd

2. 创建Scrapy项目

在命令行窗口中输入以下命令，创建Scrapy项目：

scrapy startproject myproject

其中myproject是项目名称。

3. 创建爬虫程序

在myproject/spiders目录下创建一个爬虫程序，例如：

import scrapy

class MySpider(scrapy.Spider):
    name = 'myspider'
    allowed_domains = ['example.com']
    start_urls = ['http://www.example.com']

    def parse(self, response):
        # 爬虫解析方法
        pass

这里创建了一个名为myspider的爬虫程序，它从http://www.example.com开始爬取数据。

4. 配置Scrapy项目

修改myproject/settings.py文件，添加如下配置：

BOT_NAME = 'myproject'

SPIDER_MODULES = ['myproject.spiders']
NEWSPIDER_MODULE = 'myproject.spiders'

ITEM_PIPELINES = {
    'scrapy.pipelines.images.ImagesPipeline': 1
}

IMAGES_STORE = 'images'

这里添加了一个名为ImagesPipeline的管道，用于下载图片，并将图片保存到images目录下。

5. 打包Scrapy项目

在命令行窗口中进入Scrapy项目的根目录，使用以下命令打包Scrapy项目：

python setup.py sdist

这时会在Scrapy项目的根目录下生成一个dist目录，其中包含了一个压缩包，例如myproject-0.1.tar.gz。

6. 部署Scrapy项目

在命令行窗口中进入Scrapy项目的根目录，使用以下命令将Scrapy项目部署到Scrapyd服务器上：

scrapyd-deploy <target> -p <project> --version <version>

其中，：

- `<target>`是Scrapyd服务器的名称，例如default；
- `<project>`是Scrapy项目的名称，例如myproject；
- `<version>`是Scrapy项目的版本号，例如0.1。

执行此命令后，Scrapyd会自动将Scrapy项目部署到Scrapyd服务器上，并生成一个新的项目版本。

7. 启动Scrapyd

在Scrapyd服务器上启动Scrapyd服务：

scrapyd

这时可以在浏览器中访问http://localhost:6800/，查看Scrapyd服务是否正常运行。

8. 运行爬虫

使用以下命令在Scrapyd服务器上运行爬虫程序：

curl http://localhost:6800/schedule.json -d project=myproject -d spider=myspider

其中，myproject和myspider分别为你的项目名称和爬虫程序名称。

运行此命令后，Scrapyd会在Scrapyd服务器上启动myspider爬虫程序，并开始爬取数据。在浏览器中访问http://localhost:6800/jobs，可以查看爬虫程序的运行状态。

至此，使用Scrapyd部署爬虫的步骤已经完成。