scrapy使用爬取多个页面

使用 Scrapy 爬取多个页面可以通过编写一个 Spider 来实现。Spider 是 Scrapy 中用于定义如何爬取某个（或某些）网站的类，它包含了爬取的初始链接、如何跟进链接以及如何解析页面等信息。

下面是一个示例 Spider，可以爬取多个页面：

import scrapy

class MySpider(scrapy.Spider):
    name = 'myspider'
    allowed_domains = ['example.com']
    start_urls = ['http://www.example.com/page1', 'http://www.example.com/page2']

    def parse(self, response):
        # 在这里解析页面，提取需要的信息
        pass

在这个 Spider 中，`start_urls` 列表包含了需要爬取的页面链接，`parse` 方法用于解析页面并提取信息。当爬虫启动时，Scrapy 会自动从 `start_urls` 中的链接开始爬取，然后根据页面中的链接跟进其他页面，直到没有新的链接为止。

如果需要爬取更多的页面，只需要在 `start_urls` 中添加更多的链接即可。需要注意的是，如果这些页面中有一些链接是不需要跟进的，可以通过在 Spider 中添加 `allowed_domains` 属性来限制跟进的域名。