用scrapy框架翻页爬取考研信息并存储到csv中案例

好的，我可以为您提供一个使用Scrapy框架翻页爬取考研信息并存储到CSV文件中的案例。

首先，创建一个Scrapy项目，使用以下命令：

scrapy startproject kyinfo

进入项目目录，创建一个Spider，使用以下命令：

cd kyinfo
scrapy genspider kyinfo_spider example.com

在创建Spider的时候，我们使用了一个虚拟的域名example.com，因为Scrapy要求Spider必须关联一个域名。

接下来，打开kyinfo_spider.py文件，在类定义中添加以下代码：

import scrapy

class KyinfoSpiderSpider(scrapy.Spider):
    name = 'kyinfo_spider'
    allowed_domains = ['example.com']
    start_urls = ['http://example.com/kyinfo/1.html']

    def parse(self, response):
        # 解析页面信息，并提取数据
        for item in response.css('div.item'):
            title = item.css('a.title::text').get()
            link = item.css('a.title::attr(href)').get()
            yield {
                'title': title,
                'link': link,
            }

        # 翻页操作
        next_page = response.css('div.pagination a.next::attr(href)').get()
        if next_page is not None:
            yield response.follow(next_page, self.parse)

在上面的代码中，我们首先定义了起始URL，然后在parse方法中解析页面信息，并提取数据。接着，我们使用CSS选择器提取下一页的URL，并使用response.follow方法跟踪这个URL，然后继续调用parse方法进行处理。

最后，在settings.py文件中添加以下代码，将数据存储到CSV文件中：

FEED_FORMAT = 'csv'
FEED_URI = 'kyinfo.csv'

现在，我们可以运行Spider，使用以下命令：

scrapy crawl kyinfo_spider

Spider会按照您的设置自动翻页并爬取数据，并将数据存储到CSV文件中。