scrapy设置Cookie池

Scrapy 设置 Cookie 池可以通过以下步骤实现：

1. 在 Scrapy 的 settings.py 文件中添加一个新的 COOKIES_ENABLED 配置项，将其设置为 True，启用 Cookie。

2. 添加一个新的 COOKIES_POOL_SIZE 配置项，指定 Cookie 池的大小，即最多保存多少个 Cookie。

3. 在 Scrapy 的 spider 中，编写一个自定义的中间件，用于处理 Cookie 池。该中间件需要实现以下功能：

a. 在请求中添加 Cookie，从 Cookie 池中随机选择一个 Cookie。

b. 在响应中获取 Cookie，将 Cookie 添加到 Cookie 池中。

4. 在 Scrapy 的 spider 中，将自定义的中间件添加到 DOWNLOADER_MIDDLEWARES 配置项中。

下面是一个示例代码，用于实现 Cookie 池功能：

settings.py:

COOKIES_ENABLED = True
COOKIES_POOL_SIZE = 10

DOWNLOADER_MIDDLEWARES = {
    'myproject.middlewares.CookiePoolMiddleware': 543,
}

middlewares.py:

import random

class CookiePoolMiddleware(object):

    def __init__(self, cookies_pool):
        self.cookies_pool = cookies_pool

    @classmethod
    def from_crawler(cls, crawler):
        return cls(
            cookies_pool=crawler.settings.get('COOKIES_POOL', []),
        )

    def process_request(self, request, spider):
        if self.cookies_pool:
            cookie = random.choice(self.cookies_pool)
            request.cookies = cookie

    def process_response(self, request, response, spider):
        if 'Set-Cookie' in response.headers:
            cookie = response.headers.get('Set-Cookie', '')
            self.cookies_pool.append(cookie)

        return response

在 spider 中使用：

class MySpider(scrapy.Spider):
    name = 'myspider'

    def start_requests(self):
        urls = ['http://www.example.com']
        for url in urls:
            yield scrapy.Request(url=url, callback=self.parse)

    def parse(self, response):
        # Your spider code goes here
        pass

这样，Scrapy 设置 Cookie 池就完成了。在请求时，中间件会从 Cookie 池中随机选择一个 Cookie，并将其添加到请求中；在响应时，中间件会将响应中的 Cookie 添加到 Cookie 池中。这样，每次请求都会使用不同的 Cookie，从而避免被识别为机器人。