scrapy中间件设置cookies

Scrapy中间件可以设置cookies，可以通过在请求头中添加Cookie字段来设置。可以使用Scrapy的CookieMiddleware来自动处理cookies，也可以自定义中间件来处理cookies。在自定义中间件中，可以使用Python的requests库来设置cookies。需要注意的是，设置cookies时需要根据网站的具体情况来设置，不同的网站可能需要不同的cookies。

相关问题

scrapy设置cookie

要在Scrapy中设置cookie，可以使用Scrapy的`scrapy.http.CookiesMiddleware`中间件。以下是设置cookie的步骤：

1. 在settings.py文件中，确保`COOKIES_ENABLED`设置为`True`：

   COOKIES_ENABLED = True

2. 在settings.py文件中，确保`DOWNLOADER_MIDDLEWARES`包含`scrapy.downloadermiddlewares.cookies.CookiesMiddleware`：

   DOWNLOADER_MIDDLEWARES = {
       'scrapy.downloadermiddlewares.cookies.CookiesMiddleware': 700,
   }

3. 创建一个Scrapy的Spider，并在其中定义`start_requests`方法：

   import scrapy
   
   class MySpider(scrapy.Spider):
       name = 'myspider'
       start_urls = ['http://example.com']
   
       def start_requests(self):
           # 设置cookie
           cookies = {
               'key1': 'value1',
               'key2': 'value2',
           }
   
           yield scrapy.Request(url=self.start_urls[0], cookies=cookies, callback=self.parse)
   
       def parse(self, response):
           # 解析响应
           # ...
           pass

在上述示例中，我们在`start_requests`方法中设置了两个cookie并发送了请求。可以根据需要设置更多的cookie。

这样，当Spider运行时，Scrapy会自动在请求中添加设置的cookie。

scrapy设置Cookie池

Scrapy 设置 Cookie 池可以通过以下步骤实现：

1. 在 Scrapy 的 settings.py 文件中添加一个新的 COOKIES_ENABLED 配置项，将其设置为 True，启用 Cookie。

2. 添加一个新的 COOKIES_POOL_SIZE 配置项，指定 Cookie 池的大小，即最多保存多少个 Cookie。

3. 在 Scrapy 的 spider 中，编写一个自定义的中间件，用于处理 Cookie 池。该中间件需要实现以下功能：

a. 在请求中添加 Cookie，从 Cookie 池中随机选择一个 Cookie。

b. 在响应中获取 Cookie，将 Cookie 添加到 Cookie 池中。

4. 在 Scrapy 的 spider 中，将自定义的中间件添加到 DOWNLOADER_MIDDLEWARES 配置项中。

下面是一个示例代码，用于实现 Cookie 池功能：

settings.py:

COOKIES_ENABLED = True
COOKIES_POOL_SIZE = 10

DOWNLOADER_MIDDLEWARES = {
    'myproject.middlewares.CookiePoolMiddleware': 543,
}

middlewares.py:

import random

class CookiePoolMiddleware(object):

    def __init__(self, cookies_pool):
        self.cookies_pool = cookies_pool

    @classmethod
    def from_crawler(cls, crawler):
        return cls(
            cookies_pool=crawler.settings.get('COOKIES_POOL', []),
        )

    def process_request(self, request, spider):
        if self.cookies_pool:
            cookie = random.choice(self.cookies_pool)
            request.cookies = cookie

    def process_response(self, request, response, spider):
        if 'Set-Cookie' in response.headers:
            cookie = response.headers.get('Set-Cookie', '')
            self.cookies_pool.append(cookie)

        return response

在 spider 中使用：

class MySpider(scrapy.Spider):
    name = 'myspider'

    def start_requests(self):
        urls = ['http://www.example.com']
        for url in urls:
            yield scrapy.Request(url=url, callback=self.parse)

    def parse(self, response):
        # Your spider code goes here
        pass

这样，Scrapy 设置 Cookie 池就完成了。在请求时，中间件会从 Cookie 池中随机选择一个 Cookie，并将其添加到请求中；在响应时，中间件会将响应中的 Cookie 添加到 Cookie 池中。这样，每次请求都会使用不同的 Cookie，从而避免被识别为机器人。