scrapy随机请求头

在Scrapy中实现随机请求头可以通过自定义中间件来实现。以下是一个示例：

1. 首先，在你的Scrapy项目的middlewares.py文件中创建一个名为RandomUserAgentMiddleware的中间件类：

import random
from scrapy import signals

class RandomUserAgentMiddleware(object):
    def __init__(self, user_agents):
        self.user_agents = user_agents

    @classmethod
    def from_crawler(cls, crawler):
        return cls(crawler.settings.getlist('USER_AGENTS'))

    def process_request(self, request, spider):
        user_agent = random.choice(self.user_agents)
        request.headers.setdefault('User-Agent', user_agent)

2. 在settings.py文件中添加以下配置：

USER_AGENTS = [
    'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3',
    'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3',
    'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3',
    # 添加更多的用户代理字符串...
]

DOWNLOADER_MIDDLEWARES = {
    'your_project_name.middlewares.RandomUserAgentMiddleware': 543,
}

确保将your_project_name替换为你的Scrapy项目的名称。

这样，每次发送请求时，RandomUserAgentMiddleware中间件将从USER_AGENTS列表中随机选择一个用户代理字符串，并将其设置为请求的User-Agent头部。这样可以模拟不同的浏览器和设备发送请求，增加请求的随机性。