python scrapy伪装

在使用Scrapy进行爬虫时，可以通过伪装请求头来避免被网站识别为爬虫。下面是一些常见的方法：

1. 设置User-Agent：在Scrapy的请求头中，将User-Agent设置为一个常见的浏览器User-Agent，以模拟真实用户访问网站。例如：

class MySpider(scrapy.Spider):
    name = 'my_spider'

    def start_requests(self):
        headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.212 Safari/537.36'}
        yield scrapy.Request(url='http://www.example.com', headers=headers, callback=self.parse)

    def parse(self, response):
        # 解析响应
        pass

2. 随机切换User-Agent：使用Scrapy的Downloader Middleware，在每次请求前随机选择一个User-Agent进行设置。例如：

import random
from scrapy.downloadermiddlewares.useragent import UserAgentMiddleware

class RandomUserAgentMiddleware(UserAgentMiddleware):
    def process_request(self, request, spider):
        user_agent = random.choice(self.user_agent_list)
        request.headers.setdefault('User-Agent', user_agent)

    @classmethod
    def from_crawler(cls, crawler):
        o = cls(crawler.settings)
        crawler.signals.connect(o.spider_opened, signal=signals.spider_opened)
        return o

    def spider_opened(self, spider):
        self.user_agent_list = [
            # User-Agent列表
            # ...
        ]

# 在settings.py中启用中间件
DOWNLOADER_MIDDLEWARES = {
    'myproject.middlewares.RandomUserAgentMiddleware': 543,
}

3. 设置Referer：有些网站可能会校验请求的Referer字段，你可以将Referer设置为网站的首页或其他合适的页面，以增加请求的真实性。

请注意，尽管这些方法可以帮助你伪装爬虫请求，但仍然建议遵守网站的爬虫规则，以免对目标网站造成不必要的影响。