scrapy 设置请求头

Scrapy 设置请求头可以在Scrapy中的Spider类或者Scrapy中间件中设置。Spider类需要定义一个名为custom_settings的字典，包含需要设置的请求头信息。例如：

class MySpider(scrapy.Spider):
    name = 'myspider'
    custom_settings = {
        'DEFAULT_REQUEST_HEADERS': {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36',
            'Accept-Language': 'en',
            'Accept-Encoding': 'gzip, deflate, br',
            'Referer': 'https://www.example.com/'
        }
    }

其中DEFAULT\_REQUEST\_HEADERS是默认请求头的属性名称，User-Agent、Accept-Language、Accept-Encoding和Referer是常见的HTTP请求头字段，可以根据需要添加或修改。中间件通过修改Scrapy的Request对象的headers属性来设置请求头信息。可以参考Scrapy文档中介绍的HttpProxyMiddleware。