Scrpay框架设置header

在使用Scrapy框架进行网络爬取时，设置HTTP头部（Header）是非常常见的需求，因为有些网站可能会根据User-Agent、Referer等头信息进行反爬策略。以下是如何在Scrapy中设置请求头的步骤：

1. 首先，确保你已经创建了一个`Spider`类，并且继承自了`CrawlerProcess`或`BaseSpider`。

2. 在`Spider`的初始化方法`__init__()`中，你可以创建一个`Request`对象，然后设置其headers属性。例如，你可以这样做：

class MySpider(scrapy.Spider):
    name = 'myspider'
    start_urls = ['http://example.com']

    def __init__(self, *args, **kwargs):
        super().__init__(*args, **kwargs)
        self.headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3',
            'Referer': 'https://www.example.com/referer',  # 根据实际情况填写
            'Accept-Encoding': 'gzip, deflate',  # 添加其他必要的头信息
        }
        
        # 创建并设置带有headers的请求
        for url in self.start_urls:
            yield scrapy.Request(url, headers=self.headers, callback=self.parse)

    def parse(self, response):
        # ...解析响应数据...

在这个例子中，`headers`字典包含了常用的几个头部字段。当你发送请求时，这些头信息会被自动添加到请求中。