scrapy设置请求头具体步骤

Scrapy设置请求头的具体步骤如下：

1. 在Scrapy项目的settings.py文件中添加如下代码：

DEFAULT_REQUEST_HEADERS = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36',
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
    'Accept-Language': 'en',
}

这里我们设置了一个默认的请求头，包括User-Agent、Accept和Accept-Language。

2. 在Spider中设置请求头：

在Spider中，我们可以通过在Request中设置headers参数来设置请求头。例如：

import scrapy

class MySpider(scrapy.Spider):
    name = 'myspider'
    allowed_domains = ['example.com']
    start_urls = ['http://www.example.com']

    def start_requests(self):
        headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36',
            'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
            'Accept-Language': 'en',
        }
        for url in self.start_urls:
            yield scrapy.Request(url, headers=headers, callback=self.parse)

    def parse(self, response):
        ...

在这个例子中，我们在start_requests方法中设置了请求头，并将其传递给Request。在parse方法中，我们可以通过response.headers来获取响应头。

注意：在Spider中设置的请求头会覆盖默认的请求头。如果你需要保留默认的请求头，可以在Spider中设置一个新的字典，将默认的请求头和新的请求头合并。例如：

headers = {
    'Referer': 'http://www.example.com',
    'Cookie': 'sessionid=1234567890',
}
headers.update(DEFAULT_REQUEST_HEADERS)
yield scrapy.Request(url, headers=headers, callback=self.parse)

这里我们定义了一个新的字典headers，并将其与默认的请求头合并。然后将headers传递给Request。这样做可以保留默认的请求头，并添加新的请求头。