Scrpay框架爬取百度网页设置header

在Python中使用Scrapy框架爬取百度或其他网站时，设置HTTP头（Header）是非常常见的，因为很多网站为了防止爬虫滥用其服务，可能会检查请求头中的User-Agent信息。如果你不设置或使用默认的User-Agent，可能会导致IP被封禁或者返回错误响应。

以下是如何在Scrapy项目中设置自定义请求头的步骤：

1. 首先，确保你已经安装了Scrapy库，如果没有，可以通过`pip install scrapy`进行安装。

2. 在你的Scrapy项目目录下，打开`settings.py`文件。这是Scrapy全局配置的地方。

3. 找到`DOWNLOADER_MIDDLEWARES`设置，这是一个字典，用于添加中间件（Middleware）。中间件可以在下载过程中处理请求和响应。

4. 添加一个新的中间件，名为`CustomHeadersMiddleware`，并设置`USER_AGENT`字段。这里是一个示例：

# settings.py
DOWNLOADER_MIDDLEWARES = {
    'your_project.middlewares.CustomHeadersMiddleware': 543,  # 设置权重，数值越大优先级越高
}

class CustomHeadersMiddleware:
    def process_request(self, request, spider):
        request.headers.setdefault('User-Agent', 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3')

在这个例子中，我们设置了User-Agent为Chrome浏览器的一个常见值。你可以根据实际需求修改这个字符串，让它看起来像真实用户的浏览器请求。

5. 保存更改后，重启Scrapy爬虫，新的请求头就会应用到所有的爬取操作中。