python 爬虫伪装头部

在Python中进行爬虫时，可以通过伪装请求头部来模拟浏览器发送请求，防止被目标网站识别为爬虫。以下是一个示例代码，演示如何设置伪装请求头部：

import requests

url = "https://example.com"  # 要爬取的网页地址

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0;Win64) AppleWebkit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.82 Safari/537.36",  # 设置User-Agent头部模拟浏览器行为
    "Referer": "https://www.google.com"  # 设置Referer头部，表示请求是从谷歌搜索结果页面跳转过来的
}

response = requests.get(url, headers=headers)
# 进一步处理response对象，提取所需数据

在上述代码中，我们通过`headers`字典设置了`User-Agent`和`Referer`两个常见的请求头部参数。`User-Agent`用于模拟浏览器标识，`Referer`用于表示请求的来源。

请注意，每个网站可能对请求头部的要求不同，因此你可能需要根据具体的网站设置适当的请求头部参数。此外，爬虫的行为也受到法律和伦理的约束，请确保你的爬虫行为合法且合理。