python爬虫的头部伪装

在Python爬虫中，我们可以使用头部伪装来模拟浏览器发送请求，以防止被目标网站识别为爬虫并阻止访问。下面是一种常见的头部伪装方法：

import requests

url = '目标网址'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0;Win64) AppleWebkit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.82 Safari/537.36'
}

response = requests.get(url, headers=headers)
# 进行后续处理

在上述代码中，我们在请求的头部中添加了一个`User-Agent`字段，并设置为一个浏览器的User-Agent字符串。这样可以让爬虫发送的请求看起来像是由浏览器发送的，提高了通过网站的检测的机会。

你可以在浏览器中访问目标网站，打开开发者工具（一般按F12键），选择Network（网络）选项卡，在刷新页面时，选中一个请求，右侧的Headers（头部）选项卡中可以找到User-Agent字段的值，复制该值即可。

需要注意的是，有些网站可能会采取其他方式来检测爬虫，如验证码、IP限制等。在编写爬虫时，还需要结合具体情况进行适当的处理。