python如何伪装服务器表头爬取数据
时间: 2023-10-04 22:12:06 浏览: 95
Python爬虫伪装请求头User-Agent数据
要伪装服务器表头爬取数据,可以使用 Python 的 requests 库中的 headers 参数。headers 参数可以设置 HTTP 请求头,从而模拟浏览器发送请求。以下是一个示例代码:
```python
import requests
url = 'https://example.com'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 Edge/16.16299',
'Referer': 'https://example.com',
'Accept-Language': 'en-US,en;q=0.5',
'Accept-Encoding': 'gzip, deflate, br',
'Connection': 'keep-alive',
'Pragma': 'no-cache',
'Cache-Control': 'no-cache'
}
response = requests.get(url, headers=headers)
print(response.text)
```
上述代码中,headers 参数中设置了多个 HTTP 请求头,包括 User-Agent、Referer、Accept-Language、Accept-Encoding、Connection、Pragma 和 Cache-Control。这些请求头可以根据需要进行添加或修改,以达到伪装服务器表头的目的。
阅读全文