python爬虫设置headers字段
时间: 2023-11-08 19:51:59 浏览: 222
爬虫:设置Request Header(请求头)
5星 · 资源好评率100%
要设置headers字段,你可以使用Python中的requests库来实现。headers字段可以包含一些请求的头信息,如User-Agent、Accept-Language等。下面是一个示例代码:
```python
import requests
url = 'your_url'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3',
'Accept-Language': 'en-US,en;q=0.9',
'Referer': 'http://www.example.com'
}
response = requests.get(url, headers=headers)
```
在上面的代码中,你需要将'your_url'替换为你要爬取的网页链接。然后你可以根据需要设置不同的headers字段,这里给出了User-Agent、Accept-Language和Referer三个常见的例子。最后,使用requests库的get方法发送请求时,将headers参数设置为我们定义的headers字典即可。
阅读全文