python网络爬虫获取cookie
时间: 2023-08-22 11:03:55 浏览: 129
要在Python中使用网络爬虫获取cookie,你可以使用requests库。以下是一个简单的示例代码:
```python
import requests
# 发起请求
response = requests.get('https://www.example.com')
# 获取cookie
cookie = response.cookies.get_dict()
print(cookie)
```
这段代码发送一个GET请求到'https://www.example.com',然后使用`response.cookies.get_dict()`方法获取到响应的cookie,并将其打印出来。你可以根据需要对cookie进行进一步处理和使用。
请注意,获取cookie时,你可能需要在请求头中设置一些额外信息,例如User-Agent等。这取决于你要爬取的网站的要求。你可以使用requests库的`headers`参数来设置请求头。
```python
import requests
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
}
response = requests.get('https://www.example.com', headers=headers)
cookie = response.cookies.get_dict()
print(cookie)
```
记得根据需要修改`User-Agent`的值。这是一个常见的请求头字段,用于模拟浏览器发送请求。
阅读全文