python爬虫时cookie的使用

在 Python 爬虫中，使用 cookie 可以在访问网站时伪装成已登录用户，从而获取更多的数据。可以使用 Python 的 requests 库来管理 cookie。在发送请求时，可以使用 requests.get() 或 requests.post() 的 cookies 参数来传递 cookie。例如：

import requests

cookies = {'session_id': '1234567890'}
response = requests.get('https://www.example.com', cookies=cookies)

也可以使用 session 对象来管理 cookie，例如：

import requests

session = requests.Session()
session.get('https://www.example.com/login')  # 获取 cookie
response = session.get('https://www.example.com/data')  # 使用 cookie

另外，还可以使用已经存在的cookie文件，比如使用requests_cookiejar模块

from http.cookiejar import LWPCookieJar
from requests.utils import dict_from_cookiejar

cj = LWPCookieJar('cookies.txt')
cj.load()
session.cookies = cj

建议在使用cookie的时候慎重，避免违反相关法律法规。