Python爬虫实战：利用cookie抓取QQ空间好友列表

在进行Python爬虫时，遇到需要登录才能访问的内容，如知乎答案、社交网络的好友列表等，一个常见的挑战是处理网站的登录验证和cookie管理。cookie是一种关键的"凭证"，它存储了用户的会话信息，使得网站能够识别并保持用户的登录状态。正确使用cookie对于模拟用户行为至关重要。 首先，我们需要通过浏览器获取cookie。以QQ空间为例，具体步骤如下： 1. 使用FireFox浏览器登录QQ空间，这会自动创建必要的cookie信息。 2. 启动浏览器的开发者工具FireBug，切换至Cookies页签，找到cookies按钮菜单，选择"导出本站点的cookie"，这将把cookie保存为一个名为cookies.txt的文本文件。 获取到cookie后，我们需要将其应用到Python爬虫中。以下是一个简单的Python脚本，使用`http.cookiejar`模块和`urllib.request`模块来操作cookie： ```python import http.cookiejar import urllib.request # 设置默认头信息，包括User-Agent，模仿浏览器 DEFAULT_HEADERS = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:43.0) Gecko/20100101 Firefox/43.0"} # 设置超时时间 DEFAULT_TIMEOUT = 360 def grab(url): # 创建MozillaCookieJar对象 cookie_jar = MozillaCookieJar() # 加载已获取的cookie，ignore_discard=True表示不忽略过期的cookie，ignore_expires=True表示加载所有cookies cookie_jar.load('cookies.txt', ignore_discard=True, ignore_expires=True) # 创建Request对象，包含默认头信息 request = Request(url, headers=DEFAULT_HEADERS) # 创建opener，使用HTTPCookieProcessor处理cookie opener = build_opener(HTTPCookieProcessor(cookie_jar)) # 打开网页，使用新创建的opener，带上了cookie信息 try: response = opener.open(request, timeout=DEFAULT_TIMEOUT) except Exception as e: print(f"Error occurred while opening the URL: {e}") # 处理返回的网页数据（此处未给出） # ... ``` 在这个脚本中，我们首先加载cookies.txt中的cookie，然后创建一个新的opener，该opener会在发送每个HTTP请求时自动携带这些cookie。这样，当爬虫访问需要登录的页面时，由于包含了cookie，服务器会识别它为已经登录的用户，从而允许爬虫获取到相应的受保护内容，如QQ空间的好友列表。 使用cookie的关键在于正确地获取、解析和应用它们，确保爬虫能够模拟用户的登录状态，并遵循网站的robots.txt协议，避免触犯反爬虫策略。同时，还要注意定期更新cookie，因为部分网站会定期刷新或改变cookie，这可能会影响到爬虫的持续运行。