Python爬虫实战：抓取糗事百科段子

本文是一篇关于Python爬虫实战的教程，主要介绍如何利用Python编写脚本来爬取糗事百科的热门段子。作者以糗事百科为例，这个网站允许非登录用户访问，因此不需要考虑Cookie问题。文章的主要目标包括： 1. 抓取糗事百科的热门段子：作者首先确定了抓取的URL格式（http://www.qiushibaike.com/hot/page/），其中页码可以动态改变以获取不同页的段子。 2. 过滤含有图片的段子：由于图片不利于在文本展示中呈现，作者计划在爬取过程中筛选掉包含图片的段子，以优化输出结果。 3. 实现动态展示功能：每次按下回车键，程序会显示一个段子的发布时间、发布者、段子内容以及点赞数。这展示了爬虫在交互式应用中的实际应用场景。 在实际操作中，作者首先尝试使用基础的urllib和urllib2库进行页面抓取，但遇到了URLError，原因在于服务器可能对请求头进行了验证。为解决这个问题，作者加入了headers参数，修改了代码以通过更规范的方式访问网页。 在代码示例中，作者引入了requests库，这是一个更现代且功能丰富的HTTP库，可以方便地处理请求头和状态码。以下是修正后的部分代码片段： ```python import requests # 添加headers以模拟浏览器请求 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3' } # 抓取指定页数的段子 for page in range(1, N): # N为总页数，可以根据需求调整 url = f'http://www.qiushibaike.com/hot/page/{page}' response = requests.get(url, headers=headers) if response.status_code == 200: # 检查请求是否成功 data = response.json() # 假设数据以JSON格式返回 for item in data['data']: # 遍历获取的段子 if not item.get('image'): # 检查是否有图片 print(f'发布时间: {item["time"]}') print(f'发布者: {item["author"]}') print(f'段子内容: {item["content"]}') print(f'点赞数: {item["praise_count"]}\n') else: print(f'无法获取第{page}页数据，错误状态码: {response.status_code}') ``` 总结起来，这篇文章教会了读者如何使用Python爬虫技术抓取糗事百科的段子，涉及到了URL构建、异常处理、页面解析（如使用requests库）、以及数据筛选等关键步骤。通过这个实例，读者可以了解到如何在实际场景中应用Python爬虫，并对爬虫开发有了更深入的理解。