Python爬虫：抓取网页内容并自动发送至邮箱示例

在本篇Python网页爬虫代码中，作者展示了如何使用Python语言编写一个脚本来抓取指定网站上的故事内容并将其发送到指定的电子邮件地址。主要步骤包括： 1. **选择目标网站**： 首先，需要确定要爬取故事的网站，这里选择了"www.tom61.com"的"儿童文学"板块下的"睡前故事"页面。网站提供多个分页，程序会随机选取1到30页之间的一个故事页面。 2. **爬取网页内容**： 使用`requests`库来发送HTTP请求，通过`get`方法获取网页内容。设置用户代理（User-Agent）以模拟浏览器访问，防止被服务器识别为机器人。同时，设定超时时间以确保请求的及时响应。 3. **处理请求结果**： 如果请求成功，获取网页的编码并返回文本内容。如果请求失败，返回"爬取失败"信息。通过`random`模块生成一个1到30之间的随机数，作为决定爬取哪一页故事的依据。 4. **构造链接**： 根据生成的随机页码，构建完整的URL地址，如"index_XX.html"形式。然后打印出即将爬取的URL。 5. **解析HTML内容**： 使用`BeautifulSoup`库解析HTML文档，将爬取的网页转换为结构化的数据。通过查找特定的HTML标签，例如`<dl>`，定位到故事主体内容。 6. **构建发送邮件功能**： 虽然这部分代码没有完全展示，但可以推测接下来会使用`zmail`库或其他相关的电子邮件发送库。这部分会根据提取的故事内容，构造邮件正文，并将它与接收者的邮箱地址一起，通过SMTP协议发送出去。 7. **代码执行与监控**： 最后，调用`getHTMLText`函数爬取网页内容，打印出来以便于开发者检查是否正确抓取。这一步对于调试和优化爬虫过程非常重要。 这段Python代码提供了一个基础的框架，用于自动化抓取儿童文学网站的睡前故事，并通过邮件发送。它展示了如何结合`requests`、`BeautifulSoup`和可能的邮件发送库来实现一个简单的网页爬虫应用。在实际使用中，可能还需要处理反爬虫策略、错误处理、多线程或异步爬取以提高效率，以及遵循网站的robots.txt规则，以确保合法、合规地进行网络抓取。