Python编程：信息探索实战

"Python for Information" 是一本关于使用Python进行信息探索的书籍，作者是Charles Severance。本书主要讲解如何利用Python进行网络爬虫程序的编写，内容涵盖网络爬虫的基础，包括数据抓取的三种方法，缓存数据的提取，多线程和多进程的并发抓取技术，动态页面内容的抓取，处理表单交互和验证码问题，以及使用Scrapy和Portia这两个工具进行数据抓取。此外，书中还通过实例展示了如何应用所学技术对真实网站进行数据抓取。 全书分为多个章节，从基础的Python编程概念开始，逐步深入到高级的网络爬虫技术。2013年版本增加了关于数据可视化的新章节，并对第13章和第14章进行了重大修订，采用JSON格式处理数据，并介绍了OAuth协议的使用。从2009年至2014年，书本经历了多次修订和完善，内容更加丰富和专业。 书中首先介绍了Python的基本语法和编程思维，让读者建立起计算机科学的基础。接着，讲解了网络爬虫的基础知识，如HTTP协议、HTML解析、正则表达式等，帮助读者理解如何从网页中抓取所需信息。在数据提取部分，书中详细讨论了三种方法，包括DOM解析、XPath和BeautifulSoup库的使用。 针对动态内容的抓取，书中提到了JavaScript执行和异步请求的处理，这对于抓取现代Web应用程序中的信息至关重要。同时，书中也涵盖了如何处理登录、表单提交和验证码识别，这些都是实际爬虫项目中常见的挑战。 在并发抓取部分，作者介绍了Python的多线程和多进程技术，帮助提高爬虫的效率。Scrapy是一个强大的爬虫框架，而Portia则提供了一个可视化的爬虫设计工具，这两者结合使用可以让数据抓取工作更加高效和便捷。 最后，书中通过实例教程演示了如何将这些理论和技术应用到实际的网站数据抓取中，使读者能够将所学知识付诸实践，增强解决实际问题的能力。 《Python for Information》是一本全面且实用的Python网络爬虫指南，适合对网络爬虫感兴趣的初学者和有一定编程基础的读者。通过学习这本书，读者不仅可以掌握Python编程基础，还能深入了解网络爬虫的原理和实践，为信息获取和数据分析打下坚实基础。