Python网络爬虫入门：从简单GET到POST提交

"Python网络编程学习笔记，主要讲解了如何使用Python进行Web客户端访问，包括最简单的爬虫实现、提交表单数据以及介绍了urllib、urllib2和http库的相关功能。" 在这篇学习笔记中，作者首先介绍了网络爬虫的基本概念，即爬虫是一个用于自动抓取网页内容的程序，对于搜索引擎来说至关重要。Python提供了urllib和urllib2这两个模块，使得编写网络爬虫变得简单易行。 最基础的爬虫实现通过urllib2模块的urlopen函数完成。例如，抓取百度首页的内容，可以这样编写代码： ```python import urllib2 page = urllib2.urlopen("http://www.baidu.com") print(page.read()) ``` 在提交表单数据的部分，作者提到了两种方法：GET和POST。GET方法是将表单数据附加到URL后面，适用于数据量较小的情况。例如，搜索“马伊琍”的请求可以通过以下代码实现： ```python import urllib keyword = urllib.quote('马伊琍') page = urllib2.urlopen("http://www.baidu.com/s?wd=" + keyword + "&pn=100&rn=20&ie=utf-8&usm=4&rsv_page=1") print(page.read()) ``` POST方法则适合传输大量数据，因为数据不会直接暴露在URL中。作者以模拟登录163邮箱获取邮件列表为例，但具体代码没有给出。通常，POST请求涉及构建包含表单数据的字典，然后通过urllib2.Request对象的data参数传递这些数据。 此外，笔记还提及了urllib模块中的urlopen()和urlretrieve()函数。urlopen()函数返回一个类文件对象，可以像处理本地文件一样读取远程URL的内容。urlretrieve()函数则用于下载整个网页到本地，返回本地文件路径。 最后，笔记还提到了httplib和mechanize库。httplib是HTTP协议的低级接口，用于发送HTTP和HTTPS请求。而mechanize是一个更高级别的库，它提供了类似浏览器的功能，如点击链接、填写表单，适合自动化测试和爬虫编写。 总结来说，这篇学习笔记涵盖了Python进行Web客户端访问的基础知识，包括简单的爬虫实现、表单数据的提交以及相关库的介绍，为初学者提供了很好的学习材料。