Python 网络编程学习笔记：Web 客户端访问和数据提交

Python 网络编程学习笔记（6）：Web 客户端访问 本篇笔记主要介绍了 Python 中的网络编程，特别是 Web 客户端访问的实现。下面是从笔记中提取的知识点： 1. 网络爬虫的概念 网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成部分。Python 的 urllib 和 urllib2 模块可以轻松实现这一功能。 2. 使用 urllib2 实现爬虫 使用 urllib2 模块可以实现简单的爬虫，例如下载百度首页的内容。代码如下： ``` import urllib2 page = urllib2.urlopen("http://www.baidu.com") print page.read() ``` 3. 提交表单数据 提交表单数据可以使用 GET 方法或 POST 方法。 3.1 使用 GET 方法提交数据 GET 方法是把表单数据编码至 URL 中。在给出请示的页面后，加上问号，接着是表单的元素。例如，在百度中搜索“马伊琍”得到的 URL 为： ``` http://www.baidu.com/s?wd=%E9%A9%AC%E4%BC%8A%E7%90%8D&pn=100&rn=20&ie=utf-8&usm=4&rsv_page=1 ``` 其中，？后面为表单元素。wd=%E9%A9%AC%E4%BC%8A%E7%90%8D 表示搜索的词是“马伊琍”，pn 表示从第 100 条信息所在页开始显示，rn=20 表示每页显示 20 条，ie=utf-8 表示编码格式，usm=4 的意思不明确，rsv_page=1 表示第几页。 3.2 使用 POST 方法提交数据 GET 方法中，数据是被加到 URL 上，这种方法数据量要求不大，如果需要交换大量数据的时间，POST 方法是一个很好的方法。 4. urllib.quote() 函数的使用 urllib.quote() 函数可以将字符串转换为 URL 编码。例如： ``` keyword = urllib.quote('马伊琍') ``` 5. urllib2.urlopen() 函数的使用 urllib2.urlopen() 函数可以打开一个 URL，并返回一个响应对象。例如： ``` page = urllib2.urlopen("http://www.baidu.com/s?wd=" + keyword + "&pn=100&rn=20&ie=utf-8&usm=4&rsv_page=1") ``` 6. Python 模拟 163 登陆获取邮件列表 Python 可以模拟 163 登陆获取邮件列表，详见博客《python 模拟 163 登陆获取邮件列表》。 本篇笔记介绍了 Python 中的网络编程，特别是 Web 客户端访问的实现，包括网络爬虫、提交表单数据、urllib.quote() 函数和 urllib2.urlopen() 函数的使用等知识点。