编写一个程序,分别使用urllib和requests爬取关于Python的百度搜索页面。
时间: 2024-09-14 22:06:01 浏览: 51
要使用urllib和requests库分别爬取关于Python的百度搜索页面,可以按照以下步骤进行:
### 使用urllib
1. 导入urllib库中的`request`模块。
2. 使用`urllib.request.urlopen()`函数发起网络请求。
3. 读取响应内容,获取HTML页面。
示例代码:
```python
import urllib.request
# 搜索URL,%s为占位符,用于之后插入搜索关键字
url = "http://www.baidu.com/s?wd=%s"
# 使用urllib.request.urlopen()函数发起网络请求
response = urllib.request.urlopen(url % 'Python')
# 读取响应内容
html = response.read().decode('utf-8')
# 打印HTML内容
print(html)
```
### 使用requests
1. 导入requests库。
2. 使用requests.get()函数发起GET请求。
3. 获取响应内容。
示例代码:
```python
import requests
# 搜索URL,%s为占位符,用于之后插入搜索关键字
url = "http://www.baidu.com/s?wd=%s"
# 使用requests.get()函数发起GET请求
response = requests.get(url % 'Python')
# 获取响应内容
html = response.text
# 打印HTML内容
print(html)
```
在以上两种方法中,你需要替换`%s`为`Python`或其他关键词来进行搜索,然后获取并打印出百度搜索的HTML页面。
阅读全文