用python构造opener后,爬取页面的数据
时间: 2023-06-14 21:05:29 浏览: 54
可以使用Python中的urllib库来构造opener并爬取页面数据。下面是一个简单的示例:
```python
import urllib.request
from http.cookiejar import CookieJar
# 创建一个CookieJar对象来存储cookie
cookie_jar = CookieJar()
# 创建一个opener对象
opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cookie_jar))
# 设置HTTP请求头
opener.addheaders = [('User-Agent', 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36')]
# 发送HTTP请求并获取响应
response = opener.open('http://www.example.com')
# 读取响应内容
html = response.read()
# 关闭opener
opener.close()
# 打印响应内容
print(html.decode('utf-8'))
```
在上面的示例中,我们首先创建了一个CookieJar对象来存储cookie,然后使用build_opener方法创建了一个opener对象,并添加了一个User-Agent头。接着,我们使用opener对象发送了HTTP请求并获取了响应,最后读取响应内容并打印输出。注意,最后需要关闭opener对象以释放资源。