头歌掌握 urlopen 函数的使用,完成一个简易的爬取程序
时间: 2024-10-19 09:06:59 浏览: 27
在Python中,`urllib.request.urlopen()`函数是用于打开URL并返回一个可以读取的数据流,通常是一个HTTP响应。这个函数常用于基础网络爬虫的编程。下面是一个简单的爬虫程序示例,它使用`urlopen`获取网页内容:
```python
import urllib.request
def simple_crawler(url):
try:
# 打开URL
response = urllib.request.urlopen(url)
# 检查请求是否成功,状态码200表示成功
if response.getcode() == 200:
# 读取网页内容
webpage_content = response.read().decode('utf-8')
# 输出或处理网页内容
print("网页内容:", webpage_content)
else:
print("请求失败,状态码:", response.getcode())
except urllib.error.URLError as e:
print("错误:", str(e))
# 使用方法
simple_crawler("https://www.example.com")
```
在这个例子中,我们首先尝试打开指定的URL,如果成功,我们就读取响应数据,并将其转换为字符串。如果遇到URL相关的错误,我们会捕获异常并打印错误信息。
阅读全文