python爬取网页body内容代码
时间: 2024-09-14 11:02:48 浏览: 75
python批量获取html内body内容的实例
在Python中,爬取网页的body内容通常使用`requests`库来发送HTTP请求,并获取响应内容。以下是使用`requests`库来爬取网页body内容的基本代码示例:
```python
import requests
# 目标网页的URL
url = 'http://example.com'
# 发送GET请求
response = requests.get(url)
# 检查请求是否成功
if response.status_code == 200:
# 获取网页的body内容
body_content = response.text
print(body_content)
else:
print('请求失败,状态码:', response.status_code)
```
在这段代码中,首先导入了`requests`模块,然后定义了目标网页的URL。通过调用`requests.get()`函数发送一个GET请求,并将返回的响应对象存储在变量`response`中。通过检查`response.status_code`属性判断请求是否成功。如果HTTP响应状态码为200,则表示请求成功,随后使用`response.text`获取网页的body内容并打印出来。
在实际应用中,你可能还需要处理网络错误、编码问题以及进行内容解析等操作,例如使用`try-except`语句来捕获并处理可能发生的异常,使用`response.encoding`来确保内容按照正确的编码格式解码。
阅读全文