python requests 爬虫
时间: 2024-07-14 13:01:25 浏览: 67
`requests` 是 Python 中非常流行的一个库,它简化了 HTTP 请求的过程。通过这个库,开发者可以方便地发送 GET、POST、PUT、DELETE 等HTTP请求,并获取服务器响应的数据,如HTML、JSON等。以下是 `requests` 简单的爬虫使用步骤:
1. 安装 `requests`: 如果还没有安装,可以使用 pip 命令安装:`pip install requests`。
2. 导入模块:在Python程序中导入 requests 模块:
```python
import requests
```
3. 发送请求:例如,获取一个网页内容:
```python
response = requests.get('https://www.example.com')
```
这里,`get()` 函数用于发送GET请求,返回值是一个 Response 对象。
4. 获取数据:你可以查看响应的状态码(HTTP状态码),解析响应文本,或获取 JSON 数据:
```python
status_code = response.status_code
html_content = response.text
json_data = response.json() # 如果服务器返回的是JSON格式
```
5. 处理异常:网络请求可能会遇到各种错误,如超时、连接失败等,这时需要处理可能出现的异常,比如`requests.exceptions.RequestException`。