requests.post() 爬取数据
时间: 2023-10-17 19:06:34 浏览: 145
`requests.post()` 是一个 Python 中的函数,用于发送 HTTP POST 请求来获取数据。通过该函数,我们可以向指定的 URL 发送请求,并传递一些参数和数据。一般来说,POST 请求用于向服务器提交数据,比如登录表单、提交评论等。
下面是使用 `requests.post()` 函数爬取数据的基本步骤:
1. 导入 `requests` 模块:`import requests`
2. 构建 POST 请求的参数和数据:可以使用字典或 JSON 格式来存储参数和数据。例如:`payload = {'key1': 'value1', 'key2': 'value2'}`
3. 发送 POST 请求:使用 `requests.post()` 函数,并指定目标 URL 和参数/数据。例如:`response = requests.post(url, data=payload)`
4. 处理响应结果:可以通过 `response.text` 属性获取响应内容。
以下是一个示例代码,演示如何使用 `requests.post()` 函数爬取数据:
```python
import requests
url = 'https://www.example.com/login'
payload = {'username': 'my_username', 'password': 'my_password'}
response = requests.post(url, data=payload)
if response.status_code == 200:
# 处理响应结果
print(response.text)
else:
print('请求失败')
```
阅读全文