爬虫 post请求如何操作
时间: 2023-05-09 09:03:59 浏览: 122
爬虫post请求可以通过Python语言的requests库实现。首先需要导入requests库,然后使用requests.post()函数来发送post请求。这个函数的主要参数有url、data、headers以及timeout等。其中url为请求的目标网页地址,data为post请求中需要提交的数据,headers为请求头参数,timeout为请求超时时间。
在发送post请求之前,需要先获取该网页的表单数据,可以通过requests库中的get()函数获取。比如表单中有账号和密码两个字段,我们需要先发送get请求获取表单数据,再将账号和密码以字典形式传入data参数中发送post请求。
示例代码如下:
import requests
# 获取表单数据
get_url = "http://example.com/login"
response = requests.get(get_url)
data = {
"username": "123456",
"password": "password123"
}
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.82 Safari/537.36"
}
timeout = 5
# 发送post请求
post_url = "http://example.com/login"
response = requests.post(post_url, data=data, headers=headers, timeout=timeout)
# 解析响应数据
if response.status_code == 200:
print(response.text)
else:
print("请求失败")
阅读全文