python爬取包含日期、通过率、cookie、request payload网页
时间: 2023-12-03 07:02:52 浏览: 235
首先,你需要使用 `requests` 库来发送 HTTP 请求,并使用 `beautifulsoup4` 库来解析 HTML 页面。以下是一个简单的示例代码,可以帮助你爬取包含日期、通过率、cookie、request payload 的网页:
``` python
import requests
from bs4 import BeautifulSoup
# 设置请求头部
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3',
'Cookie': 'your-cookie-here'
}
# 构造请求体
data = {
'param1': 'value1',
'param2': 'value2'
}
# 发送 POST 请求
response = requests.post('http://www.example.com', headers=headers, data=data)
# 解析 HTML 页面
soup = BeautifulSoup(response.text, 'html.parser')
# 获取需要的数据
date = soup.find('span', {'class': 'date'}).text
pass_rate = soup.find('div', {'class': 'pass-rate'}).text
payload = response.request.body
```
在上面的代码中,你需要将 `headers` 替换成你的请求头部,将 `data` 替换成你需要发送的请求体。此外,你还需要将 `http://www.example.com` 替换为你要爬取的网页地址。最后,你可以使用 `soup.find()` 方法来查找 HTML 页面中的特定元素,并使用 `response.request.body` 属性来获取请求体的内容。
阅读全文