使用 Python 代码,通过 urllib3 模块实现发送 POST 请求获取网页内容。请求页面为:https://fanyi.baidu.com/sug 封装参数为: {'kw':'苹果',}
时间: 2024-10-20 22:13:07 浏览: 15
python爬虫 urllib模块发起post请求过程解析
在Python中,你可以使用`urllib3`模块结合`requests`库(urllib3实际上是requests的一个低层组件)来发送POST请求并获取网页内容。首先需要安装这两个库,如果尚未安装,可以使用`pip install requests urllib3`命令安装。
下面是一个简单的示例:
```python
import requests
from urllib3.util import Retry
from requests.adapters import HTTPAdapter
# 设置基础URL和请求参数
base_url = "https://fanyi.baidu.com/sug"
params = {
'kw': '苹果',
}
# 设置超时和重试策略
retries = Retry(total=3, backoff_factor=0.5, status_forcelist=[500, 502, 503, 504])
http_adapter = HTTPAdapter(max_retries=retries)
# 创建session并添加重试适配器
session = requests.Session()
session.mount(base_url, http_adapter)
# 发送POST请求
response = session.post(base_url, data=params)
# 确保请求成功,检查状态码
if response.status_code == 200:
# 获取网页内容
page_content = response.text
print("网页内容:", page_content)
else:
print(f"请求失败,状态码:{response.status_code}")
#
阅读全文