用jupyter爬取广州地铁数据库的最新客流(完整代码)
时间: 2023-10-21 18:35:58 浏览: 332
好的,以下是用 Jupyter 爬取广州地铁数据库的最新客流的完整代码:
```python
import requests
import pandas as pd
# 构造请求头
headers = {
'Referer': 'http://cs.gzmtr.com/ckfw/cx/kllcx/index.jsp',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.132 Safari/537.36'
}
# 构造请求参数
data = {
'province': '广东省',
'city': '广州市',
'type': '1',
'fdate': '',
'tdate': '',
'station': '',
'line': '',
'direction': '',
'FromUrl': 'http://cs.gzmtr.com/ckfw/cx/kllcx/index.jsp'
}
# 发送 POST 请求
response = requests.post('http://cs.gzmtr.com/ckfw/cx/kllcx/query.jsp', headers=headers, data=data)
# 将响应数据转换为 DataFrame 格式
df = pd.read_html(response.text)[0]
# 输出前 5 行数据
print(df.head())
```
需要注意的是,该代码需要依赖 requests 和 pandas 两个库,如果没有安装,可以使用以下命令进行安装:
```shell
pip install requests pandas
```
此外,该代码中的请求头和请求参数是通过抓包获取的,因此可能会出现请求参数失效的情况,如果出现该问题,可以尝试重新抓包获取最新的请求参数。
阅读全文