python爬取新榜数据
时间: 2023-09-04 10:14:02 浏览: 132
以下是一个简单的 Python 爬取新榜数据的代码示例:
```python
import requests
import json
# 新榜链接
url = 'https://www.newrank.cn/api/sync/data/getInsightData'
# 请求参数
params = {
'flag': 'day',
'startDate': '2022-01-01',
'endDate': '2022-01-31',
'rankFlag': 'all',
'indexCode': 'all',
'platform': 'all',
'dataType': 'index',
'device': 'all',
'industryId': '0',
'provinceId': '0',
'cityId': '0',
'pageSize': '10000',
'page': '1'
}
# 发送 POST 请求,获取数据
response = requests.post(url, params=params)
data = json.loads(response.text)
# 循环遍历数据列表,提取信息并输出
for item in data['value']['list']:
# 提取排名
rank = item['rank']
# 提取账号名称
account_name = item['title']
# 提取账号链接
account_link = item['url']
# 提取账号类型
account_type = item['indexTypeName']
# 提取指数数据
index_data = item['indexData']
# 输出信息
print('排名:', rank)
print('账号名称:', account_name)
print('账号链接:', account_link)
print('账号类型:', account_type)
print('指数数据:', index_data)
print('------------------------')
```
这段代码可以爬取新榜网站某个时间范围内的数据,你可以根据自己需要修改请求参数,来获取其他时间范围或者其他类型的数据。另外,需要注意的是,新榜网站也有反爬机制,如果频繁爬取可能会被封 IP,建议适当控制访问频率。
阅读全文