爬取新浪微博的评论代码
时间: 2023-09-25 13:11:34 浏览: 105
Python爬取微博评论代码
3星 · 编辑精心推荐
以下是使用Python爬取新浪微博评论的代码示例:
```python
import requests
import json
# 设置请求头
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
# 目标微博的URL
url = 'https://m.weibo.cn/comments/hotflow?id=xxxxx&mid=xxxxx&max_id_type=0'
# 设置请求参数
params = {
'max_id': '',
'max_id_type': '0'
}
# 存储评论的列表
comments_list = []
# 发送请求并获取评论
while True:
response = requests.get(url, params=params, headers=headers)
data = json.loads(response.text)
# 获取下一页评论需要的参数
params['max_id'] = data['data']['max_id']
# 解析评论
for comment in data['data']['data']:
comments_list.append(comment['text'])
# 判断是否已经获取所有评论
if data['data']['max_id'] == 0:
break
# 打印所有评论
for comment in comments_list:
print(comment)
```
需要注意的是,该代码示例仅供学习参考,未经授权的批量爬取他人数据是不被允许的。
阅读全文