请帮我写一段微博评论爬取代码
时间: 2024-02-06 14:12:27 浏览: 62
基于Flask框架Python爬取微.博数据,进行数据处理,可视化呈现+源代码(96分期末大作业)
当然可以,以下是一个简单的微博评论爬取代码,使用 Python 和 requests 库:
```python
import requests
import json
# 输入微博链接和要爬取的页码
url = input("请输入微博链接:")
page = int(input("请输入要爬取的页码:"))
# 构造请求头
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3"}
# 发送 GET 请求
response = requests.get(url, headers=headers)
# 从响应中获取微博 id 和评论 id
weibo_id = response.url.split("/")[-1]
containerid = response.json()["data"]["cardlistInfo"]["containerid"]
# 构造评论链接
comment_url = f"https://m.weibo.cn/api/comments/show?id={weibo_id}&page={page}&containerid={containerid}"
# 发送 GET 请求
response = requests.get(comment_url, headers=headers)
# 解析响应中的评论信息
comment_list = response.json()["data"]["data"]
for comment in comment_list:
print(comment["text"])
```
这段代码首先通过输入的微博链接和要爬取的页码构造微博评论链接,然后发送 GET 请求获取评论信息,最后解析响应中的评论信息并输出到控制台。注意,这段代码仅供学习参考,实际使用中应该加入异常处理和数据存储等功能。
阅读全文