python微博评论爬虫
时间: 2023-09-02 09:11:32 浏览: 139
Python微博评论爬虫是一种用Python编写的程序,用于获取微博的评论数据。爬虫的整体步骤可以分为以下几个部分。
首先,需要登录手机微博官网,并获取到微博页面的截图。这个步骤主要是为了获取到微博的唯一序列号,即mid,以便后续获取评论数据使用。
接下来,需要找到有效的js包地址,其中包含了评论数据。通过删除多余的参数,我们可以得到有效的js包地址,如"https://weibo.com/aj/v6/comment/small?mid=4465267293291962"。
然后,我们需要通过Fiddler等工具搜索微博页面中的mid信息,这些信息可以在微博的属性中找到。通过提取这些mid信息,我们可以获取到每条微博的评论数据。
在编写爬虫程序时,需要使用到一些工具和库,如Python的requests库、json库、lxml库、urllib库、jieba库(用于分词)、WordCloud库(用于生成词云)。这些工具和库可以帮助我们发送请求、解析数据、进行分词和生成词云。
综上所述,通过以上步骤和使用相关工具和库,我们可以编写一个Python微博评论爬虫,用于获取微博的评论数据。<span class="em">1</span><span class="em">2</span><span class="em">3</span>
#### 引用[.reference_title]
- *1* [python爬虫之爬取手机微博评论(图文并排,炒鸡详细!!!)](https://blog.csdn.net/qq_37708702/article/details/104906832)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"]
- *2* *3* [【Python爬虫实例学习篇】——5、【超详细记录】从爬取微博评论数据(免登陆)到生成词云](https://blog.csdn.net/qq_40528553/article/details/104095304)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"]
[ .reference_list ]
阅读全文