b站评论爬虫python
时间: 2023-10-16 15:11:56 浏览: 129
bilibili视频评论爬取
引用:这里我就部多说了,以前的文章里面有讲过:python 爬虫爬取疫情数据,爬虫思路和技术你全都有哈(一)_源源佩奇的博客-CSDN博客 。
引用:请求主评论的内容 import requests import jieba import time import csv from pyecharts.charts import WordCloud # 得到csv这个对象,一遍下面的存储使用 cfile = open('bilibili评论数据.csv','w ',encoding='utf8') csv_file = csv.writer(cfile) url = 'https://api.bilibili.com/x/v2/reply/main?jsonp=jsonp&next=0&type=1&oid=48487753&mode=3&plat=1&_=1667131834151' resp = requests.get(url).json() # 声明一个变量进行计数,我只需要获得200条数据就可以了 count = 0 # 数据清洗得到主评论 for i in resp['data']['replies']: # 获取评论id和页数,用作自评的请求参数 rpid = i['rpid'] rcount = i['rcount'] # 获得评论内容 content = i['content']['message'] csv_file.writerow([content]) print(rpid,content) 。
引用:不管是什么样的爬虫项目,第一步要做的就是分析网页结构,以及数据来源,和数据结构。只有当你了解后,你才能知道你的代码具体该怎么去写。
b站评论爬虫可以使用Python来实现。首先,你需要分析要爬取的网页结构,并确定数据来源和数据结构。然后,你可以使用Python的requests库发送GET请求获取网页内容,并使用json解析获取到的数据。接下来,你可以通过分析数据的结构,提取你所需要的评论内容,并存储到一个文件中,例如CSV文件。你可以使用Python的csv库来实现文件的写入。最后,你可以根据需要对数据进行清洗和处理。
阅读全文