python爬虫b站弹幕和数据分析
时间: 2023-07-19 10:58:24 浏览: 325
详解python爬取弹幕与数据分析
5星 · 资源好评率100%
Python爬虫获取B站弹幕和数据分析可以分为以下几个步骤:
1. 获取B站视频的cid,可以通过视频页面的URL来获取,例如视频页面的URL为:https://www.bilibili.com/video/BV1QK4y1d7dK,则cid为BV1QK4y1d7dK。
2. 使用B站提供的弹幕API获取弹幕数据,可以使用requests库发送请求,然后解析返回的XML数据,获取弹幕文本内容和发送时间等信息。
3. 将弹幕数据保存到本地文件或数据库中,可以使用csv、json、sqlite等格式进行存储。
4. 数据分析和可视化,可以使用pandas、matplotlib、seaborn等库进行数据分析和可视化,例如统计弹幕数量和分布、分析弹幕关键词等。
下面是一份获取B站视频弹幕并进行数据分析的示例代码:
```python
import requests
from bs4 import BeautifulSoup
import xml.etree.ElementTree as ET
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
# 获取视频cid
url = 'https://www.bilibili.com/video/BV1QK4y1d7dK'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
cid = soup.find('meta', {'itemprop': 'videoId'})['content']
# 获取弹幕数据
danmu_url = f'https://api.bilibili.com/x/v1/dm/list.so?oid={cid}'
response = requests.get(danmu_url)
xml_data = response.content.decode('utf-8-sig')
xml_root = ET.fromstring(xml_data)
danmu_list = []
for danmu in xml_root.iter('d'):
danmu_attr = danmu.attrib['p'].split(',')
danmu_list.append({
'time': float(danmu_attr[0]),
'mode': int(danmu_attr[1]),
'color': int(danmu_attr[3]),
'text': danmu.text.strip()
})
# 保存弹幕数据到csv文件中
df = pd.DataFrame(danmu_list)
df.to_csv('danmu.csv', index=False, encoding='utf-8-sig')
# 数据分析和可视化
df['datetime'] = pd.to_datetime(df['time'], unit='s')
df['date'] = df['datetime'].dt.date
df['hour'] = df['datetime'].dt.hour
df['minute'] = df['datetime'].dt.minute
df['second'] = df['datetime'].dt.second
df['count'] = 1
# 统计弹幕数量和分布
danmu_count = df.groupby('date')['count'].sum()
danmu_count.plot(kind='line', title='B站弹幕数量趋势', figsize=(8, 4))
plt.show()
danmu_hour_count = df.groupby('hour')['count'].sum()
danmu_hour_count.plot(kind='bar', title='B站弹幕小时分布', figsize=(8, 4))
plt.show()
# 分析弹幕关键词
from jieba.analyse import extract_tags
keywords = extract_tags(df['text'].str.cat(sep=' '), topK=20, withWeight=True)
df_keywords = pd.DataFrame(keywords, columns=['keyword', 'weight'])
sns.barplot(x='weight', y='keyword', data=df_keywords)
plt.title('B站弹幕关键词分析')
plt.show()
```
以上代码可以获取B站视频的弹幕数据,并对弹幕数据进行数量和分布统计、关键词分析等操作,并使用pandas、matplotlib和seaborn等库进行数据分析和可视化。
阅读全文