请写一段爬取b站视频弹幕的python爬虫代码

爬取b站视频弹幕的python爬虫代码：import requestsurl='https://api.bilibili.com/x/v1/dm/list.so?oid=视频id'headers={
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.122 Safari/537.36'
}res=requests.get(url,headers=headers)danmu=res.json()['dms']for item in danmu:
print(item['p'][2],item['c'])

相关问题

python爬虫爬取b站评论弹幕

### 使用 Python 抓取 B 站评论和弹幕数据

为了实现这一目标，可以采用多种方法来获取所需的数据。通常情况下，直接访问网页并解析 HTML 不是最有效的方式；相反，利用 API 接口能够更高效地获得结构化的 JSON 数据。

#### 一、准备工作

在开始之前，确保安装了必要的库：

pip install requests beautifulsoup4 pymongo pandas matplotlib seaborn jieba wordcloud

这些工具可以帮助处理 HTTP 请求、HTML 解析以及后续的数据分析工作。

#### 二、抓取弹幕数据

对于 B 站而言，其弹幕是以 XML 或者 JSON 形式存储于特定 URL 中。可以通过发送 GET 请求到相应的接口地址来取得实时或历史弹幕记录[^1]。

下面是一个简单的例子展示如何从指定视频 ID 下载弹幕文件：

import json
import time
from datetime import timedelta, date
import requests


def get_danmaku(cid, start_date, end_date):
    """
    获取某段时间内的所有弹幕
    
    参数:
        cid (str): 视频 CID 值.
        start_date (date): 开始日期.
        end_date (date): 结束日期.

    返回值:
        list: 所有符合条件的弹幕列表.
    """

    danmakus = []
    
    current_day = start_date
    
    while current_day <= end_date:
        
        url = f"https://api.bilibili.com/x/v2/dm/web/history/seg.so?type=1&oid={cid}&date={current_day.strftime('%Y-%m-%d')}"
        response = requests.get(url)

        if 'no data' not in str(response.content):

            content = response.text
            
            # 处理返回的内容...
            
            danmakus.extend(parse_xml_to_list(content))
        
        else:
            break
        
        current_day += timedelta(days=1)
    
    return danmakus


def parse_xml_to_list(xml_string):
    """将XML字符串转换成包含每条弹幕文本的列表"""
    from xml.etree.ElementTree import fromstring as et_fromstring
    root = et_fromstring(xml_string.encode('utf-8'))
    result = []

    for child in root.findall('./d'):
        text = child.text.strip()
        result.append(text)

    return result

需要注意的是，在实际操作过程中可能遇到诸如反爬机制等问题，因此建议适当调整请求频率，并考虑加入代理池等功能以提高稳定性[^2]。

#### 三、保存与预处理

收集到原始数据之后，下一步就是对其进行清理和整理以便进一步的研究。这一步骤涉及到去除重复项、过滤无关字符等内容。此外还可以根据需求选择合适的数据库（如 MongoDB）来进行持久化管理。

#### 四、数据分析与可视化

最后阶段是对提取出来的信息做深入挖掘，比如统计高频词汇、绘制词云图等。这里推荐使用 `pandas` 和 `matplotlib/seaborn` 库完成表格创建及图表制作任务。

---

python爬虫爬取b站视频数据

### 如何使用 Python 编写爬虫抓取 B 站视频数据

#### 准备工作
为了实现这一目标，需要安装一些必要的库。这些库可以帮助处理 HTTP 请求、解析 JSON 数据以及管理异步操作。

pip install requests aiohttp bilibili-api-python

#### 抓取视频基本信息

通过调用 `bilibili-api` 库中的接口方法可以直接获取到指定 AV/BV 号的视频详情：

from bilibili_api import video as bvid_video, sync

def fetch_basic_info(bv_id):
    v = bvid_video.Video(bvid=bv_id)
    info_dict = sync(v.get_info())
    
    title = info_dict['title']
    pub_date = info_dict['pubdate']  # 时间戳形式返回发布时间
    
    return {
        "标题": title,
        "发布时间": pub_date
    }

此部分代码利用了第三方封装好的 API 接口来简化请求过程[^1]。

#### 获取弹幕列表

针对每一条视频记录其对应的 XML 格式的弹幕文件链接，并下载保存至本地；接着读取该文件提取其中的有效字段完成进一步的数据挖掘任务。

import xml.etree.ElementTree as ET
from datetime import datetime


async def download_danmaku(video_bvid, output_file='danmakus.xml'):
    vid = bvid_video.Video(bvid=video_bvid)
    danmu_url = await vid.get_dm_xml()
    
    async with aiohttp.ClientSession() as session:
        resp = await session.get(danmu_url[0])
        content = await resp.text()

        with open(output_file, 'w', encoding='utf8') as f:
            f.write(content)

# 解析XML格式的弹幕文档
def parse_danmaku(file_path):
    tree = ET.parse(file_path)
    root = tree.getroot()
    
    items = []
    for item in root.findall('d'):
        text = item.text.strip()
        timestamp_str = float(item.attrib['p'].split(',')[0])  # 提取消息显示的时间轴位置
        
        formatted_time = str(datetime.fromtimestamp(timestamp_str))
        
        items.append({
            "content": text,
            "time": formatted_time
        })
    
    return items

上述函数实现了从远程服务器拉取特定编号影片关联的所有即时聊天消息并将其转换成易于理解的形式存储下来供后续分析使用[^2]。

#### 清洗与统计分析

对于收集来的原始弹幕资料而言，在正式投入应用之前往往还需要经历一系列预处理环节，比如去除无关字符、过滤敏感词汇等。之后再基于清理后的高质量语料开展诸如词频计算之类的量化研究活动。

import jieba.analyse
import matplotlib.pyplot as plt
from wordcloud import WordCloud
from collections import Counter

# 对中文字符串做分词处理
def tokenize(texts_list):
    words = []
    for line in texts_list:
        seg_result = list(jieba.cut(line))
        filtered_words = filter(lambda w: len(w)>1 and not w.isdigit(), seg_result)  # 过滤掉单个字母/数字
        words.extend(filtered_words)
    return words

# 绘制词云图像
def plot_word_cloud(word_freq_dist):
    wc = WordCloud(font_path='/path/to/simhei.ttf', background_color="white").generate_from_frequencies(dict(word_freq_dist.most_common()))
    plt.imshow(wc, interpolation='bilinear')
    plt.axis("off")
    plt.show()

if __name__ == '__main__':
    bv_num = input("请输入要查询的BV号:")
    basic_data = fetch_basic_info(bv_num)
    print(f'视频名称:{basic_data["标题"]}\n发布日期:{datetime.utcfromtimestamp(int(basic_data["发布时间"]))}')

    asyncio.run(download_danmaku(bv_num))

    parsed_comments = parse_danmaku('./danmakus.xml')

    all_texts = ''.join([item['content'] for item in parsed_comments])

    tokens = tokenize(all_texts.split())

    freq_distribution = Counter(tokens)

    top_keywords = dict(freq_distribution.most_common(50))  # 输出最常见的前五十个关键字及其出现次数

    plot_word_cloud(top_keywords)

这段脚本综合运用多种技术手段完成了对所关注对象全面而深入的理解——不仅限于表面层次的信息检索，更涉及到深层次的内容解读和模式识别层面的工作[^3]。