python爬虫爬取b站视频

Python 爬虫爬取 B 站视频通常涉及到网页数据抓取、解析以及处理等步骤。下面简要介绍如何使用 Python 和相应的库完成这一任务：

### 选择合适的工具

对于网页爬取，Python 提供了多种强大的库，如 `requests` 用于发起 HTTP 请求，`BeautifulSoup` 或 `lxml` 用于解析 HTML 页面内容。

### 获取视频链接

首先，你需要确定你要爬取的视频链接。B 站的视频链接一般由几个部分组成：

1. **频道ID**（Channel ID）
2. **视频ID**（Video ID）

例如，链接可能是 `/video/avxxxxxx` 的形式，其中 `'xxxxxx'` 即为视频 ID。

### 使用 Python 进行请求和解析

#### 发起 GET 请求

使用 `requests.get()` 函数获取页面的内容。这一步主要是为了获取到包含视频信息的相关 HTML 内容。

import requests
from bs4 import BeautifulSoup

def get_video_html(video_id):
    url = f'https://www.bilibili.com/video/{video_id}'
    response = requests.get(url)
    if response.status_code == 200:
        return response.text
    else:
        print('Failed to fetch the video page')
        return None

#### 解析页面内容

使用 `BeautifulSoup` 对获取的HTML文本进行解析，查找包含视频播放地址的标签或属性。

def parse_video_url(html_text):
    soup = BeautifulSoup(html_text, 'html.parser')
    # 假设视频链接在script标签内隐藏，需要找到并提取出来
    script_tag = soup.find('script', id='_playInfoScript')
    if script_tag is not None:
        play_info = eval(script_tag.string)  # 将字符串转换为字典
        video_url = play_info['data']['dash']['video']['baseUrl']
        return video_url
    else:
        print('Video URL not found')
        return None

### 下载视频

有了视频的实际链接，就可以下载视频内容了。这里可以使用 `requests` 的 `stream=True` 参数进行大文件下载，并通过迭代逐块读取和保存。

import os

def download_video(video_url, output_file):
    response = requests.get(video_url, stream=True)
    total_size_in_bytes = int(response.headers.get('content-length', 0))
    progress_bar_length = 50

    with open(output_file, "wb") as file:
        for data in response.iter_content(chunk_size=8192):
            file.write(data)
            done = int(50 * len(file.read()) / total_size_in_bytes)
            percent_done = (len(file.read()) / total_size_in_bytes) * 100
            print(f'\rDownloading... [{("█" * done).ljust(progress_bar_length)}] {percent_done:.2f}%', end='')
        print()

if __name__ == "__main__":
    video_id = 'xxxxxx'
    html_text = get_video_html(video_id)
    if html_text:
        video_url = parse_video_url(html_text)
        if video_url:
            filename = f'av{video_id}.mp4'
            download_video(video_url, filename)
            print(f'Successfully downloaded {filename}')
        else:
            print('Could not find a valid video URL.')
    else:
        print('Failed to fetch video content.')

### 法律及伦理考虑

请注意，在进行网络爬虫活动时，务必遵守网站的使用条款和法律法规。特别是从网站上抓取数据前，应检查其robots.txt 文件，并确认是否允许爬虫访问相关数据。