写一个bilibili话题爬虫
时间: 2024-03-28 08:28:54 浏览: 189
Bilibili 用户爬虫.zip
好的,下面是一个简单的B站话题爬虫,使用Python语言编写:
```python
import requests
from bs4 import BeautifulSoup
# 定义要爬取的话题ID
topic_id = 3178
# 构造请求头
headers = {
'Referer': f'https://www.bilibili.com/topic/{topic_id}/',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.104 Safari/537.36'
}
# 构造请求URL
url = f'https://api.bilibili.com/x/v2/reply?&pn=1&type=1&oid={topic_id}&sort=0'
# 发送请求并获取响应内容
response = requests.get(url, headers=headers)
content = response.json()
# 解析响应内容并打印评论信息
for reply in content['data']['replies']:
print(reply['content']['message'])
```
这个爬虫使用了B站提供的API接口来获取话题下的评论信息。其中,需要指定话题ID,构造请求头和请求URL,并发送GET请求获取响应内容。最后,解析响应内容,提取评论信息并打印出来。
阅读全文