提供一个python爬虫爬取哔哩哔哩网站评论的程序
时间: 2024-01-11 13:28:35 浏览: 192
bilibili视频评论爬取
以下是一个使用Python爬虫爬取哔哩哔哩网站评论的程序:
```python
import requests
import json
# 设置请求头部信息
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
# 爬取哔哩哔哩视频评论
def get_comments(aid, page_num):
# 构造API接口链接
url = 'https://api.bilibili.com/x/v2/reply?pn={}&type=1&oid={}&sort=0'.format(page_num, aid)
# 发送请求,获取响应数据
response = requests.get(url, headers=headers)
data = json.loads(response.text)
# 解析数据
comments = []
for item in data['data']['replies']:
comment = item['content']['message']
comments.append(comment)
return comments
# 测试程序
if __name__ == '__main__':
aid = 1234 # 视频的AV号
page_num = 1 # 评论所在页数
comments = get_comments(aid, page_num)
print(comments)
```
该程序使用`requests`库发送HTTP请求,获取哔哩哔哩视频评论的JSON数据,然后使用`json`库解析数据,提取评论内容。你可以将视频的AV号和评论所在页数替换成你需要爬取的视频,即可运行程序。
阅读全文