写一个B站评论区爬虫代码
时间: 2024-05-20 18:12:11 浏览: 101
以下是一个简单的B站评论区爬虫代码,需要使用requests和BeautifulSoup库:
```python
import requests
from bs4 import BeautifulSoup
# 视频ID
aid = '1234567'
# 评论页数
page = 1
url = f'https://api.bilibili.com/x/v2/reply?pn={page}&type=1&oid={aid}'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 Edge/16.16299'
}
response = requests.get(url, headers=headers)
json_data = response.json()
html_data = json_data['data']['replies']
for comment in html_data:
soup = BeautifulSoup(comment['content']['message'], 'html.parser')
message = soup.get_text().strip()
print(f'用户名:{comment["member"]["uname"]}\n评论内容:{message}\n')
```
其中,需要将`aid`替换为需要爬取的视频ID,`page`替换为需要爬取的评论页数。运行代码后,会输出评论者用户名和评论内容。需要注意的是,B站的API有访问频率限制,过于频繁的访问可能会被封禁IP。