python爬取b站评论
时间: 2023-10-04 08:13:26 浏览: 167
要爬取B站的评论,可以使用Python的requests和BeautifulSoup库。下面是一个简单的爬取B站视频评论的示例代码:
```python
import requests
from bs4 import BeautifulSoup
# 视频地址
url = "https://www.bilibili.com/video/BV1Nt411o7VG"
# 请求头,必须有
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3"}
# 获取视频页面
html = requests.get(url, headers=headers).text
# 解析页面
soup = BeautifulSoup(html, "html.parser")
# 获取评论块
comment_list = soup.find_all("div", class_="comment-list")[0]
# 获取评论
comments = comment_list.find_all("div", class_="comment")
# 输出评论内容
for comment in comments:
print(comment.find_all("div", class_="text")[0].get_text().strip())
```
需要注意的是,B站有反爬机制,建议添加请求头信息。另外,B站评论是异步加载的,需要使用相关的API进行获取,否则只能获取到部分评论。
阅读全文