python爬取评论_python爬取网易评论
时间: 2023-10-04 19:08:13 浏览: 116
爬取网易云音乐评论,一个简单的python程序
可以使用 Python 的 requests 库和 BeautifulSoup 库来爬取网易评论。以下是一个简单的示例代码:
```python
import requests
from bs4 import BeautifulSoup
# 网易新闻页面URL
url = 'https://news.163.com/21/1125/15/GT1L2I2P000189FH.html'
# 发送请求获取页面内容
r = requests.get(url)
html = r.text
# 解析页面内容获取评论
soup = BeautifulSoup(html, 'html.parser')
comments = soup.find_all('div', {'class': 'item-box'})
# 打印评论
for comment in comments:
print(comment.find('div', {'class': 'text'}).text)
```
需要注意的是,网易评论通常需要登录才能查看,因此如果要爬取登录后的评论,需要使用一些额外的技术,比如模拟登录或者使用网易评论的API。
阅读全文