我想爬取豆瓣评论关于肖申克的救赎这部电影
时间: 2023-07-29 21:14:10 浏览: 162
26.基于SnowNLP的豆瓣评论情感分析1
要爬取豆瓣电影《肖申克的救赎》的评论,你可以使用 Python 的 requests 和 BeautifulSoup 库。首先,你需要安装这两个库(如果尚未安装):
```
pip install requests
pip install beautifulsoup4
```
接下来,你可以使用以下代码来爬取豆瓣评论:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://movie.douban.com/subject/1292052/comments' # 肖申克的救赎的豆瓣评论链接
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
} # 设置请求头,模拟浏览器访问
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')
comments = soup.find_all('span', class_='short') # 获取评论内容
for comment in comments:
print(comment.text)
```
上述代码将打印出豆瓣电影《肖申克的救赎》的评论内容。请注意,爬取网站数据需要遵守网站的规则和法律法规。此代码仅供学习和参考使用,请勿滥用。
阅读全文