python爬虫爬取豆瓣影评,要求有id,评分,内容
时间: 2023-07-11 14:56:50 浏览: 208
python爬虫大作业爬取豆瓣影评
5星 · 资源好评率100%
好的,你可以使用Python的requests和BeautifulSoup库来实现这个功能。以下是一个简单的代码示例:
```python
import requests
from bs4 import BeautifulSoup
# 设置请求头,模拟浏览器访问
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
# 豆瓣电影的URL
url = 'https://movie.douban.com/subject/26794435/comments?start=0&limit=20&sort=new_score&status=P'
# 发送GET请求
response = requests.get(url, headers=headers)
# 解析HTML
soup = BeautifulSoup(response.content, 'html.parser')
# 获取所有评论标签
comments = soup.find_all('div', class_='comment')
# 遍历每个评论标签
for comment in comments:
# 获取id
comment_id = comment.find('a')['href'].split('/')[-2]
# 获取评分
rating = comment.find('span', class_='rating').text.strip()
# 获取内容
content = comment.find('span', class_='short').text.strip()
# 输出结果
print('ID:', comment_id)
print('评分:', rating)
print('内容:', content)
```
这个代码可以爬取豆瓣电影《流浪地球》的影评,你可以根据需要修改URL和请求参数来爬取其他电影的影评。同时,你也可以将获取到的数据保存到文件或数据库中,以便后续的分析和应用。
阅读全文