python爬取豆瓣网影评,并将影片名及评论爬取保存文件 代码
时间: 2023-08-21 13:08:27 浏览: 178
基于Python的数据爬取及其可视化豆瓣评论.zip
5星 · 资源好评率100%
好的,以下是一个Python爬取豆瓣网影评,并将影片名及评论保存到文件中的代码示例:
```python
import requests
from bs4 import BeautifulSoup
def get_movie_reviews(movie_id):
"""
获取电影影评
:param movie_id: 电影ID
"""
url = 'https://movie.douban.com/subject/{}/reviews'.format(movie_id)
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
'Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'lxml')
reviews = soup.find_all('div', class_='review-item')
for review in reviews:
title = review.find('a', class_='title').text.strip() # 影评标题
content = review.find('div', class_='content').text.strip() # 影评内容
with open('douban_reviews.txt', 'a', encoding='utf-8') as f:
f.write('电影名称:{}\n'.format(movie_name))
f.write('影评标题:{}\n'.format(title))
f.write('影评内容:{}\n\n'.format(content))
if __name__ == '__main__':
movie_id = input('请输入电影ID:')
movie_name = input('请输入电影名称:')
get_movie_reviews(movie_id)
```
请注意,此代码仅供学习参考,请勿用于非法用途。同时,为避免对豆瓣网服务器造成过大的负担,建议合理使用爬虫,并设置适当的爬取间隔。
阅读全文