python爬取影评的代码
时间: 2023-09-22 09:10:35 浏览: 76
以下是使用Python爬取影评的示例代码:
```
import requests
from bs4 import BeautifulSoup
url = 'https://movie.douban.com/subject/1292052/reviews'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')
reviews = soup.find_all('div', {'class': 'review-item'})
for review in reviews:
title = review.find('a', {'class': 'title-link'}).text.strip()
rating = review.find('span', {'class': 'rating'}).text.strip()
content = review.find('div', {'class': 'review-content'}).text.strip()
print('标题:', title)
print('评分:', rating)
print('内容:', content)
print('\n')
```
以上代码使用requests库获取页面内容,使用BeautifulSoup库解析HTML,然后使用find_all方法查找所有的影评。对于每个影评,我们可以使用find方法查找标题、评分和内容,并使用strip方法去除前后的空格。最后,我们将这些信息打印出来。
阅读全文