python爬虫豆瓣影评
时间: 2023-06-23 10:06:16 浏览: 124
好的,您想了解如何使用Python编写一个爬虫来获取豆瓣影评吗?下面是一个简单的爬虫示例,可以获取指定电影的影评信息:
```python
import requests
from bs4 import BeautifulSoup
# 设置请求头信息
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
# 获取指定电影的影评信息
def get_comments(movie_url):
# 发送请求获取页面内容
response = requests.get(movie_url, headers=headers)
content = response.text
# 解析页面内容
soup = BeautifulSoup(content, 'html.parser')
comments = []
# 获取所有影评内容
for comment in soup.find_all('span', class_='short'):
comments.append(comment.string)
return comments
# 测试,获取《肖申克的救赎》的影评
movie_url = 'https://movie.douban.com/subject/1292052/comments?status=P'
comments = get_comments(movie_url)
print(comments)
```
这个示例中,我们使用requests库发送请求获取页面内容,然后使用BeautifulSoup库解析网页内容,获取影评信息。您只需要将`movie_url`变量替换成您需要获取影评的电影链接即可。
阅读全文