爬取豆瓣上影评的代码
时间: 2024-06-13 22:09:31 浏览: 219
comment_爬虫_xpath_豆瓣电影_python_影评_
5星 · 资源好评率100%
根据提供的引用内容,以下是一个简单的爬取豆瓣电影影评的Python代码,使用requests库和BeautifulSoup库进行网页请求和解析:
```python
import requests
from bs4 import BeautifulSoup
# 豆瓣电影页面URL
url = 'https://movie.douban.com/subject/1292052/comments?start=0&limit=20&sort=new_score&status=P'
# 请求头部信息
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
# 发送请求
response = requests.get(url, headers=headers)
# 解析HTML
soup = BeautifulSoup(response.text, 'html.parser')
comments = soup.find_all('span', class_='short')
# 输出影评
for comment in comments:
print(comment.string)
```
该代码使用requests库发送HTTP请求,然后使用BeautifulSoup库解析HTML页面,最后提取出影评内容并输出。需要注意的是,豆瓣电影页面的URL地址及规律可能会变化,因此需要根据实际情况进行修改。
阅读全文