爬取并解析https://movie.douban.com/review/best/
时间: 2023-08-22 16:04:56 浏览: 168
AMTK.ZIP_:www.amtk.com_AMTk:COm_amtk.com_amtk2.com_https://amtk2
5星 · 资源好评率100%
好的,以下是一个简单的爬取并解析豆瓣最受欢迎影评的示例代码:
```
import requests
from bs4 import BeautifulSoup
url = 'https://movie.douban.com/review/best/'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
reviews = soup.find_all('div', class_='review-item')
for review in reviews:
title = review.h2.a.text.strip()
content = review.find('div', class_='short-content').text.strip()
rating = review.find('span', class_='rating').text.strip()
time = review.find('span', class_='main-meta').text.strip()
print(title, content, rating, time)
```
该代码会爬取豆瓣最受欢迎影评页面,并获取影评的标题、内容、评分和评论时间等信息。需要注意的是,豆瓣网站有反爬机制,如果频繁请求网站可能会被封禁IP,建议在使用时适当控制请求频率。
阅读全文