用python写一个代码实现豆瓣电影TOP250爬虫(https://movie.douban.com/top250,输出电影title,评分等信息)
时间: 2024-09-27 11:13:26 浏览: 74
当然可以,下面是一个简单的Python爬虫示例,使用了BeautifulSoup库来解析HTML并提取所需的数据。请注意,这个代码片段可能会因为网站结构的变化而失效,实际运行时需要检查豆瓣电影页面是否允许爬取以及是否有反爬策略。
```python
import requests
from bs4 import BeautifulSoup
# 请求豆瓣电影top250页面
url = "https://movie.douban.com/top250"
response = requests.get(url)
# 检查请求是否成功
if response.status_code == 200:
# 解析HTML内容
soup = BeautifulSoup(response.text, 'html.parser')
# 找到电影列表部分
movie_list = soup.find('ol', class_='grid_view')
# 遍历电影列表
for film_item in movie_list.find_all('li'):
title_element = film_item.find('div', class_='hd').a
rating_element = film_item.find('span', class_='rating_num')['class'][0][7]
title = title_element['title'] if title_element else '未找到标题'
rating = float(rating_element.replace('Rating_', '')) # 提取评分
print(f"电影名:{title}, 评分:{rating}")
else:
print("无法获取网页内容")
阅读全文