python爬取豆瓣电影数据代码
时间: 2024-09-16 14:04:33 浏览: 100
Python爬取豆瓣电影评分Top250
Python爬取豆瓣电影数据通常会使用一些网络请求库如requests和BeautifulSoup或者更现代的Scrapy框架,以及解析HTML的库lxml。这里是一个简单的示例,展示如何使用BeautifulSoup爬取电影信息:
```python
import requests
from bs4 import BeautifulSoup
def get_douban_movie_info(url):
# 发送GET请求获取网页内容
response = requests.get(url)
# 检查请求是否成功
if response.status_code == 200:
# 解析HTML内容
soup = BeautifulSoup(response.text, 'lxml')
# 查找并提取电影标题、评分等元素
movie_title = soup.find('div', {'class': 'title'}).find('span').text
rating = soup.find('span', {'class': 'rating_num'}).text
# 打印结果
print(f"电影标题: {movie_title}\n评分: {rating}")
else:
print("请求失败")
# 豆瓣电影详情页链接
douban_url = "https://movie.douban.com/subject/<电影ID>"
get_douban_movie_info(douban_url)
阅读全文