使用select方法爬取豆瓣top250电影
时间: 2024-09-23 14:03:19 浏览: 77
python爬虫-爬取豆瓣音乐
在Python中,使用`requests`库和BeautifulSoup库配合可以爬取豆瓣Top250电影的数据。这里是一个基本的例子,展示如何通过`select`方法从HTML页面选择并提取信息:
首先,你需要安装这两个库,如果还没有安装,可以运行:
```bash
pip install requests beautifulsoup4
```
然后,编写Python脚本:
```python
import requests
from bs4 import BeautifulSoup
# 设置URL
url = "https://movie.douban.com/top250"
# 发送GET请求
response = requests.get(url)
# 检查请求是否成功
if response.status_code == 200:
# 解析HTML内容
soup = BeautifulSoup(response.text, 'html.parser')
# 通常豆瓣Top250的电影信息存储在class为"item"的div元素中
movie_list = soup.select('.item')
# 遍历每个电影条目
for item in movie_list:
title = item.select_one('.title > a').text # 电影标题
rating = item.select_one('.rating_num').text # 评分
link = item.select_one('.title > a')['href'] # 电影链接
print(f"电影名: {title}, 评分: {rating}, [详情]({link})")
else:
print("请求失败")
#
阅读全文