使用bs爬取豆瓣top250所有电影名称 显示在输出台上
时间: 2024-10-12 21:07:07 浏览: 36
Python爬取豆瓣top250电影数据,并导入MySQL,写入excel
5星 · 资源好评率100%
使用BeautifulSoup(简称BS)爬取豆瓣Top250电影名称通常需要以下几个步骤:
1. 首先,你需要安装必要的库,包括`requests`用于发送HTTP请求获取网页内容,以及`beautifulsoup4`处理HTML文档。
```bash
pip install requests beautifulsoup4
```
2. 创建Python脚本,编写如下代码:
- 获取豆瓣Top250页面的HTML源码
- 解析HTML,找到包含电影名的部分
- 提取并打印出电影名称
```python
import requests
from bs4 import BeautifulSoup
# 请求URL
url = "https://movie.douban.com/top250"
# 发送GET请求
response = requests.get(url)
# 检查请求是否成功
if response.status_code == 200:
# 解析响应内容
soup = BeautifulSoup(response.text, 'html.parser')
# 找到电影列表元素
movie_list = soup.find('ol', {'class': 'grid_view'})
# 提取电影标题
titles = [li.a['title'] for li in movie_list.find_all('li')]
# 打印电影名称
for title in titles:
print(title)
else:
print(f"请求失败,状态码:{response.status_code}")
```
运行这个脚本后,你会看到豆瓣Top250电影的名称显示在控制台上。
阅读全文