怎么用python爬取豆瓣top250电影名称
时间: 2023-09-05 20:12:08 浏览: 56
可以使用Python中的BeautifulSoup和requests库来实现爬取豆瓣top250电影名称。
以下是实现代码:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://movie.douban.com/top250'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
movie_list = soup.find('ol', class_='grid_view').find_all('li')
for movie in movie_list:
title = movie.find('span', class_='title').text
print(title)
```
代码解析:
1. 使用requests库发送GET请求获取top250电影页面的HTML源代码。
2. 使用BeautifulSoup库解析HTML源代码。
3. 通过查看top250电影页面的HTML结构,发现电影名称都在`<ol class="grid_view">`标签下的`<span class="title">`标签中。
4. 使用find_all()方法获取所有电影的li标签,并遍历每一部电影。
5. 使用find()方法获取电影名称标签,再使用text属性获取电影名称。
6. 打印电影名称。
输出结果为:
```
肖申克的救赎
霸王别姬
阿甘正传
这个杀手不太冷
美丽人生
泰坦尼克号
千与千寻
辛德勒的名单
盗梦空间
忠犬八公的故事
...
```