我想用python爬取豆瓣电影top250的数据
时间: 2023-10-01 09:07:20 浏览: 173
爬取豆瓣电影.zip
好的,你可以使用 Python 的 requests 库和 BeautifulSoup 库来爬取豆瓣电影top250的数据。以下是一个简单的示例代码:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://movie.douban.com/top250'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
movie_list = []
for movie in soup.select('.item'):
name = movie.select_one('.title').text.strip()
rating = movie.select_one('.rating_num').text.strip()
year = movie.select_one('.inq').text.strip().replace(' ', '').replace('\n', '') if movie.select_one('.inq') else ''
movie_list.append({
'name': name,
'rating': rating,
'year': year
})
print(movie_list)
```
这个代码会爬取豆瓣电影top250页面的电影名称、评分以及简介,并将它们存储在一个列表中。你可以根据需要对代码进行修改和扩展。
阅读全文