python爬取豆瓣电影top250
时间: 2023-08-21 10:07:05 浏览: 75
好的,以下是Python爬取豆瓣电影top250的代码实现:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://movie.douban.com/top250'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
res = requests.get(url, headers=headers)
soup = BeautifulSoup(res.text, 'html.parser')
movie_list = soup.find('ol', class_='grid_view').find_all('li')
for movie in movie_list:
rank = movie.find('div', class_='pic').em.text
name = movie.find('div', class_='hd').a.span.text
star = movie.find('div', class_='star').span.text
quote = movie.find('span', class_='inq').text
print('排名:' + rank + ' 电影名:' + name + ' 评分:' + star + ' 引言:' + quote)
```
运行代码后,即可爬取豆瓣电影top250的排名、电影名、评分和引言。需要注意的是,豆瓣网对于频繁爬取数据有反爬虫机制,建议使用代理IP或者设置爬取间隔时间。
阅读全文