爬取豆瓣电影top250数据
时间: 2023-10-03 17:07:55 浏览: 188
可以使用Python中的BeautifulSoup和requests库来实现爬取豆瓣电影top250数据。
以下是示例代码:
``` python
import requests
from bs4 import BeautifulSoup
url = 'https://movie.douban.com/top250'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 Edge/16.16299'}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')
movies = soup.find_all('div', class_='info')
for movie in movies:
title = movie.find('span', class_='title').text
rating = movie.find('span', class_='rating_num').text
quote = movie.find('span', class_='inq').text if movie.find('span', class_='inq') else ''
print('电影名称:{},评分:{},简介:{}'.format(title, rating, quote))
```
该代码会输出豆瓣电影top250中每个电影的名称、评分和简介。你可以根据需要对代码进行修改和调整。需要注意的是,豆瓣网站的反爬机制比较严格,建议不要频繁访问同一个页面,以免被封IP。
阅读全文