爬取豆瓣电影top250电影
时间: 2023-08-31 17:06:59 浏览: 89
用爬虫爬取豆瓣电影TOP250,并用PythonTkinter实现GUI展示与电影信息检索
5星 · 资源好评率100%
好的,我可以为您提供一个Python脚本来爬取豆瓣电影Top250电影信息。您只需按照以下步骤进行操作:
1. 首先,您需要安装Python和一些必要的库,如requests、beautifulsoup4和pandas。您可以使用以下命令在命令行中安装它们:
```
pip install requests
pip install beautifulsoup4
pip install pandas
```
2. 接下来,您可以使用以下代码来获取豆瓣电影Top250的电影信息:
```
import requests
from bs4 import BeautifulSoup
import pandas as pd
url = 'https://movie.douban.com/top250'
def get_movie_info(url):
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
movie_list = soup.find_all('div', class_='info')
movie_info_list = []
for movie in movie_list:
movie_dic = {}
movie_dic['title'] = movie.find('span', class_='title').text
movie_dic['rating'] = movie.find('span', class_='rating_num').text
movie_dic['quote'] = movie.find('span', class_='inq').text
movie_dic['link'] = movie.find('a')['href']
movie_info_list.append(movie_dic)
return movie_info_list
movie_info_list = []
for i in range(0, 250, 25):
url = f'https://movie.douban.com/top250?start={i}&filter='
movie_info_list += get_movie_info(url)
df = pd.DataFrame(movie_info_list)
df.to_csv('douban_top250.csv', index=False)
```
3. 运行以上代码后,您将得到一个名为"douban_top250.csv"的CSV文件,其中包含了豆瓣电影Top250的电影信息,包括电影名称、评分、引用和链接。
希望这能帮助您获取您需要的信息!
阅读全文