使用python爬虫爬取豆瓣电影top250

以下是使用Python爬虫爬取豆瓣电影Top250的代码：

import requests
from bs4 import BeautifulSoup

url = 'https://movie.douban.com/top250'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'}

movie_list = []

def get_movie(url):
    res = requests.get(url, headers=headers)
    soup = BeautifulSoup(res.text, 'html.parser')
    movies = soup.select('.item')
    for movie in movies:
        title = movie.select('.title')[0].text
        link = movie.select('.hd a')[0]['href']
        rating = movie.select('.rating_num')[0].text
        comment = movie.select('.quote span')[0].text if movie.select('.quote span') else ''
        movie_list.append({'title': title, 'link': link, 'rating': rating, 'comment': comment})

    next_page = soup.select('.next a')
    if next_page:
        get_movie(next_page[0]['href'])

get_movie(url)

for movie in movie_list:
    print(movie['title'], movie['rating'], movie['comment'], movie['link'])

这个代码使用了requests和BeautifulSoup库，首先定义了一个URL和header，然后定义了一个空的电影列表。get_movie函数用来从每个页面中获取电影信息，包括电影名称、链接、评分和评论。如果有下一页，它会递归地调用自己，直到获取所有的电影信息。最后，通过循环遍历电影列表，输出每个电影的名称、评分、评论和链接。