python爬取豆瓣电影上万数据的代码

以下是一个简单的Python爬虫代码，可以爬取豆瓣电影的上万条数据：

import requests
from bs4 import BeautifulSoup

url = 'https://movie.douban.com/top250'
headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3' }

movie_list = []

for i in range(0, 250, 25):
    params = { 'start': str(i), 'filter': '' }
    html = requests.get(url, params=params, headers=headers).text
    soup = BeautifulSoup(html, 'html.parser')
    movie_items = soup.find_all('div', class_='info')
    
    for movie in movie_items:
        title = movie.find('span', class_='title').text
        info = movie.find('div', class_='bd').p.text.strip()
        rating = movie.find('span', class_='rating_num').text
        movie_list.append((title, info, rating))

for movie in movie_list:
    print(movie)

这个代码首先定义了目标URL和请求头，然后定义一个空列表来保存电影数据。然后，它使用循环来获取所有页面上的电影数据，并将它们添加到列表中。最后，代码遍历列表并将每个电影的标题、信息和评分打印出来。