使用python爬取豆瓣top250数据的代码

以下是使用 Python 爬取豆瓣 Top250 数据的代码：

import requests
from bs4 import BeautifulSoup

# 请求 URL
url = 'https://movie.douban.com/top250'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)

soup = BeautifulSoup(response.content, 'html.parser')
list_movies = soup.find_all('div', class_='item')

for movie in list_movies:
    # 电影名称
    name = movie.find('span', class_='title').text
    # 导演演员信息
    bd = movie.find('div', class_='bd')
    # 导演
    director = bd.p.text.replace('\n', '').split('   ')[0]
    # 演员表
    actors = bd.p.text.replace('\n', '').split('   ')[1].replace('\xa0', '')
    # 评分
    score = movie.find('span', class_='rating_num').text
    # 短评数量
    quote = movie.find('span', class_='inq').text if movie.find('span', class_='inq') else ''

    print('电影名称：{}\n导演：{}\n演员：{}\n评分：{}\n短评：{}\n'.format(name, director, actors, score, quote))

这个脚本发送了一个 GET 请求，然后使用 BeautifulSoup 库来解析 HTML。最后，它循环遍历 Top250 列表并打印出每个电影的名称，导演，演员，评分和短评。注意，为了访问豆瓣网站，我们需要在请求头中添加 User-Agent，以避免被封禁。