豆瓣电影top250爬虫代码request豆瓣电影top250爬虫代码request

豆瓣电影Top250的爬虫代码通常涉及到使用Python的requests库发送HTTP请求，然后解析HTML内容来提取需要的信息。以下是一个简单的Python爬虫示例，使用BeautifulSoup库来解析数据：

import requests
from bs4 import BeautifulSoup

def get_douban_top250():
    url = "https://movie.douban.com/top250"
    
    # 发送GET请求
    response = requests.get(url)
    
    # 检查请求状态码
    if response.status_code == 200:
        # 解析HTML
        soup = BeautifulSoup(response.text, 'lxml')
        
        # 找到电影列表元素
        movie_list = soup.select('.hd')
        
        # 提取每个电影的数据（如名称、评分）
        movies = []
        for movie in movie_list:
            title = movie.find('span', class_='title').text.strip()
            rating = float(movie.find('span', class_='rating_num').text)
            movies.append((title, rating))
        
        return movies
    else:
        print(f"请求失败，状态码：{response.status_code}")
        return None

# 使用爬虫
movies = get_douban_top250()
if movies:
    for i, (title, rating) in enumerate(movies, start=1):
        print(f"{i}. {title}: {rating}/10")