爬虫爬取豆瓣电影top250代码

在Python中，我们通常使用BeautifulSoup和requests库来编写爬虫获取豆瓣电影Top250的数据。下面是一个简单的示例，展示如何抓取页面内容并提取电影信息：

import requests
from bs4 import BeautifulSoup

# 请求豆瓣电影Top250的HTML页面
url = "https://movie.douban.com/top250"
response = requests.get(url)

# 检查请求是否成功
if response.status_code == 200:
    # 解析HTML页面
    soup = BeautifulSoup(response.text, 'lxml')
    
    # 找到包含电影信息的部分，如'title'、'link'和'score'
    movies_data = soup.select('.hd > a')

    for movie in movies_data:
        title = movie['title']  # 电影标题
        link = movie['href']   # 电影链接
        rating = movie.find('span', class_='rating_num')['class'][0]  # 评分（需要解析CSS类名）

        print(f"电影名称: {title}\n链接: {link}\n评分: {rating} 分\n")

else:
    print("请求失败，请检查网络连接.")