jupyter爬虫豆瓣电影代码

Jupyter Notebook是一种交互式计算环境，常用于数据分析和机器学习。以下是一个简单的例子，展示了如何使用Python配合`pandas`、`requests`和`BeautifulSoup`库，在Jupyter Notebook中爬取豆瓣电影Top250的数据：

import requests
from bs4 import BeautifulSoup
import pandas as pd

# 发送GET请求
url = "https://movie.douban.com/top250"
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
}
response = requests.get(url, headers=headers)

# 解析HTML
soup = BeautifulSoup(response.text, 'html.parser')
divs = soup.find_all('div', class_='hd')  # 找到电影标题所在的div

# 创建空列表存储数据
movies_data = []

# 遍历每个电影
for div in divs:
    title = div.a['title']  # 获取电影名称
    rank = div.find('span', class_='rating_num').text  # 获取评分
    movies_data.append({'title': title, 'rank': rank})

# 将数据转换成DataFrame
df_movies = pd.DataFrame(movies_data)
df_movies.head()  # 显示前几行结果

# 可能还需进一步处理数据，例如下载图片或保存到CSV文件

注意：此代码仅供参考，实际操作时可能会遇到豆瓣的反爬策略，如JavaScript渲染、验证码等。此外，频繁抓取可能导致IP受限，因此务必遵守豆瓣的使用政策。