jupyter爬取豆瓣电影

Jupyter Notebook是一个交互式的计算环境，通常用于数据科学和机器学习项目，包括Web爬虫。如果你想使用Jupyter爬取豆瓣电影的数据，可以按照以下步骤操作：

1. 安装必要的库：首先，你需要安装`requests`、`BeautifulSoup`或`selenium`等用于网络请求和解析HTML的Python库。如果你打算抓取动态加载的内容，可能还需要`webdriver_manager`（针对Selenium）。

!pip install requests beautifulsoup4

2. 导入库并导入模块：

import requests
from bs4 import BeautifulSoup

3. 编写爬虫函数：
- 使用`requests.get`获取网页内容：

def get_html(url):
    response = requests.get(url)
    if response.status_code == 200:
        return response.text
    else:
        print(f"Failed to fetch data from {url}")

# 豆瓣电影的URL（这里只是一个示例，需要查找实际的API地址或搜索页面）
douban_movie_url = "https://movie.douban.com/top250"
html_content = get_html(douban_movie_url)

- 解析HTML内容，提取所需信息，比如电影标题和评分。这一步可能需要用到BeautifulSoup解析DOM树：

soup = BeautifulSoup(html_content, 'lxml')
movies = soup.find_all('div', class_='hd')  # 查找电影标题所在的元素

data = []
for movie in movies:
    title = movie.find('span', class_='title').text  # 获取电影名
    rating = movie.find('span', class_='rating_num').text  # 获取评分
    data.append((title, rating))

4. 将结果保存或展示：你可以选择将数据存储到CSV文件、数据库，或直接打印出来查看。

注意：遵守网站的robots.txt规则，并尊重版权。实时爬取可能会受到限制，考虑使用豆瓣或其他提供公开API的数据源，如豆瓣开放平台。