第1关：猫眼电影排行TOP100信息爬取头歌

抓取网站如猫眼电影的实时排行榜数据通常需要网络爬虫技术，特别是在Python中，可以利用BeautifulSoup、Scrapy等库辅助完成。第一关的目标可能是获取排名前100的电影信息，包括电影名、评分、导演等基本信息。

首先，你需要模拟浏览器访问该网页，因为大部分网站会有反爬虫机制，所以可能需要用到像Selenium这样的工具来处理JavaScript渲染的内容。然后，你可以解析HTML文档，找到包含电影信息的元素，比如`<title>`、`<h2>`、`<span>`等标签。

以下是一个简化的步骤概述：

1. **安装依赖**：确保已安装requests、selenium、webdriver_manager（用于管理浏览器驱动）、BeautifulSoup等库。
2. **启动浏览器**：使用Selenium启动一个浏览器实例并导航到猫眼电影首页。
3. **定位元素**：通过CSS选择器或XPath表达式查找电影列表元素。
4. **提取信息**：从每个元素中提取所需的电影数据，如电影名、评分、导演等。
5. **数据存储**：将数据保存到列表或字典中，准备后续处理或输出。

# 示例代码（仅作演示，实际操作需根据官网结构调整）

from selenium import webdriver
from bs4 import BeautifulSoup
import requests

# 定义函数，获取并解析网页内容
def get_movie_rankings(url):
    driver = webdriver.Firefox()  # 使用Firefox或其他浏览器
    driver.get(url)

    page_source = driver.page_source
    soup = BeautifulSoup(page_source, 'html.parser')

    movie_list = []  # 存放电影信息的容器
    ranking_elements = soup.find_all('div', class_='movie-item')  # 这里的class可能会有变动

    for element in ranking_elements:
        title = element.find('h2').text
        rating = element.find('span', class_='rating_num').text
        director = element.find('span', class_='director').text  # 类名假设存在
        movie_info = {'title': title, 'rating': rating, 'director': director}
        movie_list.append(movie_info)

    driver.quit()
    return movie_list[:100]  # 返回前100部电影信息

url = "https://maoyan.com/board/4"  # 猫眼电影排行榜URL
top_100_movies = get_movie_rankings(url)