使用requests爬取猫眼电影网页面内容实验步骤

使用`requests`库爬取猫眼电影网（http://maoyan.com/）页面的内容通常涉及以下几个步骤：

1. **安装requests库**：首先确保已经安装了`requests`库。如果没有，可以在命令行或终端通过`pip install requests`进行安装。

2. **导入requests模块**：在Python脚本中，导入requests模块以便使用其提供的HTTP请求功能。

import requests

3. **发送GET请求**：使用`requests.get()`函数向指定的URL（如猫眼电影首页地址）发送一个GET请求，获取网页源代码。

url = "https://maoyan.com/"
response = requests.get(url)

4. **检查响应状态码**：确认请求是否成功，通常200表示成功。

if response.status_code == 200:
    print("请求成功")
else:
    print(f"请求失败，状态码：{response.status_code}")

5. **解析HTML内容**：使用`BeautifulSoup`等库解析返回的HTML内容，提取所需的信息。例如，如果你想要电影列表，可以查找特定的HTML标签（如`<div>`、`<a>`等）。

from bs4 import BeautifulSoup

soup = BeautifulSoup(response.text, 'html.parser')
movie_list = soup.find_all('div', class_='movie-item')  # 根据实际CSS选择器替换

6. **处理数据**：遍历解析后的HTML元素，提取电影名、评分、海报图片链接等信息，并存储到数据结构（如列表、字典）中。

7. **保存或展示数据**：将获取的数据保存到本地文件，或直接打印出来查看。

for movie in movie_list:
    title = movie.find('h3').text
    rating = movie.find('span', class_='rating_num').text
    img_link = movie.find('img')['src']
    
    # 你可以选择将这些数据存储到数据库，写入文件，或直接打印
    print(f"电影名称：{title}, 评分：{rating}, 图片链接：{img_link}")

8. **错误处理**：考虑添加异常处理机制，以防网络中断或其他请求错误。

完成以上步骤后，你就成功地从猫眼电影网获取并处理了页面内容。注意遵守网站的Robots协议以及相关的法律法规。