使用Requests抓取豆瓣新片榜页面的数据

使用Python的requests库抓取豆瓣新片榜页面的数据通常涉及以下几个步骤：

1. 安装requests库：首先确保已经安装了requests，如果没有，可以使用pip install requests命令进行安装。

pip install requests

2. 导入requests模块：在Python脚本中导入requests模块，这是进行HTTP请求的基础。

import requests

3. 发送GET请求：向豆瓣电影的API地址发送GET请求，获取新片榜的HTML内容。由于豆瓣没有公开的API直接提供新片数据，我们通常需要查看网页源码找到URL。例如，如果新片榜的URL是`https://movie.douban.com/top250`，则可以这样获取：

url = "https://movie.douban.com/top250"
response = requests.get(url)

4. 检查响应状态码：确保请求成功，一般2xx表示成功，如200。

if response.status_code == 200:
    pass  # 请求成功
else:
    print(f"请求失败，状态码：{response.status_code}")

5. 解析响应数据：通常会使用BeautifulSoup等库解析HTML，提取我们需要的信息，比如电影名、评分等。

from bs4 import BeautifulSoup

soup = BeautifulSoup(response.text, 'lxml')
new_movies_data = soup.find_all('div', class_='hd')  # 这里假设电影信息在<div>标签内，class是'dhd'

6. 数据处理：遍历解析后的数据，将电影信息存储到列表或其他数据结构中。

movies = []
for movie in new_movies_data:
    title = movie.find('span', class_='title').text  # 获取电影标题
    rating = movie.find('span', class_='rating_num').text  # 获取评分
    movies.append({'title': title, 'rating': rating})

7. 输出或保存数据：最后，你可以打印出来或者写入文件，根据需求进行进一步处理。

print(movies)
# 或者
with open('douban_new_movies.txt', 'w', encoding='utf-8') as f:
    for movie in movies:
        f.write(f"{movie['title']}: {movie['rating']}\n")