requests抓取豆瓣新片榜

以下是使用requests库抓取豆瓣新片榜的示例代码：

import requests
from bs4 import BeautifulSoup

url = 'https://movie.douban.com/chart'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')
movie_list = soup.find('div', class_='indent').find_all('div', class_='item')
for movie in movie_list:
    title = movie.find('div', class_='pic').find('a').find('img')['alt']
    rating = movie.find('span', class_='rating_num').get_text()
    print(title, rating)

这段代码会抓取豆瓣电影排行榜页面的电影名称和评分，并输出到控制台上。

相关问题

使用Requests抓取豆瓣新片榜页面的数据

使用Python的requests库抓取豆瓣新片榜页面的数据通常涉及以下几个步骤：

1. 安装requests库：首先确保已经安装了requests，如果没有，可以使用pip install requests命令进行安装。

pip install requests

2. 导入requests模块：在Python脚本中导入requests模块，这是进行HTTP请求的基础。

import requests

3. 发送GET请求：向豆瓣电影的API地址发送GET请求，获取新片榜的HTML内容。由于豆瓣没有公开的API直接提供新片数据，我们通常需要查看网页源码找到URL。例如，如果新片榜的URL是`https://movie.douban.com/top250`，则可以这样获取：

url = "https://movie.douban.com/top250"
response = requests.get(url)

4. 检查响应状态码：确保请求成功，一般2xx表示成功，如200。

if response.status_code == 200:
    pass  # 请求成功
else:
    print(f"请求失败，状态码：{response.status_code}")

5. 解析响应数据：通常会使用BeautifulSoup等库解析HTML，提取我们需要的信息，比如电影名、评分等。

from bs4 import BeautifulSoup

soup = BeautifulSoup(response.text, 'lxml')
new_movies_data = soup.find_all('div', class_='hd')  # 这里假设电影信息在<div>标签内，class是'dhd'

6. 数据处理：遍历解析后的数据，将电影信息存储到列表或其他数据结构中。

movies = []
for movie in new_movies_data:
    title = movie.find('span', class_='title').text  # 获取电影标题
    rating = movie.find('span', class_='rating_num').text  # 获取评分
    movies.append({'title': title, 'rating': rating})

7. 输出或保存数据：最后，你可以打印出来或者写入文件，根据需求进行进一步处理。

print(movies)
# 或者
with open('douban_new_movies.txt', 'w', encoding='utf-8') as f:
    for movie in movies:
        f.write(f"{movie['title']}: {movie['rating']}\n")

编写程序，使用Requests抓取豆瓣新片榜页面的数据。

在Python中，可以使用requests库来编写程序抓取网页数据。首先，你需要安装requests库，如果你还没有安装，可以使用pip install requests命令。以下是一个简单的步骤示例，说明如何抓取豆瓣电影新片榜的页面数据：

1. 导入所需的库：

import requests
from bs4 import BeautifulSoup

`requests`用于发送HTTP请求，`BeautifulSoup`则是解析HTML内容。

2. 发送GET请求获取网页源码：

url = "https://movie.douban.com/top250"  # 豆瓣电影新片榜URL
response = requests.get(url)

3. 检查请求是否成功，并处理可能出现的网络错误：

if response.status_code == 200:
    html_content = response.text
else:
    print(f"请求失败，状态码：{response.status_code}")

4. 使用BeautifulSoup解析HTML内容：

soup = BeautifulSoup(html_content, 'lxml')

5. 查找需要的数据，例如电影标题、评分等信息。这通常涉及到CSS选择器或XPath表达式。这里我们假设有一个`div`标签包含电影信息：

movies_list = soup.find_all('div', class_='item')  # 选择所有的电影条目

for movie in movies_list:
    title_element = movie.find('span', class_='title')  # 找到电影标题
    rating_element = movie.find('span', class_='rating_num')  # 找到评分
    if title_element and rating_element:
        title = title_element.text.strip()
        rating = float(rating_element.text)
        print(f"{title}: {rating}")

6. 如果你想保存数据，可以将解析后的数据写入文件或数据库，具体取决于你的需求。

注意：频繁爬取网站可能会触发反爬机制，所以务必遵守网站的Robots协议，尊重版权，合理使用抓取工具。