python抓取豆瓣top250

要使用Python抓取豆瓣Top250电影信息，你可以使用网络爬虫技术。首先，你需要安装Python的相关库，例如requests和BeautifulSoup。然后，你可以发送HTTP请求来获取豆瓣Top250电影的网页内容，并使用BeautifulSoup解析网页内容，提取出电影的相关信息，例如电影名称、评分、导演等。最后，你可以将提取到的信息保存到一个文件或者数据库中，或者进行其他的处理和分析。

下面是一个简单的代码示例，演示了如何使用Python抓取豆瓣Top250电影的名称和评分：

import requests
from bs4 import BeautifulSoup

url = 'https://movie.douban.com/top250'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')

movies = soup.find_all('div', class_='hd')
ratings = soup.find_all('span', class_='rating_num')

for movie, rating in zip(movies, ratings):
    movie_name = movie.a.span.text
    movie_rating = rating.text
    print(f'{movie_name} - 评分: {movie_rating}')

相关问题

python抓取豆瓣电影top250的标题和评论

在Python中抓取豆瓣电影Top250的标题和评论通常会使用到`requests`库来发送HTTP请求获取网页内容，然后使用如`BeautifulSoup`或`lxml`库解析HTML数据，最后提取出所需的信息。以下是一个简化的步骤概述：

1. 首先，你需要安装必要的库，如果还没有安装，可以运行：

   pip install requests beautifulsoup4

2. 然后，编写一个函数来获取网页内容并解析：

import requests
from bs4 import BeautifulSoup

def get_douban_movie_info(url):
    response = requests.get(url)
    soup = BeautifulSoup(response.text, 'lxml')
    
    # 找到包含电影列表的部分
    movie_list = soup.find('ol', {'class': 'grid_view'})
    
    titles_and_comments = []
    for item in movie_list.find_all('div', class_='hd'):
        title = item.h3.a.text  # 提取标题
        comment_area = item.parent.next_sibling  # 获取评论区域链接
        comments_url = f'https://movie.douban.com{comment_area.find("a", href=True)["href"]}'  # 构建评论页面URL
        
        # 获取评论数
        comment_count = int(comment_area.find('span', class_='pl').text.strip().replace(' ', '').split('/')[0])
        
        titles_and_comments.append((title, comments_url, comment_count))
    
    return titles_and_comments

3. 最后，你可以调用这个函数，并处理返回的结果：

titles_and_comments = get_douban_movie_info('https://movie.douban.com/top250')

for title, comments_url, comment_count in titles_and_comments:
    print(f"电影标题: {title}")
    print(f"评论地址: {comments_url}")
    print(f"评论数: {comment_count}\n")

注意：豆瓣网站有反爬虫机制，频繁抓取可能会被封IP。实际应用中，请确保遵守网站的robots.txt规则和使用代理服务器。

用python抓取豆瓣电影top250，写入数据库，并实现可视化

好的，以下是抓取豆瓣电影Top250并写入数据库的Python代码：

import requests
from bs4 import BeautifulSoup
import sqlite3

url = 'https://movie.douban.com/top250'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
movies = []

for i in range(0, 250, 25):
    params = {'start': str(i), 'filter': ''}
    response = requests.get(url, headers=headers, params=params)
    soup = BeautifulSoup(response.text, 'html.parser')
    movie_list = soup.find('ol', class_='grid_view').find_all('li')
    for movie in movie_list:
        title = movie.find('span', class_='title').text
        rating_num = movie.find('span', class_='rating_num').text
        quote = movie.find('span', class_='inq').text if movie.find('span', class_='inq') else ''
        movies.append({'title': title, 'rating_num': rating_num, 'quote': quote})

conn = sqlite3.connect('movies.db')
cursor = conn.cursor()
cursor.execute('CREATE TABLE IF NOT EXISTS top250 (title TEXT, rating_num REAL, quote TEXT)')
for movie in movies:
    cursor.execute('INSERT INTO top250 (title, rating_num, quote) VALUES (?, ?, ?)', (movie['title'], movie['rating_num'], movie['quote']))
conn.commit()
conn.close()

这段代码会使用 requests 库向豆瓣电影Top250的网站发送请求，然后使用 BeautifulSoup 库对网页进行解析，最后把电影的标题、评分和引用语存储到 SQLite 数据库中。

接下来是实现可视化的Python代码，使用了 Matplotlib 库：

import sqlite3
import matplotlib.pyplot as plt

conn = sqlite3.connect('movies.db')
cursor = conn.cursor()
cursor.execute('SELECT rating_num, COUNT(*) FROM top250 GROUP BY rating_num')
data = cursor.fetchall()
conn.close()

x = [d[0] for d in data]
y = [d[1] for d in data]

plt.bar(x, y)
plt.xlabel('Rating')
plt.ylabel('Count')
plt.title('Top 250 Movies on Douban')
plt.show()

这段代码会从 SQLite 数据库中读取每个评分的电影数量，然后使用 Matplotlib 库绘制条形图来展示。运行后会弹出一个可视化窗口，展示所有评分的电影数量。