爬虫爬取豆瓣肖申克救赎影评代码完整

使用Python编写一个简单的爬虫来抓取豆瓣电影《肖申克的救赎》的影评需要几个步骤，这里提供一个基础示例，我们假设使用requests和BeautifulSoup库来进行网络请求和HTML解析。请注意，实际的网页结构可能会有所变化，所以这只是一个大概的框架，可能需要根据实际情况调整。

import requests
from bs4 import BeautifulSoup

# 目标URL，这里是一个示例，通常需要替换为你获取数据的实际URL
url = "https://movie.douban.com/subject/1292052/"  # 豆瓣电影详情页链接

def get_reviews(url):
    response = requests.get(url)
    soup = BeautifulSoup(response.text, 'lxml')

    # 查找评论区域的HTML标签，这可能因网站更新而改变
    reviews_container = soup.find('div', {'class': 'comment-thread'})

    if reviews_container is not None:
        for review in reviews_container.find_all('span', {'class': 'short'}):  # 这里假设每个评论都在一个'span'元素中
            title = review.find('a').text  # 用户名
            content = review.text.strip()  # 评论内容
            print(f"用户名：{title}\n评论内容：{content}\n--")
    else:
        print("未找到评论区或评论已关闭")

get_reviews(url)