python爬取无间道短评生成表格

Python通过一些网络爬虫库如requests和BeautifulSoup、Scrapy等，可以爬取网页数据，包括无间道电影的短评。首先，你需要确定目标网站的数据结构，并获取评论部分的HTML代码。以下是一个简单的步骤：

1. **安装必要的库**:
安装`requests`、`beautifulsoup4` 或 `lxml` (更高效) 等用于抓取数据，以及`pandas`处理表格。

pip install requests beautifulsoup4 pandas

2. **编写爬虫脚本**:
使用`requests.get()`获取页面内容，然后解析HTML，提取短评信息。例如，如果评论在每个短评块内都有一个`class`或`id`标志，你可以像下面这样操作：

import requests
from bs4 import BeautifulSoup
import pandas as pd

def scrape_reviews(url):
    response = requests.get(url)
    soup = BeautifulSoup(response.text, 'lxml')
    
    review_blocks = soup.find_all('div', class_='review-block') # 根据实际HTML结构调整选择器
    
    reviews = []
    for block in review_blocks:
        title = block.find('h2').text
        comment = block.find('p').text
        reviews.append((title, comment))
        
    return reviews

# 示例URL替换为你需要爬取的无间道短评页面URL
reviews = scrape_reviews('http://example.com/warrior-reviews')

# 将评论转换为DataFrame
df = pd.DataFrame(reviews, columns=['评论标题', '评论内容'])

3. **保存结果**:
最后，将数据框存储为CSV或Excel文件。

df.to_csv('warrior_reviews.csv', index=False)