python爬虫爬取淘宝商品评论

Python爬虫抓取淘宝商品评论通常涉及以下几个步骤：

1. **选择库**：首先，你需要安装一些用于网络请求、HTML解析和数据处理的Python库，如`requests`（发送HTTP请求）、`BeautifulSoup`（解析HTML）和`pandas`（数据处理）。

2. **登录授权**：由于淘宝有反爬机制，可能需要模拟登录获取cookies或者使用API（如淘宝开放平台API），以便后续的访问不会被识别为爬虫。

3. **定位URL**：找到商品详情页的URL，通常是在商品链接后添加特定参数，例如`&is_comment=1`表示只显示评论部分。

4. **发送请求**：使用`requests.get()`获取网页内容，并设置合适的headers以模拟浏览器。

5. **解析HTML**：使用`BeautifulSoup`解析HTML文档，找到评论列表及其具体内容，比如评论ID、用户名、时间以及评论内容等。

6. **提取数据**：遍历解析后的DOM结构，提取每条评论的相关信息并存储到列表或字典中。

7. **数据处理**：将提取的数据整合成更易操作的数据结构，如DataFrame，然后保存到CSV文件、数据库或JSON文件中。

8. **异常处理**：编写适当的错误处理代码，以防网络请求失败或页面结构发生变化导致解析出错。

import requests
from bs4 import BeautifulSoup
import pandas as pd

# 示例URL
url = 'https://item.taobao.com/item.htm?id=<商品ID>&is_comment=1'

# 发送GET请求
response = requests.get(url, headers={
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}

# 解析HTML
soup = BeautifulSoup(response.text, 'lxml')

# 查找评论部分
comments = soup.find('div', class_='comment-list')

# 提取每个评论的信息
data_list = []
for comment in comments.find_all('li'):
    user = comment.find('span', class_='nick').text
    time = comment.find('time').get('datetime')
    content = comment.find('p', class_='content').text
    data_list.append({'用户': user, '时间': time, '评论内容': content})

# 转换为DataFrame并保存
df_comments = pd.DataFrame(data_list)
df_comments.to_csv('taobao_reviews.csv', index=False)