Python爬虫 获得淘宝商品评论
时间: 2023-10-04 22:06:44 浏览: 143
要爬取淘宝商品评论,可以使用 Python 的 requests 和 BeautifulSoup 库进行网页爬取和解析。下面是一些基本的步骤:
1. 找到要爬取的淘宝商品的链接,例如:https://item.taobao.com/item.htm?id=12345678
2. 使用 requests 库获取该商品的页面内容:
```
import requests
url = 'https://item.taobao.com/item.htm?id=12345678'
response = requests.get(url)
html = response.text
```
3. 使用 BeautifulSoup 库解析页面内容,找到评论部分的 HTML 代码:
```
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'html.parser')
comments = soup.find_all('div', {'class': 'comment-item'})
```
其中,`'comment-item'` 是淘宝评论区每个评论的 HTML 类名。
4. 解析每条评论,获取评论内容:
```
for comment in comments:
content = comment.find('div', {'class': 'tm-rate-fulltxt'}).text
print(content)
```
其中,`'tm-rate-fulltxt'` 是淘宝评论区每条评论内容的 HTML 类名。这个类名可能会经常变化,需要根据实际情况进行调整。
以上是一个简单的爬取淘宝商品评论的方法,需要注意的是,爬虫的使用需要遵循相关法律法规,不得用于商业用途和非法用途。
阅读全文