python爬取淘宝商品评论数据
时间: 2023-09-26 10:14:31 浏览: 125
可以使用Python的requests库和BeautifulSoup库来爬取淘宝商品评论数据。下面是一个简单的示例代码:
```python
import requests
from bs4 import BeautifulSoup
def get_taobao_comments(item_id):
url = f"https://rate.tmall.com/list_detail_rate.htm?itemId={item_id}¤tPage=1"
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.182 Safari/537.36"
}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, "html.parser")
comments = soup.select(".tm-rate-content p")
for comment in comments:
print(comment.get_text())
# 使用示例
item_id = "商品ID"
get_taobao_comments(item_id)
```
在代码中,我们首先构造了淘宝评论页面的URL,其中`item_id`是商品的ID。然后,我们发送HTTP请求获取页面的HTML内容,并使用BeautifulSoup解析HTML。通过选择器`.tm-rate-content p`找到评论内容,然后打印出来。
请注意,这只是一个简单的示例代码,实际应用中可能需要处理分页、反爬虫机制等问题。
阅读全文