编写一段爬取产品评论数据的代码
时间: 2023-10-09 15:08:11 浏览: 124
很高兴为您提供帮助。以下是一个简单的Python代码,用于从淘宝上爬取产品评论数据:
```python
import requests
from bs4 import BeautifulSoup
def get_comments(product_id):
base_url = 'https://rate.tmall.com/list_detail_rate.htm?itemId={}¤tPage={}'
comments = []
page_num = 1
while True:
url = base_url.format(product_id, page_num)
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
comment_items = soup.find_all('div', {'class': 'tm-rate-fulltxt'})
if not comment_items:
break
for item in comment_items:
comment = item.text.strip()
comments.append(comment)
page_num += 1
return comments
# 调用方法,传入产品ID,即可获取该产品所有评论
comments = get_comments('123456')
print(comments)
```
请注意,这个代码只是示例,实际爬取数据时请遵守相关网站的规定,不要过度请求。另外,该代码只爬取了淘宝上的评论数据,如果需要从其他网站爬取评论数据,可能需要修改代码。
阅读全文