写一段爬取淘宝商品评论的代码
时间: 2023-12-01 21:33:46 浏览: 82
好的,以下是一个简单的爬取淘宝商品评论的Python代码:
```python
import requests
import json
def get_comments(item_id, page, rateType='1'):
"""
爬取淘宝商品评论
:param item_id: 商品id
:param page: 评论页码
:param rateType: 评价类型,默认为好评
:return: 评论列表
"""
url = f'https://rate.tmall.com/list_detail_rate.htm?itemId={item_id}¤tPage={page}&append=0&content=1&pageSize=20&rateType={rateType}'
headers = {
'Referer': f'https://detail.tmall.com/item.htm?id={item_id}',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36'}
try:
response = requests.get(url, headers=headers)
if response.status_code == 200:
json_str = response.text.lstrip('jsonp128(').rstrip(')')
comments = json.loads(json_str)['rateDetail']['rateList']
return comments
except Exception as e:
print(e)
return None
# 测试代码
if __name__ == '__main__':
item_id = '632032416641'
page = 1
comments = get_comments(item_id, page)
print(comments)
```
这段代码可以爬取淘宝商品ID为 `632032416641` 的商品的第一页好评评论。其中,函数的参数 `item_id` 表示商品的ID,`page` 表示要爬取的评论页数,`rateType` 表示评论类型,其中 `1` 代表好评,`0` 代表中评,`-1` 代表差评。函数返回一个评论列表,每个元素都是一个字典,包含了评论的各种信息,例如评论时间、评论内容、评论图片等。
阅读全文