使用爬虫爬取淘宝商品评论代码
时间: 2023-06-18 15:07:55 浏览: 240
以下是一个简单的 Python 爬虫代码,可以用来爬取淘宝商品的评论:
```python
import requests
import re
import json
def get_comments(item_id, page):
url = 'https://rate.tmall.com/list_detail_rate.htm'
params = {
'itemId': item_id,
'sellerId': '0',
'currentPage': page,
'pageSize': '20',
'folded': '0',
'callback': 'jsonp'
}
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
}
response = requests.get(url, params=params, headers=headers)
if response.status_code == 200:
pattern = re.compile(r'jsonp\((.*)\)', re.S)
result = re.findall(pattern, response.text)[0]
data = json.loads(result)
comments = data['rateDetail']['rateList']
for comment in comments:
print(comment['rateContent'])
else:
print('请求失败!')
if __name__ == '__main__':
item_id = 1234567890 # 商品 ID
for i in range(1, 6): # 爬取前 5 页评论
get_comments(item_id, i)
```
这个爬虫代码使用 requests 库发送 HTTP 请求,并使用正则表达式和 json 库解析返回的 JSON 数据,从中提取评论内容。你需要将代码中的 `item_id` 修改为你想要爬取评论的淘宝商品的 ID。
阅读全文