写一个python爬取京东商品评论的脚本
时间: 2024-01-02 19:03:05 浏览: 129
好的,以下是一个简单的Python爬取京东商品评论的脚本,需要使用到requests、re、json、time、random等库:
```python
import requests
import re
import json
import time
import random
# 商品ID
product_id = '100003565439'
# 评论链接
comment_url = 'https://club.jd.com/comment/productPageComments.action?productId=' + product_id + '&score=0&sortType=5&page='
# 评论页数
max_page = 10
# 请求头
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
# 循环获取每一页评论
for page in range(1, max_page + 1):
# 随机延时一段时间
time.sleep(random.randint(1, 5))
# 构造请求链接
url = comment_url + str(page) + '&pageSize=10&isShadowSku=0&rid=0&fold=1'
# 发送请求
response = requests.get(url, headers=headers)
# 获取评论内容
comments = json.loads(re.findall('fetchJSON_comment98\((.*)\);', response.text)[0])['comments']
# 遍历评论列表,输出评论内容
for comment in comments:
print(comment['content'])
```
上述脚本会爬取指定商品ID的前10页评论内容,并输出到控制台中。你可以根据需要自行修改商品ID、评论页数等参数。请注意,爬取评论需要一定的时间和网络资源,建议合理使用。
阅读全文