用requests爬取京东商品评论
时间: 2023-08-10 18:02:59 浏览: 128
您可以使用Python的requests库来爬取京东商品评论。以下是一个示例代码:
```python
import requests
def crawl_jd_comments(product_id):
url = f'https://club.jd.com/comment/productCommentSummaries.action?referenceIds={product_id}'
headers = {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.107 Safari/537.36',
}
response = requests.get(url, headers=headers)
if response.status_code == 200:
data = response.json()
comments_count = data['CommentsCount'][0]['CommentCount']
print(f'Total comments: {comments_count}')
else:
print('Failed to fetch comments')
# 传入商品ID调用函数
product_id = '100014348401'
crawl_jd_comments(product_id)
```
在上面的代码中,我们构造了京东商品评论的URL,然后发送GET请求获取评论数据。请注意,为了模拟浏览器行为,我们添加了`User-Agent`头部信息。您可以将`product_id`替换为您要爬取评论的具体商品ID。
请注意,这只是获取评论数量的示例代码,如果您需要获取更多详细的评论信息,您可能需要进一步解析网页内容。
阅读全文