python爬虫京东商品评论
时间: 2023-07-14 11:59:21 浏览: 115
python爬取京东商品评价信息
当然可以!以下是一个使用Python编写的简单示例,用于爬取京东商品评论:
```python
import requests
import json
def get_comments(product_id):
url = f'https://club.jd.com/comment/productPageComments.action?productId={product_id}&score=0&sortType=5&page=0&pageSize=10'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.190 Safari/537.36',
}
response = requests.get(url, headers=headers)
data = json.loads(response.text)
comments = data['comments']
for comment in comments:
content = comment['content']
print(content)
# 例子:爬取商品ID为100011256417的评论
get_comments('100011256417')
```
在上述示例中,我们使用requests库发送GET请求获取评论数据。需要注意的是,京东的评论数据是通过Ajax请求加载的,因此我们需要模拟浏览器发送请求,并在请求头中设置User-Agent。通过解析返回的JSON数据,我们可以提取评论内容并打印出来。
你可以将上述代码保存为一个Python文件并运行,替换`get_comments`函数中的`product_id`参数为你要爬取的商品ID。请注意,爬虫行为需要遵守网站的使用条款和政策,不要频繁请求或过度使用爬虫,以免给网站带来负担。
阅读全文