python爬取京东商品评论
时间: 2023-09-30 10:09:32 浏览: 74
要爬取京东商品评论,可以使用Python的爬虫库和工具来实现。
以下是一个简单的爬取京东商品评论的示例代码:
```python
import requests
import json
# 商品ID
product_id = '100011622209'
# 评论API
url = f'https://club.jd.com/comment/productPageComments.action?productId={product_id}&score=0&sortType=5&page=0&pageSize=10'
# 请求头信息
headers = {
'referer': f'https://item.jd.com/{product_id}.html',
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
}
# 发送请求
response = requests.get(url, headers=headers)
# 解析JSON数据
data = json.loads(response.text)
# 打印评论
for comment in data['comments']:
print(comment['content'])
```
在这个示例代码中,我们首先指定了要爬取的商品ID,然后构造了评论API的URL。接着,我们设置了请求头信息,以模拟浏览器发送请求。最后,我们使用requests库向API发送请求,获取评论数据,并使用json库解析JSON数据。最后,我们遍历评论数据,并打印评论内容。
需要注意的是,由于京东的反爬虫机制较为严格,所以在爬取评论数据时,需要设置合理的请求头信息,以避免被封IP或被封号。