用python爬取京东商品老干妈的评论数据的代码
时间: 2023-09-25 21:15:57 浏览: 80
以下是使用Python爬取京东商品“老干妈”评论数据的示例代码:
```python
import requests
import json
from bs4 import BeautifulSoup
url = 'https://club.jd.com/comment/productPageComments.action'
params = {
'productId': '1039843',
'score': '0',
'sortType': '5',
'page': '0',
'pageSize': '10'
}
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.109 Safari/537.36',
'Referer': 'https://item.jd.com/1039843.html'
}
comments = []
for i in range(10):
params['page'] = str(i)
response = requests.get(url, params=params, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')
json_data = json.loads(soup.find('p').get_text())
comments.extend(json_data['comments'])
for comment in comments:
print(comment['content'])
```
上述代码中,使用了requests库发送HTTP请求,使用了BeautifulSoup库解析响应内容,并使用了json库解析JSON格式的数据。其中,params参数用于传递查询参数,headers参数用于设置请求头,comments列表保存了爬取到的评论数据。
需要注意的是,京东网站的评论数据是动态加载的,因此需要使用params参数传递查询参数,以便获取到特定页数的评论数据。在上述示例代码中,通过循环获取了前10页的评论数据,可以根据需要进行调整。
阅读全文