python爬虫京东商品评论
时间: 2023-08-29 14:11:25 浏览: 112
要爬取京东商品评论,你需要使用 Python 的 requests 库和 BeautifulSoup 库来发送 HTTP 请求和解析 HTML 页面。下面是一个简单的爬虫示例代码,可以获取某个京东商品的前10页评论:
```python
import requests
from bs4 import BeautifulSoup
# 设置请求头,模拟浏览器请求
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
}
# 请求评论数据
def get_comments(url, page):
params = {
'productId': url.split('/')[-1].split('.')[0],
'score': 0,
'sortType': 5,
'page': page,
'pageSize': 10,
'isShadowSku': 0,
'fold': 1
}
response = requests.get('https://club.jd.com/comment/productPageComments.action', params=params, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')
comments = soup.select('.comment-item .comment-con .comment-con')
return [comment.text.strip() for comment in comments]
# 爬取前10页评论
url = 'https://item.jd.com/100019014756.html'
comments = []
for page in range(1, 11):
comments += get_comments(url, page)
# 输出评论
for i, comment in enumerate(comments):
print(f'{i+1}. {comment}')
```
需要注意的是,京东的网页结构比较复杂,需要通过分析页面结构来提取评论数据。此外,为了避免被京东反爬虫机制拦截,需要设置请求头来模拟浏览器请求。
阅读全文