python爬虫爬取京东评论
时间: 2023-10-11 15:10:23 浏览: 177
好的,以下是一个简单的 Python 爬虫爬取京东评论的示例代码:
```python
import requests
from bs4 import BeautifulSoup
def get_comments(product_id):
url = f"https://club.jd.com/comment/productPageComments.action?productId={product_id}&score=0&sortType=5&page=0&pageSize=10"
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3"}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, "html.parser")
comments = soup.find_all("div", class_="comment-content")
for comment in comments:
print(comment.text.strip())
```
使用时,调用 `get_comments` 函数并传入要爬取评论的商品ID即可,例如:
```python
get_comments(100008348542)
```
需要注意的是,由于京东评论数据是通过 AJAX 异步加载的,因此我们需要在 URL 中指定评论页码和每页评论数量。上面的示例中,我们指定了页码为 0,每页评论数量为 10。如果需要获取更多评论,可以适当调整这两个参数。
阅读全文