selenium自动爬取京东商品评论
时间: 2023-10-11 20:10:08 浏览: 68
可以使用Selenium模拟浏览器操作,实现自动爬取京东商品评论的功能。以下是一个简单的示例代码:
```python
from selenium import webdriver
import time
# 打开浏览器
browser = webdriver.Chrome()
# 进入京东商品页面
url = 'https://item.jd.com/商品ID.html'
browser.get(url)
# 点击商品评论
browser.find_element_by_link_text('商品评价').click()
# 获取评论页数
page = browser.find_element_by_class_name('ui-page-s-len').text.split('/')[-1]
page = int(page)
# 遍历评论页
for i in range(1, page+1):
# 滚动到底部,加载更多评论
browser.execute_script('window.scrollTo(0, document.body.scrollHeight)')
time.sleep(3)
# 获取评论内容
comments = browser.find_elements_by_class_name('comment-con')
for comment in comments:
print(comment.text)
# 点击下一页
try:
browser.find_element_by_class_name('ui-pager-next').click()
except:
break
# 关闭浏览器
browser.quit()
```
需要注意的是,需要替换代码中的`商品ID`为你要爬取的京东商品ID,也需要调整`time.sleep()`的时间以确保页面加载完成。另外,由于京东网站的反爬虫机制比较严格,建议使用代理IP和用户代理等方式进行反反爬虫处理。