pycharm爬取京东评论
时间: 2023-12-15 07:33:02 浏览: 105
以下是使用pycharm爬取京东评论的步骤:
1. 安装selenium和pyquery库
```shell
pip install selenium
pip install pyquery
```
2. 下载Chrome浏览器和对应版本的ChromeDriver,并将ChromeDriver.exe文件放在系统环境变量中。
3. 在pycharm中创建一个新项目,然后在项目中创建一个新的Python文件。
4. 在Python文件中导入需要的库,并设置ChromeDriver的路径和浏览器的User-Agent。
```python
from selenium import webdriver
from pyquery import PyQuery as pq
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument('--headless')
chrome_options.add_argument('--disable-gpu')
chrome_options.add_argument('--user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36')
browser = webdriver.Chrome(executable_path='ChromeDriver的路径', chrome_options=chrome_options)
```
5. 使用selenium模拟浏览器打开京东商品页面,并获取商品的评论数据。
```python
url = 'https://club.jd.com/comment/productPageComments.action'
browser.get(url)
browser.find_element_by_id('productId').send_keys('商品ID')
browser.find_element_by_class_name('btn-submit').click()
html = browser.page_source
doc = pq(html)
comments = doc('.comment-item').items()
for comment in comments:
print(comment.find('.comment-con').text())
```
6. 关闭浏览器。
```python
browser.quit()
```
阅读全文