python爬取京东药品评论
时间: 2023-08-01 11:13:59 浏览: 66
要使用Python爬取京东药品评论,你可以使用Selenium和PyQuery库来实现。首先,你需要安装这两个库。然后,你可以使用以下代码来实现:
```python
from selenium import webdriver
from pyquery import PyQuery as pq
browser = webdriver.Chrome() # 使用Chrome浏览器
url = 'https://www.111.com.cn/categories/953710-a0-b0-c31-d0-e0-f0-g0-h0-i0-j1.html' # 药品评论页面的URL
browser.get(url) # 打开网页
# 等待页面加载完成
# 这里可以使用browser.implicitly_wait(10)来设置等待时间
html = browser.page_source # 获取网页源代码
doc = pq(html) # 使用PyQuery解析网页
items = doc('#J_goodsList li').items() # 获取药品列表
for item in items:
shop = item('.p-shop').text() # 店铺名
drug_name = item('.p-name em').text() # 药品名
efficacy = item('.p-name .promo-words').text() # 疗效
price = item('.p-price').text() # 价格
comments = item('.p-commit a').text() # 评论人数
# 在这里可以将数据保存到数据库或者进行其他操作
# 例如,可以使用以下代码将数据插入到数据库中
# insert_sql = 'INSERT INTO 表名 (药物价格, 药物名字, 药物网址, 药店ID) VALUES (%s, %s, %s, %s)'
# cursor.execute(insert_sql, (price, drug_name, url, a))
# 注意,这里的a是一个药店ID,你需要根据实际情况进行修改
browser.quit() # 关闭浏览器
```
以上代码使用Selenium打开京东药品评论页面,并使用PyQuery解析页面内容。然后,通过选择器获取药品列表,并提取店铺名、药品名、疗效、价格和评论人数等信息。你可以根据需要将这些数据保存到数据库或进行其他操作。请注意,你需要根据实际情况修改代码中的表名和药店ID等信息。
#### 引用[.reference_title]
- *1* [python利用selenium爬取京东数据](https://blog.csdn.net/weixin_43440893/article/details/104537630)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item]
- *2* *3* [python爬虫爬取网上药品信息并且存入数据库](https://blog.csdn.net/weixin_39618169/article/details/110016280)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item]
[ .reference_list ]
相关推荐
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)