python的selenium爬虫案例
时间: 2023-10-31 22:00:05 浏览: 69
Python的Selenium库是一个强大的工具,可以用于自动化网页操作和数据采集。下面是一个 Python的Selenium爬虫案例:
案例1:京东页面采集
首先,您需要安装Selenium库[2.1]。然后,您可以使用以下步骤编写Python脚本来实现京东页面的数据采集:
1. 导入必要的模块:
from selenium import webdriver
2. 创建一个浏览器驱动实例,并打开京东的首页:
driver = webdriver.Chrome()
driver.get("https://www.jd.com/")
3. 定位并点击搜索框,并输入关键词:
search_box = driver.find_element_by_id("key")
search_box.send_keys("手机")
search_box.submit()
4. 定位商品列表,并获取列表中的商品信息:
product_list = driver.find_elements_by_class_name("gl-item")
for product in product_list:
# 获取商品名称
name = product.find_element_by_class_name("p-name").text
# 获取商品价格
price = product.find_element_by_class_name("p-price").text
# 打印商品信息
print("商品名称:", name)
print("商品价格:", price)
5. 关闭浏览器:
driver.quit()
这个案例演示了如何使用Selenium库来打开京东首页,搜索关键词并获取商品列表的名称和价格[2.2]。通过定位元素,您可以轻松地获取您所需的数据。
请注意,由于Selenium库是一个自动化工具,它的效率较低,因此适用于小规模的数据采集任务。
希望这个案例能为您提供一个基本的了解,您可以根据自己的需求进行相应的修改和扩展。
相关推荐
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![py](https://img-home.csdnimg.cn/images/20210720083646.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)