python使用selenium爬取
时间: 2023-12-27 21:24:20 浏览: 200
基于Python3的动态网站爬虫,使用selenium+phantomjs实现爬取动态网站, 本项目以爬取今日头条为例.zip
使用Selenium库可以实现Python爬取网页的功能。下面是一个简单的示例,演示了如何使用Selenium来爬取网页数据:
```python
from selenium import webdriver
# 创建一个浏览器对象
driver = webdriver.Chrome()
# 打开网页
driver.get("https://www.taobao.com")
# 查找搜索框元素并输入关键字
search_box = driver.find_element_by_id("q")
search_box.send_keys("手机")
# 点击搜索按钮
search_button = driver.find_element_by_class_name("btn-search")
search_button.click()
# 等待页面加载完成
driver.implicitly_wait(10)
# 获取搜索结果
results = driver.find_elements_by_class_name("JIIxO")
for result in results:
print(result.text)
# 关闭浏览器
driver.quit()
```
这个示例演示了如何使用Selenium打开淘宝网页,输入关键字并点击搜索按钮,然后获取搜索结果并打印出来。你可以根据自己的需求修改代码来爬取其他网页的数据。
阅读全文