selenium爬虫案例
时间: 2023-10-20 14:36:22 浏览: 156
以下是一个使用 Selenium 实现的简单爬虫案例:
```python
from selenium import webdriver
# 创建浏览器对象
browser = webdriver.Chrome()
# 访问页面
browser.get('https://www.baidu.com/')
# 找到搜索框并输入关键词
input_elem = browser.find_element_by_id('kw')
input_elem.send_keys('Python')
# 找到搜索按钮并点击
button_elem = browser.find_element_by_id('su')
button_elem.click()
# 等待搜索结果加载完成
browser.implicitly_wait(10)
# 输出搜索结果的标题和链接
results_elem = browser.find_elements_by_css_selector('.result-title')
for result_elem in results_elem:
title_elem = result_elem.find_element_by_tag_name('a')
title = title_elem.text
link = title_elem.get_attribute('href')
print(f'{title}: {link}')
# 关闭浏览器
browser.quit()
```
以上代码会使用 Chrome 浏览器自动打开百度首页,然后在搜索框中输入关键词“Python”,点击搜索按钮,等待搜索结果加载完成后输出搜索结果的标题和链接,并最后关闭浏览器。
阅读全文