使用Selenium搜索并爬取网页指定信息代码
时间: 2023-09-20 11:09:20 浏览: 98
好的,下面是使用Selenium搜索并爬取网页指定信息的Python代码示例:
```python
from selenium import webdriver
import time
# 设置Chrome浏览器驱动程序路径
driver_path = 'chromedriver.exe'
# 创建Chrome浏览器对象
driver = webdriver.Chrome(executable_path=driver_path)
# 打开百度首页
driver.get('https://www.baidu.com')
# 找到搜索框和搜索按钮,并输入关键字进行搜索
search_box = driver.find_element_by_xpath('//input[@id="kw"]')
search_box.send_keys('Python')
search_button = driver.find_element_by_xpath('//input[@type="submit"]')
search_button.click()
# 等待搜索结果页面加载完成
time.sleep(5)
# 在搜索结果页面中找到第一个搜索结果的标题,并输出其文本内容
result_title = driver.find_element_by_xpath('//div[@class="result c-container "]//h3')
print(result_title.text)
# 关闭浏览器
driver.quit()
```
这段代码使用Selenium库打开Chrome浏览器,并在百度搜索框中输入关键字“Python”进行搜索。然后,等待搜索结果页面加载完成,找到第一个搜索结果的标题,并输出其文本内容。最后,关闭浏览器。
阅读全文