selenium 4.0 爬取谷歌网页
时间: 2023-07-12 07:57:42 浏览: 130
selenium谷歌驱动2.4.0
5星 · 资源好评率100%
Selenium 4.0 是 Selenium 的最新版本,与以前的版本相比,它有很多新特性和改进。下面是一个使用 Selenium 4.0 爬取谷歌网页的示例:
```
from selenium.webdriver import Chrome
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.chrome.options import Options
# 设置 Chrome 驱动的路径
chromedriver_path = "path/to/chromedriver"
# 创建 ChromeOptions 对象
chrome_options = Options()
chrome_options.add_argument("--headless") # 无头模式
# 创建 ChromeDriver 对象
service = Service(executable_path=chromedriver_path)
driver = Chrome(service=service, options=chrome_options)
# 打开谷歌网页
driver.get("https://www.google.com/")
# 查找搜索框并输入关键词
search_box = driver.find_element(By.NAME, "q")
search_box.send_keys("Python")
search_box.send_keys(Keys.RETURN)
# 获取搜索结果
search_results = driver.find_elements(By.XPATH, "//div[@class='g']//a")
for result in search_results:
print(result.get_attribute("href"))
# 关闭浏览器
driver.quit()
```
这个示例中,我们首先创建了一个 ChromeOptions 对象,用于配置 Chrome 驱动的一些选项,比如无头模式。然后创建了一个 ChromeDriver 对象,用于启动 Chrome 浏览器。接着打开谷歌网页,并在搜索框中输入关键词。最后获取搜索结果并输出。最后别忘了关闭浏览器。
阅读全文