selenium 4.0 爬取谷歌网页

Selenium 4.0 是 Selenium 的最新版本，与以前的版本相比，它有很多新特性和改进。下面是一个使用 Selenium 4.0 爬取谷歌网页的示例：

from selenium.webdriver import Chrome
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.chrome.options import Options

# 设置 Chrome 驱动的路径
chromedriver_path = "path/to/chromedriver"

# 创建 ChromeOptions 对象
chrome_options = Options()
chrome_options.add_argument("--headless")  # 无头模式

# 创建 ChromeDriver 对象
service = Service(executable_path=chromedriver_path)
driver = Chrome(service=service, options=chrome_options)

# 打开谷歌网页
driver.get("https://www.google.com/")

# 查找搜索框并输入关键词
search_box = driver.find_element(By.NAME, "q")
search_box.send_keys("Python")
search_box.send_keys(Keys.RETURN)

# 获取搜索结果
search_results = driver.find_elements(By.XPATH, "//div[@class='g']//a")
for result in search_results:
    print(result.get_attribute("href"))

# 关闭浏览器
driver.quit()

这个示例中，我们首先创建了一个 ChromeOptions 对象，用于配置 Chrome 驱动的一些选项，比如无头模式。然后创建了一个 ChromeDriver 对象，用于启动 Chrome 浏览器。接着打开谷歌网页，并在搜索框中输入关键词。最后获取搜索结果并输出。最后别忘了关闭浏览器。