selenium的爬虫怎么写

Selenium是一个强大的自动化测试工具，也可以用于创建Web爬虫，特别是那些涉及交互式网页、JavaScript动态加载内容或者需要模拟用户行为的场景。以下是使用Python的Selenium基本步骤编写一个简单的爬虫示例：

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

# 创建一个新的Chrome浏览器实例
driver = webdriver.Chrome()

# 打开目标网页
url = 'http://example.com'
driver.get(url)

# 等待页面元素加载完成
wait = WebDriverWait(driver, 10)  # 设置超时时间，单位秒
element = wait.until(EC.presence_of_element_located((By.TAG_NAME, 'h1')))  # 指定元素类型和名称

# 获取H1标签的文本
h1_text = driver.find_element(By.TAG_NAME, 'h1').text

print(f"H1标题: {h1_text}")

# 关闭浏览器
driver.quit()

这个例子中，我们首先导入必要的模块，然后创建一个Chrome浏览器实例。接着，打开指定的网址，等待H1元素加载完毕，再找到并获取其文本。最后关闭浏览器。

注意，Selenium爬虫可能会比较慢，因为它的目的是像真实用户一样操作浏览器。如果你只需要静态内容，可能更适合使用如BeautifulSoup这样的库。