通过selenium反爬示例代码
时间: 2024-03-21 13:36:53 浏览: 81
当网站采取了一些反爬措施,如验证码、IP封禁、动态加载等,我们可以使用Selenium来模拟浏览器行为,绕过这些反爬措施。下面是一个通过Selenium进行反爬的示例代码:
```python
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
# 创建一个Chrome浏览器实例
driver = webdriver.Chrome()
# 打开目标网页
driver.get("https://example.com")
# 等待页面加载完成
wait = WebDriverWait(driver, 10)
element = wait.until(EC.presence_of_element_located((By.ID, "target_element_id")))
# 执行一些操作,如输入账号密码、点击按钮等
username_input = driver.find_element(By.ID, "username")
password_input = driver.find_element(By.ID, "password")
submit_button = driver.find_element(By.ID, "submit")
username_input.send_keys("your_username")
password_input.send_keys("your_password")
submit_button.click()
# 等待页面跳转或加载完成
wait.until(EC.url_contains("success"))
# 获取需要的数据
data_element = driver.find_element(By.ID, "data")
data = data_element.text
# 关闭浏览器实例
driver.quit()
```
上述代码使用了Selenium的Chrome驱动来模拟浏览器行为,打开目标网页,等待页面加载完成,执行一些操作,获取需要的数据,最后关闭浏览器实例。
阅读全文