selenium怎么反爬
时间: 2023-11-16 10:56:11 浏览: 49
Selenium是一种常用的自动化测试工具,但是在爬虫领域中也被广泛使用。然而,有些网站会检测到Selenium并采取反爬措施,例如封禁IP等。为了避免这种情况,可以使用Selenium的反爬技巧。其中一种方法是去除window.navigator.webdriver这个特征值,因为大多数网站识别Selenium的方法是通过这个特征值。具体实现方法如下:
1. 实例化ChromeOptions对象,并添加excludeSwitches和disable-blink-features选项,代码如下:
```
from selenium.webdriver import ChromeOptions
from selenium import webdriver
option = ChromeOptions()
option.add_experimental_option('excludeSwitches',['enable-automation'])
option.add_argument("--disable-blink-features=AutomationControlled")
```
2. 实例化ChromeDriver对象,并执行CDP命令去除特征值,代码如下:
```
driver = webdriver.Chrome(options=option)
script = '''Object.defineProperty(navigator, 'webdriver', {get: () => undefined})'''
driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {"source": script})
```
这样就可以去除window.navigator.webdriver这个特征值,从而避免被网站检测到使用Selenium。除此之外,还有其他一些反爬技巧,例如使用代理IP、设置请求头等。
相关推荐
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![-](https://csdnimg.cn/download_wenku/file_type_column_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)