selenium爬取代码
时间: 2023-11-11 07:07:30 浏览: 40
Selenium是一种基于Web的自动化工具,可以用于Web自动化测试和爬虫。下面是使用Selenium进行爬取的代码示例:
1.导入Selenium库和相关模块
```python
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.chrome.options import Options
```
2.设置浏览器选项和驱动路径
```python
chrome_options = Options()
chrome_options.add_argument('--headless') # 无头模式
chrome_options.add_argument('--disable-gpu')
driver_path = 'path/to/chromedriver' # 驱动路径
```
3.创建浏览器对象并打开网页
```python
driver = webdriver.Chrome(executable_path=driver_path, options=chrome_options)
driver.get('https://www.example.com')
```
4.定位元素并进行操作
```python
elem = driver.find_element_by_name('q') # 定位搜索框
elem.send_keys('selenium') # 输入关键词
elem.send_keys(Keys.RETURN) # 模拟回车键
```
5.获取页面内容并关闭浏览器
```python
print(driver.page_source) # 打印页面源代码
driver.quit() # 关闭浏览器
```