用python selenium写一个获取网页代码的爬虫
时间: 2024-06-08 11:11:46 浏览: 185
基于Selenium的Python网络爬虫的实现.pdf
5星 · 资源好评率100%
好的,以下是一个用 Python 和 Selenium 模拟浏览器获取网页源代码的示例:
首先,需要安装 Selenium 库和 Chrome 浏览器驱动程序。可以使用以下命令安装:
```
pip install selenium
```
下载对应版本的 Chrome 浏览器驱动程序,下载地址:https://sites.google.com/a/chromium.org/chromedriver/downloads
接下来,编写 Python 代码:
```python
from selenium import webdriver
# 创建 Chrome 浏览器对象
driver = webdriver.Chrome()
# 打开网页
driver.get('https://www.baidu.com')
# 获取网页源代码
html = driver.page_source
# 关闭浏览器
driver.quit()
# 输出网页源代码
print(html)
```
以上代码中,首先创建了一个 Chrome 浏览器对象,然后调用 `get` 方法打开指定的网页,接着使用 `page_source` 属性获取网页源代码,最后关闭浏览器并输出网页源代码。
注意:在获取网页源代码之前,需要等待网页完全加载完成。可以使用 `time.sleep()` 方法等待一定时间,或者使用 Selenium 提供的等待方法等待指定元素出现。
阅读全文