selenium 采集网页标题
时间: 2023-11-08 15:06:36 浏览: 24
可以使用Selenium中的`driver.title`方法来获取网页的标题。具体代码如下:
```
from selenium import webdriver
# 创建WebDriver对象,启动浏览器
driver = webdriver.Chrome()
# 访问网页
driver.get('https://www.baidu.com')
# 获取网页标题
title = driver.title
print(title)
# 关闭浏览器
driver.quit()
```
输出结果为:
```
百度一下,你就知道
```
注意:需要先安装Selenium和对应的浏览器驱动。
相关问题
selenium 采集网页数据代码
以下是用Python和Selenium采集网页数据的示例代码:
```python
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
# 初始化浏览器
driver = webdriver.Chrome()
# 打开目标网页
driver.get("http://www.example.com")
# 获取网页标题
title = driver.title
print("网页标题是:" + title)
# 获取网页源代码
html = driver.page_source
print("网页源代码是:" + html)
# 查找页面元素并交互
elem = driver.find_element_by_name("q")
elem.clear()
elem.send_keys("selenium")
elem.send_keys(Keys.RETURN)
# 关闭浏览器
driver.quit()
```
此代码将打开Chrome浏览器并访问http://www.example.com。然后,它将获取该网页的标题和源代码,并在搜索框中输入"selenium"并提交搜索。最后,它将关闭浏览器。您可以根据自己的需要修改代码以采集所需的数据。
selenium 保存网页
Selenium是一个用于自动化浏览器操作的工具,可以用于模拟用户在浏览器中的行为。如果你想保存网页,可以使用Selenium提供的方法来实现。
首先,你需要安装Selenium库,并下载对应浏览器的驱动程序。然后,你可以使用以下代码来保存网页:
```python
from selenium import webdriver
# 创建浏览器对象
driver = webdriver.Chrome() # 这里以Chrome浏览器为例,如果使用其他浏览器,请下载对应的驱动程序并修改此处代码
# 打开网页
driver.get("https://www.example.com") # 将网址替换为你要保存的网页地址
# 保存网页
html = driver.page_source
with open("page.html", "w", encoding="utf-8") as f:
f.write(html)
# 关闭浏览器
driver.quit()
```
上述代码中,我们首先创建了一个浏览器对象,然后使用`get()`方法打开了指定的网页。接着,我们使用`page_source`属性获取当前页面的HTML源代码,并将其保存到名为"page.html"的文件中。最后,我们调用`quit()`方法关闭浏览器。
请注意,你需要根据你使用的浏览器类型和版本下载对应的驱动程序,并将驱动程序的路径配置到系统环境变量中,或者在代码中指定驱动程序的路径。