![](https://csdnimg.cn/release/download_crawler_static/86539074/bg1.jpg)
一种 Selenium 数据自动获取技术的研究应用
摘 要:
为了从网站中快速地自动获取海量实验数据,并实现网站 UI 页面的自动跳转,以便提升数据获取的效率。研
究实现了一种基于 Selenium 框架的数据自动获取技术。首先,在 Python 运行环境中导入 Selenium 库,通过编写 Python 语言
测试脚本,用于实现模拟用户打开及控制浏览器。并通过设置元素定位 find_element_by_xpath 方法的相关参数,定位网站中
UI界面元素,实现了数据的自动获取。最后,对获取的实验数据做简单的K-Means聚类分析。
关键词:
Selenium自动化测试框架;Python;网站数据自动获取;K-Means聚类分析
中图分类号:TP311 文献标识码:A 文章编号:2095-0438(2021)06-0157-04
(淮南联合大学信息工程学院 安徽淮南 232001)
目前,数据获取的渠道主要有三种:自有、爬取或购买。
其中数据爬取方式属于数据自动获取的范畴,可以通过
Python 编写 Web站点数据获取自动化测试用例加以实现,并
可将获取到的实验数据用于数据分析。自动化测试通常用
于替代人工方式,去执行那些繁杂的、高重复性的操作,进而
节约大量的人力资源。Selenium 为 Web 站点数据自动获取
提供了基础框架,凭借其自身强大的功能,市场占有额越来
越高。本文以 Python+Selenium 为核心,利用 Web Driver 数据
驱动实现了数据自动获取功能。
一、Selenium自动化测试框架
Selenium 通常用来编写 Web 应用的自动化测试脚本。
早 期 Selenium1. x 主 要 使 用 Selenium RC(Selenium Remote
Control)进行自动化测试。Selenium2.x 集成了 Selenium 和
Web Driver 的功能。Selenium 可以用来模拟用户在浏览器中
的操作。软件测试开发人员能够使用不同的编程语言如
Java、Scala、Python 等 编 写 测 试 脚 本 ,并 且 兼 容 在 Google
Chrome、IE、Firefox 等 浏 览 器 中 运 行 测 试 脚 本
[1]
。 基 于
Selenium是开源的,测试人员可以按需进行个性化定制。
Selenium 主要由 IDE、Grid 和 RC 三个组件构成
[2]
,其中
IDE 为浏览器插件,提供脚本编辑、录制及回放功能,录制脚
本可以转换为 Java、Python、PHP 等多种脚本语言;Grid 实际
上是一个 jar 包,由 hub 节点及 node 节点构成,可在 Dos 命令
行下执行。主要用于测试脚本的分布式处理,允许在多机及
异构环境下运行测试脚本;RC(Remote Control)作为 Selenium
核心组件,由 selenium Server 和 Client Libraries 组成。其中
Selenium Server 用于控制浏览器行为,Client Libraries 则在自
郑海鹏
∗ ∗ ∗ 第 41 卷 第 6 期 绥 化 学 院 学 报 2021 年 6 月
Vol.41 No.6 Journal of Suihua University Jun . 2021
收稿日期:2020-12-15
作者简介:郑海鹏(1982-),女,黑龙江肇东人,淮南联合大学信息工程学院讲师,硕士,研究方向:软件开发、数据挖掘。
基金项目:安徽省重点自然科学基金项目“基于SPSS数据挖掘技术的高校一卡通子系统关联性分析研究”(KJ2019A0998);安徽省高
校质量工程项目“计算机动漫制作技术高水平团队”(2018jxtd148)。
157
万方数据