开放数据质量评估和可视化工具：一项基于真实数据集的研究

可在www.sciencedirect.com上在线获取ScienceDirectICTExpress 8（2022）328www.elsevier.com/locate/icte开放数据库的内在和外在数据质量Aurora González-Vidal，Alfonso P.Antonio Ramallo-González斯卡尔梅塔西班牙穆尔西亚穆尔西亚大学信息与通信工程系接收日期：2022年2月24日;接收日期：2022年5月6日;接受日期：2022年6月3日2022年6月13日在线提供摘要这项工作不仅评估了物联网数据的质量，而且还评估了它在多大程度上代表了相关现象的内在质量，以及它包含了多少信息来教育人工实体。这里提出的质量度量与真实的数据集进行了测试。此外，它们是在OpenCPU上实现的，因此开放数据存储库可以使用它们来对数据集进行评级，而无需计算成本和最少的人工干预，使它们对潜在用户更具吸引力，并获得可见性和影响力。© 2022作者（S）。由爱思唯尔公司出版代表韩国通信和信息科学研究所这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。关键词：数据质量;开放数据;物联网;机器学习1. 介绍在基于物联网的环境中，数以百万计的连接、通信传感器和执行器及时生成大量数据，数据是做出明智决策和提供服务的燃料。如果数据质量很差，这些自动决策可能是不正确的。数据质量（DQ）是吸引用户参与和接受物联网服务的要求。数据的大量可用性不仅来自科学实验，而且来自公共和私人倡议（例如，请参阅私人倡议的Ecobee1的捐赠数据或公共倡议的建筑物观测站2）。从这个意义上说，描述数据的出版物数量的增长几乎可以在图1中看到。虽然每年都有大量的数据集发布，但没有一套质量指标为用户提供决策能力。为了解决这一问题，并为社会提供一套综合质量措施的指标，本文进行了工作。为此，作者使用分析模块对各种数据源进行评级，以确定最适合的数据源，所需的信息。我们可以找到相当多的DQ指标的定义两个主要的问题是：*通讯作者。电子邮件地址：alfonsop. um.es（A. P. Ramallo-Gonz a'lez）。1 我的朋友们：//我的朋友们：/我的朋友们：/ ecobee。com/donate-yur-data/2 https：//ec. 你好，我好。eu/energy/eu-buildings-databasen同行评审由韩国通信和信息科学研究所（KICS）负责https://doi.org/10.1016/j.icte.2022.06.001当数据适合预期用途时，数据是高质量的。我们称之为数据（Data Exergy），指的是外在的质量。当数据正确地表示它所描述的现实世界的结构时，它是高质量的。我们称之为数据焓，指的是内在质量。可以直接看到，第一个视图关注数据的应用，第二个视图关注数据集本身及其内部一致性。在文献中，复杂的算法声称可以保持数据质量[1]，但是，它们缺乏直接定义其直接应用的质量在这项工作中，我们定义了DQ的指标，并在几个物联网场景中计算它们，以检查它们的可行性。我们还测试了它们如何影响预测结果，并对所有这些结果进行了总结。2. 相关工作和背景物联网数据存在于许多场景和环境中，并且存在一些用于估计DQ的特定领域方法，例如智能电网中的健康[2]或能耗[3]等。这些作品定义了一组测试查询，这些查询是为了检查领域专家使用数学公式或自然语言指定的属性而编写的，这些属性不能轻易更新或应用于其他问题。在机器学习中，聚类是一种无监督的技术，它使用数据的内在属性进行划分，以便主题2405-9595/© 2022作者。 由Elsevier B.V.代表韩国通信和信息科学研究所出版。这是一CC BY-NC-ND许可下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。··A. Gon za'lez-V idal，A. P. Ramallo-Gonz a'lez和A. F. 斯卡尔梅塔ICT Express 8（2022）328329Fig. 1. 数据文件的快速增长表明，每年有更多的数据集被公开。数据来源：Scopus组内的受试者彼此相似，与分配给其他组的受试者不同。聚类技术已在文献中用于基于物联网的场景[4]。特别地，对于异常检测，包括K均值和分层聚类[5]、用于资源受限环境的Hy- perellipsoidal聚类算法（HyCARCE）[6]和高斯混合模型（GMM）[7]。自动编码器是另一种表示学习方法。自动编码器以无监督的方式研究数据的有效编码，并已用于异常检测[8]。除了研究工作之外，还提出了几项业务计划，例如使用图形界面删除重复的Cloudingo3，使用模板进行匹配和清理的DataLadder4这些工具需要领域知识来定义和更新特定于领域的属性。缺乏开放的工具来自动生成要由数据质量测试检查的属性。有一些作品说明了机器学习算法受到低质量数据的严重影响。在[9]中，研究人员关注数据准确性，即测量或数据记录与其所代表的真实世界位置的接近程度。他们损坏的数据的一部分，并生成贝叶斯网络使用健康和损坏的数据作为输入，并分析网络中的差异相比之下，我们使用真实的数据集，并提出了许多其他指标，我们认为这些指标可以更好地描述数据质量。数据质量如何影响大数据和机器学习的完整描述可以在[10]中找到，其中描述了3个真实用例。3. "定义在本节中，我们将描述定义用于计算DQ的指标，这些指标不仅适用于物联网数据，用于与应用程序或上下文无关的开放数据存储库。我们还描述了开发的方法，3 http：//cloudingo. com/4 https：//datalader. com/.为了测量内在和外在数据质量，考虑到其在机器学习场景中使用的场景。3.1. 数据焓：QD基本指标就数据的内在质量而言，重要的是要有一套数据的一般基本质量，能够提供关于数据集本身某些指标的信息。虽然有几个来源可以找到这种指示符，但[11]中所示的工作以及本研究中考虑的指标已经确定。结果列表如下：完整性（qcmp）：可用数据与缺失或不可用数据实例之间的比例。当每个主题都为收集的所有变量提供一个值时，数据是完整的，这些变量受数据集粒度的时间间隔（qtim）：信息可访问性的预期时间，或系统创建数据和捕获数据之间的延迟似然性（qpla）：根据测量变量的概率知识，显示接收到的数据是否一致重复性（q art）：该度量定义了变量是单个传感器的直接测量值、多个源的聚合传感器值还是人为的时空内插值一致性（qconc）：描述数据源信息与其他独立数据源信息之间的一致性。用于评估基本度量的机制基于简单的代数运算3.2. 数据焓：基于离群值的指标我们使用了基于自回归综合移动平均（ARIMA）的框架[12]，以发现创新异常值、附加异常值、水平偏移、临时变化和季节性水平偏移[13]。所研究的传感器中离群值的百分比称为qout。我们还通过使用missForest [14]（一种迭代的基于随机森林的插补方法，就好像它们缺失一样）插补来研究其与正常观测值的偏差。值与插补之间的差值除以值的均值、中位数或众数，然后获得以下度量（q均值、q中位数、q众数）。检测离群值的另一种方法是使用无监督方法。qprob是属于 某 个聚 类 的 概 率 ，该 概 率 已 经使 用 高 斯 混合 模 型（GMM）计算。它定量地告知异常值。使用轮廓系数来选择聚类的数量我们认为自动编码器（AE）也适合这项任务，因为它们学习数据中固有的正常关系，因此，在寻找异常时，它们具有巨大的潜力[15]。AE是一种特定类型的前馈神经网络，它将输入压缩为低维代码，然后从该表示中重建输出。考虑到这一点，度量qrec基于A. Gon za'lez-V idal，A. P. Ramallo-Gonz a'lez和A. F. 斯卡尔梅塔ICT Express 8（2022）328330AE的输入值和输出值之间的差异越大，重建误差越大，变量之间的一致性就越小。总之，我们定义了6个新的度量：q out，q mean，qmedian，qmode，qprob和qrec。3.3. 数据焓：基于地理空间的指标一系列模型使我们能够评估数据的地理空间质量。这些 模 型 是 反 距 离 加 权 （ IDW ） [16] 和 贝 叶 斯 最 大 熵（BME）[17]。IDW是一种确定性估计方法，其中未知数据点是用已知点处可用值的加权平均值计算的，假设靠近的传感器更相似。BME是一个基于知识的空间和时空信息概率建模框架。它允许将各种知识库以逻辑方式作为先验信息、高精度和低精度数据的明确规则纳入建模。我们已经计算了插值和真实值之间的差异，其平均值和中位数将为我们的指标，命名为：q在v平均和q在v中为IDW，和qBME平均和qBME中为BME。每个观测值的平均值和中位数的计算是必要的，因为插值是对所有变量逐一进行的，因此我们提供了这两个指标来汇总结果。3.4. 数据（火用）评估为了提供一种更简单、更直观的方式来显示数据库的质量，我们使用主成分分析（PCA）来评估指标之间PCA是一种统计方法，它简化了多维样本空间的复杂性，同时保留了它们的信息。在我们的例子中，我们有一个11维的空间，对应于每个定义的质量度量。为了在两个度量中累积它们的值，我们使用了这种方法。每个主成分（Zi）通过原始变量的线性组合获得。它们可以被理解为通过以线性方式组合原始变量而获得的新变量。一组变量（X1，X2，. . .，Xp）是具有最大方差的那些变量的标准化线性组合。要更深入地了解PCA方法，请参阅[18]。第二种方法来衡量和排名的影响，我们的质量指标对回归模型的准确性，包括使用特征选择技术，以预测RMSE时，使用质量指标作为输入。从这个意义上说，我们将考虑可能对模型准确性产生影响的指标和特征，并将它们减少到最重要的指标和特征。为了做到这一点，我们遵循[19]中发表的方法和结论。FS方法是一种搜索策略，其中候选子集的性能通过一个给定的评估者。在搜索策略上，采用了多目标进化算法。它不仅允许像单目标搜索策略一样最小化错误，而且还可以最小化属性的数量。进化技术是一种全局搜索的元搜索方法，不会陷入局部最优。我们已经测量了功能选择的有效性，使用的相关性为基础的功能选择评估器的优点度量。相关性特征选择（CFS）遵循假设：4. 真实场景和实施在本节中，我们将介绍三种不同的物联网场景，在这些场景中计算先前的指标，并强调它们的潜力。我们还介绍了如何使用OpenCPU将我们的计算实现为随时可用的服务，因此任何将数据集上传到存储库的人都可以期望他们的数据得到评分。4.1. 内在质量数据评估我们已经研究了一个数据集，包括监测光度从位于穆尔西亚大学的建筑物的四个传感器。我们选择这一个，因为它是一个常见的数据集，它以时间序列的形式出现。它变化，它受人类行为的影响，由物联网设备提供。图图2显示了可以为光度数据集计算的所有度量的直方图以及基本统计数据。无法计算及时性指标，因为我们不知道数据存储中有任何滞后。此外，人工值始终取1，因为数据的时间戳是分开的。4.2. 外部评价在这一节中，我们提供了一个PCA的指标， 根据它们所包含的信息，将它们全部总结为两个，以便在不可能对用例进行深入解释的情况下简化它们的使用。我们已经为第4.1节中描述的光度数据集的每个传感器拟合了自回归积分移动平均（ARIMA）模型，以估计它们在5个观测值的水平线中的值。在那之后，我们观察到我们的一些指标的轮廓与错误的轮廓相对应，当质量较差时具有更大的错误。在图3中，描绘了度量与两个主要主成分之间的相关性。可以解释如下：正相关的变量被分组在一起，例如，qinv和qBME负相关变量位于图原点的相对侧（相对象限），例如q prob和q rec。··A. Gon za'lez-V idal，A. P. Ramallo-Gonz a'lez和A. F. 斯卡尔梅塔ICT Express 8（2022）328331−==-=-=\图二、 亮度度量的直方图和统计。统计量为：平均值（sd）; IQR（CV）和最小平均值最大值。变量与原点之间的距离衡量因子图上变量的质量。远离原点的变量在因子图上得到了很好的表示。例如，qcomp没有得到很好的表示。使用多目标进化算法选择的特征是qcomp、qout和q BMEmedian。为了验证所提出的数据评估的有效性，我们计算了qout和q BM E中位数之间的相关性和预测误差。即使它是由FS策略选择的，我们也没有考虑qcomp，因为通过PCA检测到的影响非常小。预测误差与qout（0.67）呈显著负相关，与qBM E中位数（0.65）呈显著正相关。这是有道理的，因为qout越大，异常值越少，精度越高，q BM E中值越小，传感器之间的不协调越少，精度越高。我们还将数据集分为两个不同的集合，以查看这些指标与预测误差数据集的第一部分给出q out0。885, qBM E中位数15。RMSE为1.36。而第二部分给出q0。92, qBM E中位数10。RMSE0.86。数据集的后半部分提供了更低的误差，因为它具有更好的度量（更高的qout和更低的q BM E中值）。4.3. 在开放数据库开放数据存储库现在是英国和欧洲其他国家大学网站的规范。事实上，我们的质量指标是快速的，全面的，描述性的，并且可以实时计算，这使得它们成为装备这些开放数据存储库的理想工具。有了这些指标，研究人员将能够在一个外观上观察数据我们选择了Cambridge Open Data repository5来测试我们的方法他们的网站为研究人员提供了一个管理和共享他们在研究中产生的数据的平台。许多支持剑桥大学工作的研究资助者要求研究数据公开，尽可能少的限制。这样一个网站，5 我的朋友们：//我的朋友们：/我的朋友们：/ datata。cam。梭uk/图3.第三章。 主成分分析圈。这是许多可以从我们的工具中受益的例子我们选择了三个数 据 集 ， 即 Slot burner [21] ， Toothpaste 和 Toothpaste2[22]，并且我们根据数据集的特征计算了本文中建议的度量。狭缝燃烧器数据集包括预混情况（fs1）、中等分层情况（fs4）和高度分层情况（fs6）的弱湍流甲烷空气v形火焰中的温度和主要组分浓度的线测量。牙膏数据集收集了两种配置，即通过水平冲击水射流从垂直玻璃表面清洁薄牙膏污垢层和通过排出液体产生的降膜。图4我们可以看到这些指标的值，它们如何根据其作为特征的重要性（特征选择）以及有助于评估其关系的PCA我们需要澄清的是，指标的比较是可能的，特别是对于类似的数据集。例如，根据图4，我们可以说牙膏的回收率低于牙膏2，在这两种情况下，这个变量是最重要的。此外，我们看到基于离群值的度量（qout）在Toothpaste2中比在A. Gon za'lez-V idal，A. P. Ramallo-Gonz a'lez和A. F. 斯卡尔梅塔ICT Express 8（2022）328332图四、剑 桥 开 放 数 据 库 的 3 个 数 据 集 的 排名指标（左条形图）和PCA圆圈（右图）。牙膏，所以根据我们的衡量标准，我们一般应该选择牙膏2。4.4. OpenCPU实现OpenCPU是一个用于嵌入式科学计算和可重复研究的框架。OpenCPU服务器为基于R的数据分析提供了可靠且可互操作的HTTP API，R也是一种广泛使用的数据分析工具。OpenCPU允许我们的指标可以由任何用户计算[23]。为此，构建了一个R包，它执行所有这些计算，并支持一组存储数据的URL。为了计算度量，应该建立一个POST方法，端点应该指向适当的包和函数。5. 结论和今后的工作在本文中，我们提出了一个评估框架，该框架评估数据本身的质量以及训练AI模型的数据质量。开放数据库的创建正在成为公共和私人项目研究的规范。需要找到一种快速的解决方案，并且可以在开放的数据存储库上连接到云，以便在运行时自动评估每个数据集，并提供一个分数和一组指标。在研究了不同的方法和技术之后，我们依次提出了几个概念来衡量数据的质量并描述它们是如何工作的。此外，这些指标已经在一个真实的数据集和一个真实的开放数据库（剑桥大学）上得到了证明。除了展示这些指标外，本文还将它们与机器学习方法的准确性联系起来，我们称之为外部数据质量或数据火用。从这个意义上说，我们强调了对预测结果有更大影响的指标。这是为了表明数据的质量对基于机器学习的应用程序有影响，通过我们的指标对其进行测量可以帮助决策。作为未来的工作，我们将使用更多的机器学习算法，以更全面的方式测试质量指标在错误中的影响。开发和测试我们的质量指标的结果是，指标反应良好，执行速度快，并且在提供有关数据集的信息方面准确无误，它有多好，以及训练模型的能力如何。我们坚信，这些指标是在一个很好的时间，研究人员正在通过开放的数据存储库进行大量的数据实验，我们提出的指标，如果推广，可以使研究人员和数据的所有用户竞合利益作者声明，他们没有已知的可能影响本文所报告工作A. Gon za'lez-V idal，A. P. Ramallo-Gonz a'lez和A. F. 斯卡尔梅塔ICT Express 8（2022）328333致谢这项工作由西班牙欧盟委员会通过H2020 PHOENIX（g.a.893079）、DEMETER（g.a.857202），项目和PRIMA基金会，西班牙和欧盟，西班牙g.a.编号1821 WATERMED4.0 -致电2018第1节水。它也由西班牙大 学部 共 同 资助 ， 西 班牙 通 过 玛格 丽 塔萨 拉 斯 通过NextGenerationEU计划与欧盟联系。引用[1] A. Gonzalez-Vidal ， P. Barnaghi ， A.F. Skarmeta ， Beats ： Blocksofeigenvalues algorithm for time series segmentation，IEEE Trans. 知道。数据工程师30（11）（2018）2051[2] M.G.放大图片作者：J. J. Bauck，J. Brown，B.N. 戴维森，H.埃斯蒂里角Goerg，E. Holve，S.G.约翰逊等人，统一的数据质量评估术语和框架 电子健康记录数据的二次使用，Egems 4（1）。[3] W. Chen，K. Zhou，S.杨角，澳-地吴，智能电网环境下电力消费数据的数据质量，更新。坚持住。能源修订75（2017）98-105。[4] D. Puschmann，P. Barnaghi，R. Tafazolli，动态物联网数据流的自适应聚类，IEEE Internet Things J。4（1）（2016）64[5] M.S. Parwez，D.B. Rawat，M. Garuba，移动无线网络中用户活动分析和用户异常检测的大数据分析，IEEE Trans. 印第安纳INF. 13（4）（2017）2058[6] P. Rathore，A.S.拉奥，S。Rajasegarar，E. Vanz，J. Gubbi，M.Palaniswami，使用物联网进行实时城市微气候分析，IEEE InternetThings J。5（2）（2017）500[7] J. Diaz-Rozo，C.杨文，数据流的动态高斯混合模型聚类分析，北京大学出版社， 20 0 1 。5（5）（2018）3533[8] C. Zhou，R.C. Paffenroth，使用鲁棒的深度自动编码器进行异常检测，在：第23届ACM SIGKDD国际知识发现和数据挖掘会议论文集，2017年，pp. 665 -674。[9] V. Sessions，M.数据质量对机器学习算法的影响，Vol. 6，ICIQ，2006，pp.485-498.[10] V. Gudivada，A. Apon，J. Ding，大数据和机器学习的数据质量考虑：超越数据清洗和转换，Int. J. Adv. 软件。10（1）（2017）1[11] D. Kuemper，T. 伊格纳河Toenjes，E. 普尔弗穆勒，有效。iot：传感器数据质量分析和插值的框架，在：第九届ACM多媒体系统会议论文集- Ence，ACM，2018年，pp. 294-303[12] A. González-Vidal，J. Cuenca-Jara，A.F. Skarmeta，水管理物联网：走向智能异常检测，在：2019年IEEE第五届世界物联网论坛，WF-IoT，IEEE，2019年，pp。858 -863[13] C.陈湖，澳-地M.刘，时间序列中模型参数和异常值效应的联合估计，美国统计学杂志。88（421）（1993）284-297。[14] D.J.Stekhoven，P.Bühlmann，Missforest-non-parametricmissingvalue imputation for mixed-type data，Bioinformatics 28（1）（2012）112-118。[15] Y. Ikeda，K. Ishibashi，Y. Nakano，K.渡边河，巴西-地Kawa-hara ， Anomaly detection and interpretation using multi-modalautoencoder and sparse optimization ， arXiv preprint arXiv ： 1812.07136.[16] D.齐默尔曼角Pavlik，A. Ruggles，M.P. Armstrong，普通克里金法和通用克里金法与反向距离加权法的实验比较，数学. Geol. 31（4）（1999）375[17] A. González-Vidal，P. Rathore，A.S. Rao，J. Mendoza-Bernal，M.Palaniswami，A.F. Skarmeta-Gómez，基于最大熵的物联网应用缺失数据填补，IEEEInternet ThingsJ..[18] H. Abdi，L.J. Williams，主成分分析，WileyInterpolation。Rev.Comput. Stat. 2（4）（2010）433[19] A. Gonzalez-Vidal，F. Jimenez，A.F. Gomez-Skarmeta，基于特征选择的智能建筑能源多变量时间序列预测方 法 ，能源建设。196（2019）71[20] M.A. 霍尔，基于相关性的机器学习特征选择[21] M. Sweeney，S.霍赫格雷布河巴洛，剑桥分层狭缝燃烧器数据，2010年。 //www. dspace. cam。梭26日，联合国秘书长安南在联合国总部举行的记者招待会上说，[22] I. Wilson，J.扬河，巴西-地巴加特河Rosario Fernandes，M.诺德奎斯特，K. Gernaey，U. Kruehne，通过撞击液体射流及其降膜从血管壁上清洁牙膏：浸泡效应的定量建模：数据和补充信息，2019年。http：//dx. 多岛或g/10。17863/CAM. 四二三九二。[23] A. Zafiropoulos，E. Fotopoulou，A. González-Vidal，A. Skarmeta，分离大数据分析流程的设计，开发和执行：基于能源和行为分析的案例研究，载于：2018年全球物联网峰会，GIoTS，IEEE，2018年，pp. 1比6