GeoSPARQL合规性基准测试软件—评估RDF三重存储是否符合标准

软件影响8（2021）100071原始软件出版物GeoSPARQL合规性基准测试软件MilosJovanovika，d，Zhao，TimoHomburgb，MirkoSpasićc，daSS。西里尔和美多迪乌斯大学，斯科普里，马其顿b德国美因茨应用科学大学塞尔维亚贝尔格莱德大学dOpenLink Software，英国A R T I C L E I N F O保留字：GeoSPARQL对合规性进行基准测试RDF三重存储A B标准检查地理空间三重存储是否符合GeoSPARQL标准是许多用户选择适当存储解决方案时的关键步骤。 本出版物介绍了包含GeoSPARQL合规性基准的软件-该基准检查RDF triplestores是否符合GeoSPARQL标准的要求。用户可以在HOBBIT基准测试平台中执行此基准测试，以量化GeoSPARQL标准在感兴趣的三重存储中实施的程度。这使用户在选择RDF存储解决方案时能够做出明智的决定，并有助于评估语义Web上地理空间技术的总体采用状况。代码元数据当前代码版本2.1用于此代码版本的代码/存储库的永久链接https://github.com/SoftwareImpacts/SIMPAC-2021-29可复制胶囊Legal Code LicenseGNUGeneralPublicLicense使用Git的代码版本控制系统使用Java、Docker的软件代码语言、工具和服务编译要求、操作环境依赖性Maven如果可用，链接到开发人员文档/手册https://github.com/OpenLinkSoftware/GeoSPARQLBenchmark问题支持电子邮件geosparql-benchmark@openlinksw.com软件元数据当前软件版本2.1此版本可执行文件的永久链接https://github.com/OpenLinkSoftware/GeoSPARQLBenchmark/releases/tag/v2.1可复制胶囊法律软件许可证GNUGneralPublicLicense计算平台/操作系统通过HOBBITplat形式在线安装要求依赖性如果可用，链接到用户https://arxiv.org/abs/2102.06139问题支持电子邮件geosparql-benchmark@openlinksw.com1. 介绍GeoSPARQL标准[1]定义了以RDF [2]表示的地理空间数据的表示格式，作为语义Web [3]的一部分以及一组使用相同地理空间数据的几何函数。自2012年推出以来，该标准已作者：Ss。西里尔和美多迪乌斯大学在斯科普里，北马其顿。电子邮件地址：milos. finki.ukim.mk（M. Jovanovik）。https://doi.org/10.1016/j.simpa.2021.100071接收日期：2021年3月24日;接收日期：2021年3月25日;接受日期：2021年3月26日2665-9638/©2021作者。由Elsevier B.V.出版。这是一篇开放获取的文章，使用CC BY许可证（http://creativecommons.org/licenses/by/4.0/）。可在ScienceDirect上获得目录列表软件影响杂志 首页：www.journals.elsevier.com/software-impactsM. Jovanovik，T.Homburg和M.斯帕希奇软件影响8（2021）1000712RDF三重存储器在不同程度上采用了这些技术，这些技术对于单个存储系统的用户来说并不一定是显而易见的。例如，用户可能想了解声称支持GeoSPARQL的三重存储是否支持各种坐标参考系统，或仅支持默认的世界大地测量系统WGS 84;或者它是否支持WKT [4]和GML [5]中表示的几何图形，或仅支持其中一种，等等。2. 描述GeoSPARQL合规性基准1的软件由三个组件组成：基准数据集、基准查询和预期查询答案。 基准数据集由一组用RDF表示的各种几何图形组成。基准查询代表一组206个SPARQL查询，旨在测试和检查被测系统是否符合定义的30个需求GeoSPARQL标准。 正确评估的查询有助于基准分数，该分数表明GeoSPARQL符合性，如[6]所述。为了评估给定的三重存储，基准测试软件首先将GeoSPARQL基准测试数据集加载到三重存储中。接下来，基准测试软件读取206个测试SPARQL查询及其预期答案。然后在测试的三元存储上执行查询，并将其结果与预期的答案进行比较。在执行所有查询并评估所有检索结果的正确性之后，基准测试软件启动评估过程，该过程生成两个结果：• 正确答案：所有SPARQL查询中正确答案的数量。• GeoSPARQL符合性百分比：符合GeoSPARQL标准要求前者是系统提供的正确答案的数量 在206个测试查询中。后者是从30个要求的角度计算的，并衡量基准系统与GeoSPARQL标准的总体符合性。它测量系统支持的需求数量，在30个指定需求中，每个需求的权重均匀分布[6]。HOBBIT平台2[7，8]是一个用于对三重商店进行基准测试的平台（图1）。它是一个开放的模块化平台，一方面，用户可以定义和执行基准，另一方面，能够添加新的三重存储，这些三重存储可以用平台基准进行测试。我们的GeoSPARQL合规基准是为HOBBIT平台开发的，这意味着该基准可以通过各种RDF triplestore上的公共平台执行，这确保了结果的可重复性3. 影响我们的基准测试软件允许对RDF triplestores的GeoSPARQL合规性进行精确评估。 它通过计算统一的百分比分数来实现这一点-合规性分数，表示给定三重存储实现的GeoSPARQL合规性的相对度量。此外，基准测试软件详细说明了GeoSPARQL标准的哪些部分得到了支持，以及支持的程度。在日常实践中，这使用户能够根据自己的需求做出关于RDF存储解决方案选择的明智决策。此外，它还提供了急需的基础，1 GeoSPARQL合规性基准：https://github.com/OpenLinkSoftware/GeoSPARQLBenchmark。2HOBBIT平台的公共实例：http://master.project-hobbit.eu。创建GeoSPARQL合规性标准化测试， 由OGC建立。3对于实现者来说，基准测试软件提供了一个机会，可以根据标准化的测试框架来改进和验证 他 们 的 实 现 。 因 此 ， 该 软 件 的 存 在 可 能 会 在 未 来 更 好 地 支 持GeoSPARQL我们最初的基准测试结果表明，最常用的三重存储，其中大多数声称GeoSPARQL支持，实际上有显着不同的支持水平的标准。更令人吃惊的是，没有一个完全符合4[6]（图2）。这些结果有助于实现上述两个目标：它们为潜在用户和triplestore实现者提供了有用的见解。基准测试软件的其他影响点包括验证对即将推出的GeoSPARQL标准版本的支持的能力。软件的模块化设计允许定义新的查询-回答对，这将测试概述的新功能或要求。 在GeoSPARQL标准的未来版本该软件目前由Virtuoso5的开发团队和GeoSPARQL Fuseki，6的开发团队使用，以扩展其对GeoSPARQL的支持。然而，正如基准测试结果已经显示的那样，该基准测试对于从事语义存储解决方案业务的各种公司也很有趣，例如 背后 GraphDB，7 AllegroGraph，8 AnzoGraph，9 等等， 以及各种致力于符合GeoSPARQL标准的开源项目，例如RDF4J、10Blazegraph、11等。他们可以使用基准来跟踪其支持GeoSPARQL标准的进度，并将其系统与竞争对手进行比较。从长远来看，随着语义Web上地理空间数据量的增加以及扩展GeoSPARQL标准的持续发展[9，10]，我们预计会有更多开发triplestores的公司采用我们的测试来衡量其GeoSPARQL合规性的程度。 为了让供应商了解GeoSPARQL标准即将进行的更新，并提高对GeoSPARQL的普遍认识，GeoSPARQL工作组已经创建了一个潜在的未来实施者列表。12基准测试软件已用于我们出版物中概述的研究和分析，该出版物比较了最常用的RDF三重存储的GeoSPARQL合规性得分[6]。4. 结论和今后的工作该出版物介绍了GeoSPARQL组件基准测试软件，该软件用于测试三重存储的GeoSPARQL合规性。 它填补了地理空间领域的一个重要空白，通过允许三重存储用户和三重存储开发人员获得对现有RDF存储解 决 方 案 的 GeoSPARQL 支 持 的 概 述 和 深 入 了 解 ， 鉴 于 继 任 者GeoSPARQL标准-3OGC合规计划：https://www.ogc.org/compliance。4 结果从的GeoSPARQL合规基准：http：//master.project-hobbit.eu/experiments/1612476122572，1612477003063，1612476116049，1612477500164，1612661614510，1612637531673，1612828110551，1612477849872。5 Virtuoso：https://virtuoso.openlinksw.com.6GeoSPARQL Fuseki：https://jena.apache.org/documentation/geosparql/geosparql-fuseki。7 GraphDB：https://www.ontotext.com/products/graphdb/。8AllegroGraph：https://allegrograph.com.9 AnzoGraph：https://www.cambridgesemantics.com/anzograph/.10RDF4J：https://rdf4j.org。11 Blazegraph：https://blazegraph.com。12 GeoSPARQL实施者：https://github.com/opengeospatial/ogc-geosparql/issues/59。M. Jovanovik，T.Homburg和M.斯帕希奇软件影响8（2021）1000713Fig. 1. HOBBIT基准平台。图二、来 自 H O B B I T 平 台 公 共 实 例 的GeoSPARQL合规性基准测试结果。竞合利益作者声明以下经济利益/个人关系可能被视为潜在的竞争利益：MilosJovanovik和Mirko Spasić为OpenLink Software工作，是Virtuoso的供应商，Virtuoso是图中所示结果中的基准三重商店之一。 二、确认这项工作得到了欧洲之星项目SAGE（GA no. 艾薇！10882）。引用[1]O.G. Consortium等人，OGC GeoSPARQL -RDF数据的地理查询语言，OGC候选实现。立场（2012年）。[2]R. Cyganiak，D. Wood，M. Lanthaler，G. 放大图片作者：J. 麦克布赖德，卢旺达国防军1.1概念和抽象语法，2014年，W3C推荐。网址：//www. w3.org/TR/rdf11-concepts网站。[3] T. Berners-Lee，J.Hendler，O. Lassila，语义网，Sci。Am. 284（5）（2001）34-43。[4] J. Herring等人，Simple feature access - Part 1：Common architecture，OpenGeospatial Consortium，2011.[5]C. Portele，OGC实现规范07-036：OpenGIS地理标记语言（GML）编码标准，开放地理空间联盟，2007年。[6] M. Jovanovik，T.洪堡湾Spasić，GeoSPARQL合规基准，2021，arXiv：2102.06139。[7]答：C.N. Ngomo，M. Röder，HOBBIT：大关联数据的整体基准，ERCIM新闻（105）（2016）。[8]M. Röder，D. Kuchelev，A. C. Ngonga Ngomo，HOBBIT：大关联数据基准测试平台，数据科学3（1）（2020）15-35。[9] J. 阿拜亚拉特纳湖van den Brink，N.卡尔河Atkinson，T.Homburg，F.阿贝，K. McGlinn，A.瓦格纳，M。Bonduel，M. Holten Rasmussen，F. Thiery，OGC使用 语 义 和 图 形 技 术 表 示 空 间 数 据 的 好 处 ， 开 放 地 理 空 间 联 盟 ， 2020年 ，http://docs.ogc.org/wp/19-078r1/19-078r1.html。[10] J. Abhayaratna湖van den Brink，N.车，T。Homburg，F. OGC GeoSPARQL2.0SWG charter ， Open Geospatial Consortium ， 2020 ， https ： //github.com/opengeospatial/geosemantics-dwg/tree/master/geosparql_2.0_swg_charter。