DQSEGDB：引力波天文台元数据的时间间隔数据库

软件X 14（2021）100677原始软件出版物DQSEGDB：存储引力波天文台元数据的时间间隔数据库瑞安P。费舍尔a，*，加里·海明威b，玛丽-安妮·比祖阿尔c，邓肯A。布朗D，彼得·F.库瓦雷斯e，弗洛朗·罗比内f，迪迪埃·维尔金特g美国弗吉尼亚州纽波特纽斯市艺术大道1号，邮编：23606欧洲引力天文台，I-56021 Cascina，比萨，意大利cArtemis，蓝色海岸大学d锡拉丘兹大学，锡拉丘兹，NY 13244，美国eLIGO，加州理工学院，帕萨迪纳，加利福尼亚州91125，美国f SAL，巴黎南部大学，CNRS/IN 2 P3，巴黎萨克雷大学，F-91898奥赛，法国g安 纳 西 粒 子 物 理实验室（ LA P P ） ， 大 学 。格勒诺布尔阿尔卑斯山，萨瓦勃朗峰大学，CNRS/IN 2 P3，F-74941安纳西，法国AR T I CL E I NF O文章历史：2020年3月15日收到2021年2月4日以修订形式接收2021年2月9日接受关键词：数据库1元数据2时间段3引力波4LIGO-处女座5A B ST RA CT数据质量段数据库（DQSEGDB）软件是激光干涉仪引力波天文台、Virgo、GEO600和神冈引力波探测器用于存储和访问描述其探测器状态的元数据的数据库服务、后端应用程序编程接口（API）、前端图形Web接口和客户 端包。 DQSEGDB已被用于分 析先进探测器ERA中所有已发 表的引力波探测。DQSEGDB目前存储约6亿个元数据条目，每天响应约600，000个查询，平均响应时间为0.317秒。©2021作者.由爱思唯尔B.V.发布这是CC BY-NC-ND下的一篇开放获取文章许可证（http://creativecommons.org/licenses/by-nc-nd/4.0/）。代码元数据当前代码版本1.6.1用于此代码版本的代码/存储库的永久链接https://github.com/ElsevierSoftwareX/SOFTX_2020_125代码海洋计算胶囊N/A法律代码许可证GNU通用公共许可证v3.0使用Git的代码版本控制系统软件代码语言、工具和服务使用Python、MariaDB、PHP编译要求，操作环境依赖性科学Linux 7.5，Python 2.7.5如果有开发人员文档/手册http://ligovirgo.github.io/dqsegdb/支持电子邮件查询question@ligo.org1. 动机和意义引力波（GW）是在整个宇宙中传播的时空度量中的扰动，并携带着产生它们的源的天体物理学的形成。引力波与物质的耦合很弱，因此，对于当前的探测器来说，这些源必须是以高加速度运动的大质量物体。虽然GW在它们的起源可能有非常大的振幅，但它们通常也会旅行到银河系外的距离到达地球。当海浪到达地球时，*通讯作者。电子邮件地址：瑞安·费舍尔@ cnu.edu（瑞安·P. 费舍尔）。https://doi.org/10.1016/j.softx.2021.100677它们的强度如此之大，以至于它们产生的时空扰动使长度测量值改变了1/10到20。这导致了一个非常小的信号，即使是用公里尺度的探测器探测到的。LIGO科学合作组织和处女座合作组织（LVC）的任务是探测这些微弱的信号，以促进我们对宇宙的理解。自2015年以来，GW探测已经表明爱因斯坦的广义相对论支持黑洞和中子星的碰撞这些发现使我们能够估计本宇宙中双星黑洞和双星中子星合并的数量[6-8 ]，并证明了一些伽马射线爆发（GRB）事件是由中子星的合并驱动的2352-7110/©2021作者.由Elsevier B. V.出版。这是一篇根据CC BY-NC-ND许可证（http://creativecommons.org/licenses/by-nc-nd/4.0/）的开放获取文章。ScienceDirect上提供的内容列表软件X报纸主页：www.elsevier.com/locate/softx瑞安P。Fisher、Gary Hemming、Marie-Anne Bizouard等人。软件X 14（2021）1006772通过数千名科学家的巨大努力，开发了一套极其精确的干涉仪（IFO）和一个计算基础设施生态系统，使捕获和分析IFO生成的数据成为可能。数据质量段数据库（DQSEGDB）在此基础架构中占据了关键空间数据分析（DA）算法需要关于IFO状态的信息这需要定义和分发有关数据的元数据，我们称之为数据质量（DQ）标志。DQ标志是指定给描述全局状态的一部分的元数据集的名称。可能影响其分析的传感器、仪器操作或数据质量。一组标志着IFO在最佳状态下运行的时间，从而指示应分析哪些观测数据附加标志指示不应明确分析的数据，例如当硬件注入正在进行时或当电子故障导致GW检测通道中的噪声这些DQ标志也被称 为 DQ 否 决 ， 因 为 它 们 可 以 用 来 排 除 正 在 分 析 的 数 据 。DQSEGDB是用于存储和提供对这些标志的访问的服务与每个标志名称相关联的数据集是当该标志的状态已知时的时间列表，以及当该状态处于活动或非活动时的时间列表，这些时间在已知时间集内是互补的。时间段包含在称为"段"的数据产品中，其中表示为半开GPS时间间隔[tstart，tend]的连续时间范围。在GW社区中，术语DQ段和DQ标志经常互换使用，因为这种紧密的关系。每个标志都有一个名称。标志名称与其IFO标识符相关联，并以[IFO]：[FLAG-NAME]格式组合。1.1. 初始检测器数据库DQSEGDB服务和客户端软件是为了取代激光干涉仪引力波天文台（LIGO）和室女座宇宙飞船在初始观测运行期间分别提供的旧服务而构建的。到最初的LIGO和Virgo的最后一次科学运行结束时，这些以前的服务每个都能够存储数百个标志和大约200万个单独的DQ段和元数据条目。LIGO服务链接到IBM DB2数据库实例和XML传输层。Virgo数据库（VDB）使用MySQL数据库、一系列Python管 理 脚 本 和 PHP 驱 动 的 Web 用 户 界 面 。 VDB 使 用 的 方 案 与DQSEGDB有很大不同。其结构未标准化在任何大的程度上，并被设计成以稍微不同的方式适应细分市场的分类。显式存储的DB使标志处于非活动状态，其中该信息可以从DQSEGDB中的已知和活动段信息隐式确定。在其生命周期结束时，LIGO服务在其存储的数据规模上变得非常慢，可能需要10到30分钟来响应GW数据分析提出的查询。几个因素的组合，包括规范化和索引表不佳、数据库的总体大小和内存消耗过大、在MySQL方法上维护DB2实例相对困难、数据传输层的XML文档的内部生成极大地限制了服务器响应大型数据集查询的速度。因此，这严重限制了服务的可用性，并表明迫切需要更换先进的GW探测器，其中数据库需要存储的标志和段的数量将以数百倍的系数增长。越来越多的新软件系统也无法有效地使用DQ元数据，这是由于服务器的响应时间较慢。最后，推动重新设计的新用户需求API和数据库架构。这些问题导致LVC决定集中资源并设计新的段数据库基础架构。这导致了DQSEGDB软件的开发。2. LVC数据环境和术语每个IFO产生一个包含GW应变测量的主数据通道，以及大约200，000个用于监测状态的辅助数据通道。用于生成主数据的所有硬件和软件组件。该数据集相当于每个IFO每天约2 TB。使用自定义脚本将大量辅助数据减少到每个LIGO IFO大约1000个DQ标志。在IFO的位置，一组实时进程自动为总DQ标志的一部分生成段。这些过程将元数据编码为XML文件，每个文件包含16秒数据的这些标志的状态信息这些XML文件中的每一个的大小约为78kB，这相当于IFO每天生成的大约420 MB的元数据然后通过rsync将XML文件从每个IFO传输到DQSEGDB服务器，该服务器托管在加州理工学院的LIGO实验室。然后，DQSEGDB服务器执行从XML文件中提取元数据、将其发布到数据库并存档原始XML文件所需的所有代码。3. 软件开发和描述为了开发新的DQSEGDB服务和软件，col-laborations选择了一个成员委员会，他们是本文的核心，代表LIGO和Virgo的开发人员和检测器表征（Detchar）专家。委员会首先制定了一套设计原则，然后分发了一份用户要求请求。然后，开发人员设计了一个API，该API将遵循用户需求和服务的速度要求。在此之后，数据库结构、Python应用层和客户端的设计和构建都侧重于最大限度地提高速度，同时在每个步骤满足用户需求。本节的其余部分将描述有关所选设计的其他详细信息。除了DQSEGDB服务能够在存储大量元数据的同时快速响应的要求之外，在编写新软件时还满足了几个其他设计要求和设计理念的元素。数据库需要包含DQ段和足够的附加元数据，以允许跟踪其来源。需要该服务才能允许远程客户端通过命令行或WebGUI连接，并在生成后15分钟内提供元数据。该API旨在提供一组具有面向资源的体系结构的RESTful URIs，该体系结构与多种编程语言兼容，并且具有不能从数据库中删除数据的限制性。为返回的数据选择了JSON格式，其中包括所有源元数据的选项附加功能-将功能推迟到客户端层，以确保服务器的速度。这些设计要求导致了当前的DQSEGDB软件设计。该服务分为三个主要组成部分。第一个是主数据库服务器，通常标记为DQSEGDB。第二个是客户端软件包，它包含命令行工具和一个Python包，可以瑞安P。Fisher、Gary Hemming、Marie-Anne Bizouard等人。软件X 14（2021）1006773约约约约约图1. 演示DQSEGDB服务的性能稳定性。到2020年，该数据库将包含O（100）倍以上的数据，每秒响应O（5）倍以上的请求，性能与2016年的值几乎相同。用于查询数据库。这套工具提供了LVC科学家所要求的许多功能，同时满足了所列的签名要求。最后一个组件是一个图形Web界面，它提供了一个GUI界面，允许协作科学家快速访问元数据，而不需要编写任何代码。DQSEGDB服务器由一个Apache层组成，该层通过Apache WSGI模块调用自定义Python应用程序。Python应用程序使用ODBC与数据库通信。DQSEGDB使用MariaDB中可用的InnoDB引擎。数据库包含DQ标志、其关联的段、关于这些段的关联元数据以及关于数据的一些总体元数据。标准化模式用于减轻存储大量文本元数据的需要，其中诸如标志和标志版本关联、发起过程、用户和干涉仪标识等信息都提供了标准化值。以这种方式，可以适当地强制和维护数据库的各个组件部分之间的引用完整性。API通过RESTful URI（格式为/dq/IFO/FLAG/VERSION）提供对与给定DQ标志关联的所有数据的访问。可以使用/dq/IFO/FLAG/VERSION/active等选项，根据感兴趣的信息和时间间隔缩小数据范围。s=t1 e=t2。此URI将返回GPS间隔[t1，t2]中给定FLAG的所有活动段。DQSEGDB数据库服务比以前的服务更快、更稳定。目前，该数据库在其专用表中包含3.1亿个段和4.8亿个段摘要，以及提供过程相关元数据的3300万行。总的来说，它占用了53 GB的磁盘空间。 DQSEGDB中数据量的增长率随时间而变化，取决于IFO在科学数据采集期和发布频率等因素。在过去两年中，数据细分市场本身每年增长8 GB。HTTP GET和PATCH请求随时间的数量反映在图中。 1. 随着时间的推移，系统处理的请求大幅增加该表反映了GET请求的响应时间主要取决于用户定义这些请求的方式。当用户构建需要在大范围时间内查询数据的客户端请求时，与短请求相比，这些请求将需要更长的时间来解析和提供响应。该表还显示使用PATCH请求将新数据段插入数据库所需的时间。这包括检查标志的可用性以及随后检查标志的最新可用版本所需的时间、与标志版本关联的段的SQL INSERT以及相关进程元数据的INSERT这一次一直保持在100毫秒以下，达到8毫秒的低点。DQSEGDB软件设计用于更广泛的基础设施。开发服务器和备份服务器（每个服务器都包含生产服务器数据的副本）用于确保服务始终可用，并且可以快速测试和部署操作系统软件更新最后，图中显示了构成整个DQSEGDB基础设施的服务器和客户端系统。2.开发人员还实现了一个复杂的监视器系统，以确保服务的每个部分都在运行，从最初的DQ标志到XML文件生成，再到新生成数据的可查询性延迟。4. 影响自2014年以来，新的DQSEGDB服务器系统在满足GW社区存储和分发IFO元数据的需求方面非常成功由于DQSEGDB服务的高性能，几乎所有的LVC GW搜索都使用这个集中的数据质量信息源因此，它还提供了一种用于仔细控制和同步LVC搜索所使用的检测器状态信息的系统。DQSEGDB也被许多自动化IFO监控过程和许多研究IFO性能的LVC科学特别是，数据分析得出的结论是检测到了在DQSEGDB基础设施上远程连接的所有GW [4，11DQSEGDB中托管的DQ信息对GW搜索的影响是显著的，如图3所示[10]。该信息用于减轻系统噪声问题，并且由于DQSEGDB服务的速度，用于分析的各种DQ标志的测试速度已经显著提高。用于去除信号量噪声的DQ标志的类型的一个示例是"RF45标志"。该标志指示控制用于检测和控制LIGO的光腔的射频（RF）侧带的电子设备何时会用噪声污染主检测通道，从而导致DA管道中大量的假触发器在IFO研究中心收集时间数据的延迟，此时元数据可能通过快速分析查询，也已减少到小于5分钟。此功能用于几个"中等延迟"分析，这些分析是根据外部事件（如伽马射线爆发的观察结果）自动启动的新的DQSEGDB服务允许新的协作工具自动且非常频繁地查询要开发的DQ标志元数据。这些服务为1000多人的LVC提供了许多不同的好处。例如，摘要页基础结构[15]大量使用此功能瑞安P。Fisher、Gary Hemming、Marie-Anne Bizouard等人。软件X 14（2021）1006774图2. DQSEGDB基础设施示意图。这描述了LIGO和Virgo科学合作组织部署的服务器集2015年。DQXML指的是用于在体系结构的某些层之间传递数据的XML文档。CIT代表加州理工学院网络。H1/L1/V1/GEO表示每个IFO站点的网络，其中使用DMT或SegOnline程序将原始检测器数据转换为标志段。CIT托管本文中描述的主数据库服务，并接收要从IFO站点服务器发布的数据作为输入。图3. 此图像经原始创建者[10]许可复制T. J·马辛格。在Advanced LIGO的首次观测运行数据中，将DQSEGDB的DQ标志应用于LVC GW搜索的影响是显而易见的搜索中的初始背景事件具有超过14的信噪比（SNR）值。应用DQ后，背景降低至SNR 12.5以下。此背景的上限与以下极限相关：GW事件可能被检测到。图中显示了GW151226的SNR以证明如果不使用和DQ数据。图片许可https://creativecommons.org/licenses/by/3.0/。图像是从原始图像中裁剪的。能 力 。 这 些 页 面 的 示 例 可 在 https://www.gw-openscience.org/detector_status。许多图指示干涉仪的状态，并且所有这些元数据都是从DQSEGDB检索的。这些图是在滚动基础上更新的，需要对旧服务无法处理的DQSEGDB服务进行非常频繁的IFO委员、数据质量调查员、数据分析员和更广泛的天文界使用这些页面来轻松评估干涉仪的状态并快速调查系统问题。除了IFO的日常运营和协作外，他们还证明了数据和事件验证工作的价值。由于服务的速度和可靠性，额外的GW探测器也已经开始使用DQSEGDB的这个单一实例。GEO600（GEO）协作和神冈引力波探测器（KAGRA）协作将元数据与此服务一起存储。因此，DQSEGDB基础设施和服务现在被世界上所有基于IFO的GW检测工作所使用。5. 结论DQSEGDB在为GW天文界服务方面取得了巨大的成功。这组数据库、后端、前端和客户端软件提供了对LVC所需的所有GW检测的DQ段的快速访问。数据库的速度和可靠性与其干净、RESTful的API相结合，导致了新工具的设计，使科学家能够更快、更容易地理解GW检测网络中的IFO。瑞安P。Fisher、Gary Hemming、Marie-Anne Bizouard等人。软件X 14（2021）1006775约为竞争权益作者声明，他们没有已知的竞争性财务利益或个人关系，这些利益或关系可能会影响本文所报道的工作。确认文件作者非常感谢美国国家科学基金会（NSF）对LIGO实验室和高级LIGO的建设和运营的支持。科学技术设施委员会（STFC）英国、马克斯-普朗克学会（MPS）和德国下萨克森州支持建设高级LIGO和GEO600探测器的建造和运行。作者非常感谢美国国家科学基金会资助PHI-1700765和PHI-1104371支持本项目。澳大利亚研究理事会为高级LIGO提供了额外的支持。作者感谢意大利国家科学研究所（INFN）、法国国家科学研究中心（CNRS）和荷兰科学研究组织支持的物质基础研究基金会，感谢他们建造和运行处女座探测器，并支持所有软件开发，欧洲引力天文台联合会的成立和支持。作者还感谢这些机构以及印度科学和工业研究理事会、印度科学和技术部、印度科学工程研究委员会（SERB）、印度人力资源开发部、西班牙国家研究机构、西班牙创新、研究和旅游委员会副主席、西班牙巴利阿里群岛政府大学教育委员会、西班牙巴伦西亚总政府教育、研究、文化和电子竞技委员会、波兰国家科学中心、瑞士国家科学基金会（SNSF）、俄罗斯基础研究基金会、俄罗斯科学基金会、欧盟委员会、欧洲区域发展基金（ERDF）、英国皇家学会、苏格兰基金会-英理事会、联合王国、苏格兰大学物理联盟、联合王国、匈牙利科学研究基金会（OTKA）、法国里昂起源研究所（LIO）、巴黎法兰西岛地区、匈牙利国家研究、发展和创新办公室（NKFIH）、匈牙利、韩国国家再研究基金会、加拿大工业部和省通过加拿大经济发展和创新部、加拿大自然科学和工程研究理事会、加拿大高级研究所、巴西科学、技术、创新和通信部、国际理论物理中心南美基础研究所（ICTP-SAIFR）、香港研究资助委员会、国家自然科学基金会-中国科学基金会（NSFC）、英国Leverhulme信托基金、美国研究公司、台湾科技部和美国卡夫利基金会。作者感谢美国NSF、英国STFC、意大利INFN和法国CNRS提供的计算资源，并得到国家科学基金会的支持，美国赠款HY-1626190、HY-1700765、HY-0757058和HY-1626190。0823459. 作者感激地承认的贡献Larne Pekowsky和Ping Wei负责开发、支持和改进原始LIGO段数据库，Leone Bosi负责开发原始Virgo数据库。资金来源的作用该项目的资金由美国国家科学基金会、欧洲引力天文台、意大利国家核裂变研究所、法国国家科学研究中心和荷兰科学研究组织支持的物质基础研究基金会提供。资金来源不参与本文所述的工作或撰写或提交文章。参考文献[1]索恩K.引力辐射。霍金S，以色列W，编辑。三百年的引力。剑桥：剑桥大学出版社;1987年，第330-458。[2]Creighton JDE，安德森工作组。引力波物理学和天文学：理论、实验和数据分 析 导 论 。 德 国 魏 因 海 姆 ： Wiley-VCH; 2011 年 ， 第 375 页 ， 网 址http://www.wiley-vch.de/publish/dt/books/ISBN 3 -527-40886-X。[3]Abbott BP等人，LIGO科学合作，处女座合作。Ob双星黑洞合并的引力波观测。PhysRevLett2016;116（6）：061102。http://dx.doi.org/10.1103/PhysRevLett.116. 061102，arXiv：1602.03837。[4]Abbott BP等人，Virgo，LIGO科学合作组织。GW170817：观测到来自双中子 星 的 引 力 波 。Phys Rev Lett 2017;119 （ 16 ） ： 161101 。http://dx.doi.org/10.1103/PhysRevLett.119. 161101，arXiv：1710.05832。[5]Abbott BP等人，LIGO科学，处女座合作。GWTC-1：LIGO和Virgo在第一次和第二次观测运行中观测到的致密双星合并的引力波瞬变目录。物理学修订版2019;X9 （ 3 ） ： 031040 。 http://dx.doi.org/10.1103/PhysRevX.9.031040 ，arXiv：1811.12907。[6] Abbott BP等人，LIGO科学合作，处女座合作。来自高级联盟首次观测运行的双星中子星和中子星黑洞合并率的上限2016年，arXiv：1607.07456。[7]Abbott BP等人，LIGO科学合作，处女座合作。补充：围绕GW150914的高级LIGO观测推断出的双星黑洞合并率。2016年，arXiv：1606.03939。[8]Abbott BP等人，LIGO科学合作，处女座合作。围绕GW150914的高级LIGO观测推断了双星黑洞合并的速率2016年，arXiv：1602.03842。[9]Abbott BP等人，Virgo、Fermi-GBM、INTEGRAL、LIGO科学协作组-定量。来自双星中子星合并的引力波和伽马射线：GW170817和GRB 170817A。Astrophys. J. 2017年;848（2）：L13。http：//dx.doi.org/10.3847/2041-8213/aa920c，arXiv：1710.05834。[10]Abbott BP等人，Virgo，LIGO科学合作组织。在Advanced LIGO的首次观测运行中，数据质量否决对寻找致密双星合并的影响经典量子引力2018;35（6）：065010。http：//dx.doi.org/10.1088/1361-6382/aaaafa，arXiv：1710.02185。[11] Abbott BP等人，Virgo，LIGO科学合作组织。与引力波信号GW150914相关的高级LIGO瞬态噪声的表征经典量子引力2016;33（13）：134001。http://dx.doi. org/10.1088/0264-9381/33/13/134001，arXiv：1602.03844。[12] Abbott BP，et al. GW190425：总质量为3的致密双星聚结的观测。4 M.2020年，arXiv电子打印arXiv：2001.01761。[13]Abbott BP等人，GROND、SALT集团、OzGrav、DFN、DES、INTEGRAL、Virgo 、 Insight-Hxmt 、 MAXI 团 队 、 Fermi-LAT 、 J-GEM 、 RATIR 、IceCube、CAASTRO、LWA、ePESSTO、GRAWITA、RIMAS、SKA南非/MeerKAT、H.E.S.S.、1 M2 H团队、IKI-GW跟进、Fermi GBM、Pi of Sky、WWW（更深更快计划）、MASTER、AstroSat镉锌钍成像仪团队、Swift、Pierre Auger、ASKAP、VINROUGE、JAGWAR、麦吉尔大学钱德拉团队、TTU-NRAO、GROWTH、AGILE团队、MWA、ATCA、AST 3、TOROS、Pan-STARRS、NuSTAR、ATLAS望远镜、BOOTES、CaltechNRAO、LIGO科学、高时间分辨率宇宙巡天、北欧光学望远镜、拉斯康布雷斯天文台集团、TXAC联盟、LOFAR、IPN、DLT 40、得克萨斯理工大学、HAWC、ANTARES、KU、暗能量相机GW-EM、CALET、欧洲VLBI团队、ALMA协作。多信使观测 ： 双 星 中 子 星 合 并 的 观 测 。 Astrophys. J.2017;848 （ 2 ） ： L12 。http://dx.doi.org/10.3847/2041-8213/aa91c9，arXiv：1710.05833。[14]雅培 BP，以及 al.，处女座， LIGO科学 协作。GW170814：A三探测器观测到来自黑洞合并双星的引力波。 Phys Rev Lett 2017;119（ 14 ） ： 141101 。 http://dx.doi.org/10. 1103/PhysRevLett.119.141101 ，arXiv：1709.09660。[15]Macleod D，Urban AL，Isi M，Massinger T，Paulaltin，Pitkin M，et al.gwpy/gwsumm：1.0.2. Zenodo; 2019年，http://dx.doi.org/10.5281/zenodo。3590375.