软件科学仪器在引力波探测中的作用: LIGO探测器的数字控制和数据采集系统示例

软件X 15（2021）100715寻找引力波：用软件写的发现史这是一个举世公认的真理，在引力物理学的每一个发现的核心是成熟的果实与人们的头碰撞。未被承认的现实有些不同：随着我们对宇宙的理解的发展，我们需要更深入地挖掘洞察力-这意味着今天的发现过程通常是漫长而艰苦的，需要各种专业知识，并且必须通过创建和使用专门的发现工具来提取：科学仪器。这些仪器的设计者的任务类似于为科学铺设人行道--无论它需要向哪个方向走躺下这需要它的建设者在崎岖和未开发的地形，因此它的建设需要尽可能多的洞察力，独创性和知识的过程中发现本身。上个世纪出现了一种适应性极强的成分，用于构建这些工具：软件。这期特刊讲述了软件科学仪器在现代最重要的发现中所发挥的作用：引力波的探测。引力波的直接探测发生在阿尔伯特·爱因斯坦预测的一个世纪之后。之所以花了这么长时间，是因为时空中的那些涟漪干涉引力波探测器是先驱仪器，必须为其特定目的而考虑，精心设计以达到允许发现的噪声水平性能-然后建造和微调，以使长期观测能够以前所未有的灵敏度稳定运行。软件从设计的第一阶段起就至关重要，因为必须开发专用的模拟工具，以了解复杂仪器的各个部分如何运行和相互作用。本特刊介绍了此类仿真工具的两个示例，它们都涉及光学方面，在文章“OSCAR：基于MATLAB的软件包，用于仿真逼真的光学腔”和“Pykat：用于建模精密光学干涉仪的Python软件包”中进行了描述一旦构建完成，软件就在操作这些仪器中发挥作用：例如，在探测器的核心是由激光连接的悬挂镜-这些悬挂镜会受到需要控制的剩余运动，以便可以检测到引力波。一般来说，每个探测器是一个迷宫的反馈回路，使干涉仪保持在其工作点。“advligorts：先进的LIGO实时数字控制和数据采集系统”文章介绍了使LIGO探测器成为https://doi.org/10.1016/j.softx.2021.100715功能检测器尽可能长时间（数月至一年）全天候收集数据。一旦收集和组织了数据，就可以进行分析。它开始于理解数据的特性和可能影响它们的各种人为因素的长期过程，因为仪器或环境干扰偶尔会导致噪声水平的随机和瞬时增加。我们需要各种软件工具来执行该过程并记录其结果。GWpy：A Python package forgravitational-wave astrophysics“文章介绍了一种数据处理和可 视 化 工 具 ， ”Omicron ： A tool to characterize transientnoise in gravitational-wave detectors“描述了一种提供标题所 示 功 能 的 工 具 ， ”DQSEGDB ： A time-interval databasefor storing gravitational wave observatory metadata“描述了如何管理提供有关LIGO和Virgo数据质量信息的元数据。现在已经正确理解了数据的质量它涉及一套专门设计的软件，针对各种类型的天体物理学来源，从第一次发现揭示的黑洞合并或中子星，还没有通过引力波观测到的源。这种类型的软件开发为基于库的自定义管道，提供数据处理和信号建模所需的工具更多的时候 技术挑战伴随着计算挑战， 因为分析通常涉及搜索大的并且通常很少的受约束的参数空间，这使得能够利用分布式和异构的计算资源库存是至关重要的。'' Swiglal：LALSuite引力波数据分析库的Python和Octave接口”这篇文章介绍了Python和Octave接口，旨在允许用户开发基于C语言编写的库的高级搜索管道，而“适应LIGO工作流程以在开放科学网格中运行”则介绍了为在内部或外部资源上无缝运行一些搜索管道而开发的 框 架 。 ‘‘coherent WaveBurst, a pipeline for unmodeledgravitational- wave data analysis’’ article explains how it ispossible to detect gravitational-wave transients without priorknowledge of the signal引力波观测的影响开辟了一个全新的科学领域：它不仅使我们能够研究它们的运动，2352-7110/©2021由Elsevier B. V.出版这是CC BY许可下的开放获取文章（http://creativecommons.org/licenses/by/4.0/）。可在ScienceDirect上获得目录列表SoftwareX期刊主页：www.elsevier.com/locate/softxPeter Couvares、Kate Keahey和Frédérique Marion软件X 15（2021）1007152它不仅可以解释物理性质，并将其与理论预测进行比较，而且还为科学家提供了一种新的、真正独特的方法来研究它们产生的来源和它们传播的宇宙，使其成为基础物理学、天体物理学和宇宙学的工具。 因此，从建造灵敏的探测器到通过引力波观测我们的宇宙开始的过程的最后一步是为了更广泛的科学界的利益而发布数据。‘‘Open data from the first and second observing runs of AdvancedLIGO and Advanced Virgo’’ article reports on the data productsand supporting software made available by LIGO and Virgo viathe因此，软件在现代科学发现的每一步都发挥着作用，从仪器设计到操作，最终检测-然后可能为后续发现奠定基础。鉴于现代发现可能需要多年时间，需要许多人的头脑，不仅是创造，而且导致发现的软件开发的动态也面临着独特的挑战。特别是在LIGO中，合作的规模和分散化特征，科学任务的新颖性和随之而来的需求周转，学术环境中软件开发工作的动态，以及项目相对于更广泛世界变化速度的持续时间，都导致了科学项目非常不寻常的挑战-但说明了科学软件项目的困难程度，并可能代表未来的发现和他们需要的支持。LIGO科学协作（LSC）的规模和分散性与一些最大的开源软件项目相当：LIGO及其姊妹项目Virgo由数千名科学家组成，其中不超过几十人为同一机构工作。数百名活跃的软件开发人员在三十年的过程中贡献了发现中使用的代码，仅以他们的共同使命和每个机构的PI与LSC之间的轻量级谅解备忘录为指导。组织如此大规模的分布式软件开发工作是一个挑战。在详细阐述之前的30年里，LSC在更多和更少集中的数据分析模型之间摇摆不定，最终的软件体现了这种张力。LSC提供合作的激励以及创新的灵活性一直是一个核心挑战-一个被进一步强化的事实上，许多科学家在LSC内合作，也相互竞争资金，认可，工作和研究超出其范围。第一个有组织的LSC数据分析软件开发项目是由LIGO实验室组织的，该项目是在高能物理实验的基础上进行的，旨在建立一个集中的LIGO数据分析（LDAS）框架，该框架规定了LSC科学家如何以及在何处插入他们自己的代码或数据，以管理资源并确保质量和可重复性。但是，由于不成熟-在GW数据分析领域，任何人都无法理解如何建立一个足够灵活的集中式框架，以允许数据分析软件技术的创新-以及实际性能问题的结合，导致LIGO实验室之外的一群雄心勃勃的LSC科学家尝试不同的方法。他们使用由各个LSC组管理的分布式集群实现了基于HTCondor的分散式数据分析环境，并使用它来演示分析结果比那些使用实验室环境的人更快、更容易。其余的合作都用脚投票，集中式LDAS系统最终让位于分散式方法-尽管它的大部分代码都存在于分散式系统使用的存储库和库中，实验室继续使用的集中式系统有效地生成GW数据，以分发给LSC进行数据分析。这些集中与分散的紧张关系进一步加剧，由于需求的多样性和流失，新的研究问题被制定和必须解决。一方面，这种需求的多样性加强了对数据分析软件环境的灵活性和分散性的需求，另一方面，固定资金增加了对规模效率的需求，这与通用工具和集中式服务可能最容易产生的需求有些矛盾。这种紧张关系仍然是LIGO-Virgo-KAGRA合作中数据分析软件开发的核心研究计算软件的需求可以说比工业的需求变化更快，导致更多的工具周转。此外，虽然有很多重叠，但研究计算与工业计算的问题也有很大的不同，因此商业工具不一定适用于或解决研究计算的需求。因此，生产科学通常依赖于内部开发的工具，这些工具至少按照行业标准是非生产质量的。小型研究小组可以通过灵活性和专注性来弥补这一质量差距。随着协作的增长，他们逐渐失去了这两个优势，但仍然存在软件工程不佳的问题。随着LIGO和Virgo等科学合作规模的不断扩大，如何管理这个问题是一个悬而未决的问题。当一个发现需要很长时间才能展开时，就像许多重要的项目一样，高质量的、可持续的软件工具特别难以产生。导致引力波探测的软件开发在此期间，协作使用的许多软件工具、服务和标准都得到了发展或被取代。代码管理平台从CVS和SVN发展到Git，后来的GitHub和GitLab服务极大地影响了协同工作的方式;数据格式从大量专有格式转变为标准化的XML，JSON和HDF; RPC请求被SOAP和REST取代;单体服务演变为更敏捷的微服务集合;分散的高吞吐量计算范式取代了PBS和LSF等传统作业计划器，特设工作流管理演变为HTCondor，DAGMan或Pegasus等强大的系统。这些变化创造的机会和效率间接地帮助了发现的过程，但它们也意味着支撑科学工作的关键工具必须升级，重写，替换或粘合在一起，以跟随更广泛的软件生态系统的变化或利用新功能。最后，社区实践花费了大量的时间和精力。科学数据分析计算中的软件工程状态变化很大， 远远落后于行业，原因有很多，包括：缺乏软件工程方面的正式培训;历史上关注于用于在单个论文中快速产生结果的proprietary代码，而不是许多团体在长时间尺度上使用的可持续生产代码;学术界的奖励结构，即使可持续性很重要，专业人员开发人员也很少，研究生和博士后的流动率很高，通过设计-因此软件可持续性的好处并不经常由编写代码的人获得;最后是生产科学和遵守时间表的需求。然而，科学仪器的支持，这往往是偶然的，Peter Couvares、Kate Keahey和Frédérique Marion软件X 15（2021）1007153和一般不被承认的努力产生的委托达到宇宙中最严密保护的秘密。在很大程度上，这些挑战的存在是因为软件已经从一个巧妙但完全可选的创新发展成为一个不可或缺的科学发现工具，并且我们对它现在的关键作用的感知和理解是缓慢的。至关重要的是，作为一个社区，我们认识到软件在多大程度上支撑了当今最重要的是，软件科学仪器设计者的贡献、努力和专业知识以及软件在科学发现过程中所扮演的独特角色得到应有的学术我们向您展示这份特刊，希望这份关于科学软件在引力波探测中所起作用的演示能够有力地碰撞软件在科学发现中的作用的现有看法。竞合利益作者声明，他们没有已知的竞争性财务利益或个人关系，可能会影响本文报告的工作彼得·库瓦雷斯电子邮件地址：keahey@mcs.anl.gov。弗雷德里克·马里昂相应的编辑器。