advligorts: 先进的LIGO实时数字控制和数据采集系统

∼软件X 13（2021）100619原始软件出版物advligorts：先进的LIGO实时数字控制和数据采集系统Rolf Borka，Jonathan Hanksb，a，David Barkerb，a，Joseph Betzwieserc，a，Jameson Rollinsa，基思·索恩c，a，埃里克·冯·雷斯b，aa加利福尼亚理工学院，Pasadena，CA 91125，USAbLIGO Hanford Observatory，Richland，WA 99352，USAcLIGO Livingston Observatory，Livingston，LA 70754，USAar t i cl e i nf o文章历史记录：2020年3月31日收到收到修订版2020年7月9日接受2020年保留字：实时处理反馈控制硬件控制数据采集a b st ra ct先进的LIGO探测器是复杂的光机械设备。其操作的核心是反馈控制。Advanced LIGO项目开发了一个定制的数字控制和数据采集系统，以满足这种新型天文探测器的独特需求。该advigorts是该系统的软件组件。这种高度模块化和可扩展的系统使LIGO仪器具有前所未有的性能，并且是直接探测引力波的重要组成部分。©2020加州理工学院由爱思唯尔公司出版这是一篇开放获取的文章，CC BY许可证（http://creativecommons.org/licenses/by/4.0/）。代码元数据当前代码版本4.0之前指向此代码版本所用代码/存储库的永久链接https://github.com/ElsevierSoftwareX/SOFTX_2020_155Code Ocean compute capsule n/a法律代码许可证GPL v3代码版本控制系统git软件代码语言，所需工具和服务C/C++，Perl，Python编译要求、操作环境C99、Linux操作系统开发人员文档/手册https://dcc.ligo.org/LIGO-E1200653/public技术支持邮箱：jameson. ligo.org1. 动机和意义在过去40年中，长基线引力波探测器的发展具有开创性的科学影响。这些精密的测量设备通过提供对宇宙的全新认识而使天文学和天体物理学发生了革命性的变化。LIGO探测器的复杂性和规模是新颖的。虽然原型干涉仪引力波探测器铺平了道路，但它们的相对简单性无法为LIGO探测器的最终设计这是*通讯作者。电子邮件地址：jrollins@caltech.edu（Jameson Rollins）.https://doi.org/10.1016/j.softx.2020.100619对于仪器操作核心的干涉仪反馈控制系统尤其如此反馈控制使LIGO干涉仪能够保持高度非线性精密光学仪器的工作点。传感器提供关于干涉仪的状态的信息仪器的动力学在建造之前被广泛地建模，但是控制回路的最终设计不能完全先验地构思反馈控制器需要灵活，以解决最终反馈控制方案中的不确定性这促使LIGO设计过程早期做出了一个关键决定：使用数字而不是模拟反馈控制。2352-7110/©2020加州理工学院。由Elsevier B. V.发布。这是CC BY许可证（http://creativecommons.org/licenses/by/4.0/）下的开放获取文章。可在ScienceDirect上获得目录列表SoftwareX期刊主页：www.elsevier.com/locate/softxRolf Bork，Jonathan Hanks，David Barker etal.软件X 13（2021）1006192↔↔当时，还不清楚数字控制是否适用于这种应用。有人担心数字控制回路的带宽不足以控制仪器，或者模拟数字转换过程会给反馈回路注入太多的噪声，从而限制检测器的灵敏度。然而，模拟电子设备的修改是困难和耗时的，这将严重限制对控制器进行改变的通过使任何可能期望的参数变化容易切换而允许更快周转的系统数字控制器的参数，另一方面，可以修改几乎瞬间，允许更快的细化。进一步的建模还清楚地表明，通过模拟信号调节的适当设计，以及通过对模拟数字转换电子设备的位深度和噪声性能的预期改进，可以充分减轻随着计算机速度的提高，控制器的带宽和复杂性将随着时间的推移而稳步增加。最终，由于易于快速修改初始LIGO探测器的数字控制器[1]是手写的C代码，被编译成专用的实时Linux内核。模块化滤波器组允许在关键点插入反馈滤波器和增益的原位切换，反馈路径允许仪器科学家在运行中改变控制器响应。反馈逻辑本身是硬编码的，很难修改.这对于初始LIGO来说已经足够了，因为它的反馈控制回路数量很少。先进的LIGO要复杂得多，需要更灵活的数字反馈控制器。对于Advanced LIGO [2]，一个更加模块化，可扩展和可使用的系统是从头开始设计的。advligorts系统使科学家能够以更直观的方式直观地表示反馈信号流和控制逻辑，图形用户界面。信号流图可以被编译成实时代码，并在几分钟内重新加载到前端计算机中，大大加快了影响系统变化的周转时间Advligorts系统帮助实现了新的引力波探测器，使2015年首次探测到引力波成为可能[3]。2. 软件描述advligorts是完整的先进LIGO数字控制和数据采集系统（以下 也 称 为 “ 实 时 系 统 ” 或 “RTS” ） 的 软 件 组 件 。 硬 件 由 模 数（ADC）和数模（DAC）转换器、二进制I/O模块、ADC和DAC时钟时序分配系统以及PCIe总线组成，PCIe总线将所有硬件连接到运行advlig- orts软件的前端主机（见图1）。advligorts软件从硬件读取和写入，执行所有数字控制逻辑，并将数据传递到数据采集管道。图2示出该架构的更详细示意图，显示了硬件和软件组件。advligorts的一个重要特点是它使用了实验物理和工业控制系统（EPICS），这是一个免费和开源的消息传递系统[4，5]。EPICS为操作员界面（LIGO使用“MEDM "GUI工具）和监督控制提供了标准界面2.1. 软件构架advligorts软件由三个主要组件组成：标准Linux内核的补丁版本、 实时代 码生成器（ RCG ） 和一套数据 采集守护程 序（DAQD）。Linux内核补丁简单而小巧，允许Linux内核模块请求内核从正常的Linux进程调度程序中删除特定的CPU，并将其移交给模块代码独占使用。然后内核模块可以不间断地以全速率使用CPU典型的advligorts程序在Matlab Simulink中绘制为信号流图[7]。RCG将Simulink模型作为输入，解析它以提取信号流图，并输出可以执行相同信号流逻辑的C代码。RCG添加了用于进程同步和进程间通信的包装器代码RTS模块在运行时是完全自给自足的，不需要来自内核或操作系统其他部分的服务。一个称为输入输出处理器（IOP）的特殊RTS模块IOP过程以2- 16 Hz运行，正常RTS模块可以以小于2的任何功率运行每个RTS模块采用一组用户空间进程来处理面向用户的IO任务。EPICS输入/输出控制器（图1中的“EPICS IOC”）2）过程将控 制器 逻辑 的信 号 监视 器和 可写 参数 暴 露给EPICS 接 口。awgtpman过程处理临时测试点输出的激活以及通过网络发送的信号注入的处理和插入（称为AWG的接口协议）。这些用户空间进程中的每一个都使用共享内存与它们各自的RTS内核空间进程交换数据。RTS进程之间的互连可以通过同一内核中的RTS模块的共享内存实现，或者通过Dolphin PCIe共享内存网络[8]为不同主机上的RTS模块实现。每个前端主机还运行两个进程，通过共享内存（“local_dc”）从RTS进程收集数据，并通过网络以1/16秒的块（“data_xmit”）发送数据。数据采集链从所有前端接收数据，并将其整理成1/16秒的块，这些块由DAQD进程消耗，DAQD进程将数据写入磁盘，通过网络提供服务，或将其转发到其他流处理。在生产环境中，DAQD过程分布在多台机器上，以减少资源竞争。2.2. 软件功能advligorts利用Matlab Simulink为用户提供强大的图形用户界面，以绘制可转换为实时代码的信号流图（见第3节）。 用户可以从广泛的零件库中拖放零件，并轻松地将它们连接在一起。 零件库包括所有支持的I/O接口、大多数数学运算、矩阵、逻辑门、开关、振荡器、解调等的零件，允许基本上任意的信号处理。所有零件的大部分参数都通过EPICS界面作为过程变量显示。过程变量可以采用浮点数、整数或字符串的形式，用于控制开关、设置信号增益和矩阵系数等。EPICS接口还为通过系统的信号提供监控测试点。存在许多与EPICS接口的工具，包括python库、命令行工具和用于创建操作员界面屏幕的各种图形程序。Rolf Bork，Jonathan Hanks，David Barker etal.软件X 13（2021）1006193图1.一、 Advanced LIGO数字仪器控制系统概述。物理设备由干涉仪本身及其传感器和执行器组成信号在现场机架中进行数字化和插值，现场机架与前端计算机物理分离，并通过PCIe光纤连接到前端前端计算机通过advligorts软件（RTS）处理所有实时控制。监控和操作员界面通过EPICS消息传递接口与RTS通信。Beckhoff是一款基于PC的商用可编程逻辑控制器，用于一些缓慢的控制任务。Beckhoff使用EtherCAT协议与硬件设备进行通信，使用EPICS与系统的其他部分进行通信图二. 先进的LIGO RTS的架构。左侧是I/O机箱，其中包含ADC、DAC和二进制I/O（BIO）卡，以及为硬件提供时钟的定时从机。I/O机箱通过光纤PCIe总线扩展连接到前端主机。前端计算机运行Linux内核的RTS版本，可以加载多个RCG生成的RTS内核模块（深绿色）。用户空间RTS进程以青色显示。数据采集部件显示为蓝色。“数据集中器”从分布式前端计算机收集数据，并将连接的数据传递给DAQD进程，DAQD进程写入将其传输到磁盘、DAQD网络数据服务器（NDS）或低延迟流服务。(For在该附图图例中，读者可以理解颜色的含义，请参阅本文的网页版本其中最重要的部分是过滤器模块。滤波器模块包含一组10个可寻址数字滤波器，每个滤波器最多有20个极点和零点，实现为级联的二阶部分。一个名为foton的配套过滤器设计工具允许用户从头开始设计过滤器，或者从常用过滤器函数库中提取。一旦加载，单个过滤器可以通过EPICS接口的单个命令就地接合或脱离。滤波器模块还包括激励输入、测试点、用于输入和输出接合的开关、附加偏移和乘法增益。RCG还允许用户定义自己的C代码函数，这些函数可以放在信号流图中的任何位置，以执行任意信号操作。数据采集守护程序提供网络数据服务系统的实时访问，或访问已存储到磁盘的归档数据。该服务还允许用户从系统中的虚拟测试点请求实时数据。NDS测试点接口和AWG信号注入接口一起为系统的实时表征提供了一个关键接口，这在其他数字信号处理系统上是不容易获得的。各种支持应用程序使科学家能够在时域和频域中绘制数据，并对系统进行各种基于激励的测量。3. 说明性实例每个先进的LIGO干涉仪都使用了超过120个RTS模型，分布在近30多个前端计算机上。数据采集系统处理大约10kRolf Bork，Jonathan Hanks，David Barker etal.软件X 13（2021）1006194图三. 长度传感和控制（LSC）子系统的Simulink代码的一小部分，以及相应操作员界面的屏幕截图。有关代码的组件和结构的描述，请(with采样率为512 - 16 k Hz）和近300 k“慢"通道（16 Hz，EPICS过程变量）。前端计算机是标准的现成英特尔至强x86_64服务器，每个RTS进程至少有1 GB的RAM和一个运行在大约3GHz的物理图图3a显示了用于LIGO长度传感和控制子系统的实时控制器编程的Simulink代码摘录，该子系统控制Advanced LIGO干涉仪中所有各种光学腔的长度。该模型以16k Hz运行，将RF解调的光电探测器误差信号作为输入。其输出通过Dolphin网络馈送到控制悬浮光学器件的单独RTS模型。信号流从左到右绘制，该块的输出位于最右侧。由于自由地使用GOTO/FROM连接，该图不需要绘制连接输出的线，因此它到另一个块的输入。筛选器模块标记为在图的左侧，灰色框表示处理以下项的“旋转”的矩阵（标记为将传感器输入信号转换为干涉仪的规范纵向自由度基础。在右侧附近，另一个矩阵4. 影响先进LIGO探测器的建造于2014年完成。2015年9月首次发现引力波[3]。advligorts系统允许的灵活性、模块化和易于编程对于探测器的快速调试至关重要，其灵敏度达到前所未有的水平。LIGO的持续成功（自GW 150914以来已经有数十次确认的探测）证明了该系统的鲁棒性。2017年8月， LIGO首次探测到来自双星中子星合并的引力波[10]。在室女座探测器的帮助下，合并被定位在一个区域，Rolf Bork，Jonathan Hanks，David Barker etal.软件X 13（2021）1006195√见图4。先进的LIGO数据处理管道。底部显示的时间是样本时间。PCIe、UDP和Dolphin是指所使用的传输结构。引力波搜索是在LIGO“LDAS”计算机集群上进行的，这些计算机集群在天空中大约30度2[12]。 在探测和定位的几个小时内，警报被发送到天文学界和世界各地的几十个电磁观测站，然后他们首次观测到了伽马射线爆发发射的千诺瓦[12]。 这些观测是由数据采集系统实现的，该系统能够在几秒钟内将应变数据从探测器可靠地传递到搜索管道（见图1）。 4）. advligorts数据采集系统是整个管道的来源。先进的LIGO已经经历了一个重大的升级，安装了一个压缩光源，减少了高频量子噪声[13]。更重要的这些升级是由advligorts框架的灵活性和可扩展性实现的。随着LIGO的成功，Advligorts系统的使用正在整个引力波社区中蔓延。日本的KAGRA项目 [14]采用了先进的LIGO数字控制和数据采集系统来控制他们的地下引力波探测器。advligorts还被用于GEO 600项目、加州理工学院40米样机、麻省理工学院LASTI样机、AEI 10米样机以及世界各地数十个较小的实验室，以控制各种台式光机实验。5. 结论和未来发展LIGO预计将在未来至少20年内运行引力波观测站。在此期间，第三个相同的探测器预计将在印度完成[15]。除此之外，新一代的地面探测器正在计划将我们的触角延伸到可观测宇宙的边缘[16这些新的探测器将面临更复杂的控制挑战，而advligorts系统将需要继续发展和适应，以满足他们的需求。正在进行开发，以提高可用性并扩展advligorts的功能。一个关键的开发轨道旨在了解是否可以通过利用标准Linux内核中允许特权进程CPU隔离的新功能来消除对专门修补的Linux内核的需求。开发人员也一直在尝试在用户空间中运行RTS进程。非特权用户空间执行将不用于实时操作，但可以允许运行代码比实时更快，以用于模拟或测试目的。一个项目也正在进行中，以探索在RTS过程中执行神经网络的可能性。在模拟和存档数据上训练的神经网络可以移植到RTS过程中，以实现机器学习实验控制。那里有潜力实时训练和更新这些网络，用于更复杂的强化学习应用。正在改进数据采集管道，以提高吞吐量和更大量数据的可访问性。目前，只有一小部分完整通道数据可用于低延迟，限制了可用于低延迟搜索流水线的数据表征量。应该可以在当前时间的一小部分将完整的数据管道转储到本地LDAS集群中，减少多信使搜索的延迟，并可能导致更多突破性的发现。竞合利益作者声明，他们没有已知的竞争性财务利益或个人关系，可能会影响本文报告的工作致谢LIGO是由加州理工学院和麻省理工学院在美国国家科学基金会的资助下建造的，并在美国国家科学基金会的批准下运行。PHY-0757058 Advanced LIGO是根据PHY-0823459建造的引用[1] Abbott BP ， et al. LIGO ： the laser interferometer gravitational waveobservatory.RepProgrPhys2009;72（7）：076901。http://dx.doi.org/10.1088/0034-4885/72/7/076901，0711.3041。[2]Aasi J ， et al. Advanced LIGO. 经 典 量 子 引 力 2015;32 （ 7 ） ： 074001.http://dx.doi.org/10.1088/0264-9381/32/7/074001网站。[3] Abbott B，et al.双黑洞合并引力波的观测Phys Rev Lett 2016;116（6）。http://dx.doi.org/10.1103/physrevlett的网站。116.061102。[4]实验物理与工业控制系统（EPICS）http：//www. aps.anl.gov/epics/网站。[5]Dalesio LR，Kraimer MR，Kozubal AJ. EPICS架构。第四届加速器和大型实验控制系统国际会议。 联合加速器会议网站（JACoW）。一九九一年[6]罗林斯长基线引力波探测器的分布式状态机监控。Rev Sci Instrumum 2016;87（9）：094502。网址：//dx.doi.org/10.1063/1.4961665网站。[7]MATLAB Simulink。https://www.mathworks.com/products/simulink.html网站。[8]海豚互连解决方案。https://dolphinics.com/网站。[9] Abbott B，et al.GWTC-1：LIGO和virgo在第一次和第二次观测运行期间观 测 到的 紧 凑 双 星合 并 的 引 力波 瞬 态 目 录Phys Rev X 2019;9 （ 3） 。http://dx.doi.org/10.1103/physrevx的网站。九点零三十零四十。[10] Abbott B，et al. GW170817：来自螺旋状双星的引力波观测。Phys RevLett 2017;119（16）。http://dx.doi.org/10.1103/physreview.119.161101。[11] Acernese F等人，Advanced virgo：第二代干涉引力波探测器。经典量子引力2014;32（2）：024001.http://dx.doi.org/10.1088/0264-9381/32/2/024001网站。Rolf Bork，Jonathan Hanks，David Barker etal.软件X 13（2021）1006196[12] Abbott BP 等 人 ， 《 双 星 中 子 星 合 并 的 多 信 使 观 测 》 。 Astrophys J2017;848（2）：12。http://dx.doi.org/10.3847/2041-8213/aa91c9.[13] Tse M，et al.量子增强的先进LIGO探测器在引力波天文学时代。Phys RevLett2019;123（23）。http://dx.doi的网站。org/10.1103/physreview.123.231107。[14][10] 张 文 龙 ， 张 文 龙 . KAGRA 引 力 波 探 测器 的 干 涉 仪 设 计 。 Phys Rev D2013;88（4）。http://dx.doi.org/10.1103/physrevd的网站。八十八点零四三零零七[15]Abbott BP等人，用先进的LIGO、先进的Virgo和KAGRA观测和定位引力波瞬变的前景。LivingRevRelativ2018;21（1）.http://dx.doi.org/10.1007/s41114-018-0012-9网站。[16] Adhikari RX，et al.用于引力波探测的低温硅干涉仪2020，2001.11173。网址：http://arxiv.org/abs/2001.11173。[17] Abbott BP等 人， 探 索下 一代 引力 波探 测 器的 灵敏 度。 经 典量 子引 力2017;34（4）：044001. 得双曲正切值. doi.org/10.1088/1361-6382/aa51f4网站。[18]爱因斯坦望远镜：第三代引力波天文台。经典量子引力2010;27（19）：194002. 网址：//dx.doi.org/10.1088/0264-9381/27/19/194002网站。