基于机器学习的粒子加速器诊断不确定性的量化分析

基于机器学习的粒子加速器诊断的量化不确定性Owen Convery，1Lewis Smith，2Yarin Gal，2Adi Hanuka，11SLAC国家加速器实验室，Menlo Park，CA 94025，USA2英国牛津大学计算机科学系adiha@slac.stanford.edu摘要目前用于表征系统的诊断工具通常是虚拟诊断（VD）是一种深度学习工具，可用于预测诊断输出。对于VD的实际应用，有必要量化预测在本文中，我们应用了一个集成的神经网络来创建不确定性，并探讨了各种方法来分析预测我们的目标是准确和自信地预测电子束的纵向特性，由它们的相空间图像给出在不确定性下做出明智决策的能力对于在安全关键系统上可靠部署深度学习工具作为粒子加速器至关重要。介绍粒子加速器在从化学、物理到生物实验的许多应用中无处不在。这些实验需要提高诊断工具的准确性，以测量电子束在加速、传输和输送给用户期间的特性。当前最先进的诊断技术（Marx等人，2018 a）的适用性有限。它们的局限性随着实验复杂性的增加而增强虚拟诊断（VD）工具在诊断分辨率有限或不可用的情况下提供射束的逐点非侵入性当前VD提供基于训练非侵入性诊断输入与侵入性输出测量之间的神经网络映射的预测模型（Emma etal.2018，2019; Hanuka et al.2020年）。这种类型的映射被称为监督回归。先前的工作已经证明VD可以预测电子束电流分布和纵向相空间（LPS）分布（Marx etal.2018 b ） 沿 加速 器 使 用标 量 控 制 （Emma 等 人 ，2018）或光谱信息（Hanuka等人，2020）作为VD的非侵入性输入。对于VD的可靠部署版权所有© 2021本文由其作者。知识共享许可署名4.0国际（CC BY 4.0）在诸如粒子加速器的临界安全系统中，需要估计预测中的不确定性。在这项工作中，我们应用深度学习工具，使用SLAC的直线加速器相干光源（LCLS）的实验数据我们的研究结果显示了诊断输出的准确预测可靠的VD将有助于解释实验结果，并使系统的用户能够做出明智的(a)光谱-光谱1的输入(c)光谱#2的LPS（d）光谱#3图1：虚拟诊断输入和输出的示例：（a）三个不同的光谱作为输入，以及（b）-（d）匹配纵向相空间（LPS）图像作为输出。粒子加速器高亮度束线性加速器通常以单程、多级配置操作，其中高密度电子束在输送到实验站中的用户之前被加速和操纵这种设施的一个例子是SLAC国家实验室的X射线自由电子激光设施。在SLAC的直线加速器相干光源中一个重要的监测属性是纵向相位Σ∼−M±准确度=t，e=1测量值，t，em=1空间（LPS）的电子束。LPS图像告知电子束的纵向特性，并且可以提供对发射的X射线的质量的洞察目前，使用自定义精度度量：埃塞俄比亚 αt，e·L2L2测量，t，e（XTCAV）（Marx et al. 2018 a）。这种测量方法是不-sive，即在实验中不能同时诊断和使用射束。因此，需要一套能够连续预测LPS的新方法在这项工作中，我们训练了一个虚拟诊断来预测长周期相空间（LPS）。我们使用集合方法来估计预测的不确定性。数据集。输入的是光谱信息，可以通过红外光谱仪非破坏性地收集。输出是在XTCAV处测量的相应LPS图像 输入和输出的三个示例如图1所示。 该数据集包含4000对光谱和匹配的LPS图像。数据被随机打乱并分成80%和20%的分区进行训练和测试。VD架构。我们使用的神经网络（NN）结构是一个密集的前馈NN，具有大小为200，100，50的三个隐藏层，具有整流线性单元激活函数。 训练以32个批次进行，500个epoch和Adam优化器，固定学习率为0.001（Hanukaet al. 2020年）。在选择工作中使用的神经网络之前，进行神经网络的超参数调整神经网络的训练涉及最小化标准均方误差（MSE）损失函数的训练集。我们使用Keras和TensorFlow库（Chollet et al.2015; Abadi et al.2015年，建立和训练模型。包围方法。深度集成是一组使用不同参数初始化重新启动并独立训练的神经网络。 已经证明，当与大型神经网络和非凸损失表面一起使用时，集成方法可以改善不确定 性 估 计 （ Lakshminarayanan ， Pritzel 和 Blun-dell2017）。测试射击的预测LPSL→预测=其中，如果L较低，则αt，e=1，t，e< L测量，t，e< L较高，否则为0。我们使用L预测的界限，t，e2σ t，e，其中σ t，e是时间t和能量水平e的预测标准差。 为了直观地显示准确性，我们绘制了地面实况，红色像素表示地面实况在±2σ内的位置（见图2b）。结果和讨论测 试 集 上 VD 的 平 均 MSE 为 6.714e-04 ， 准 确 度 为0.538。在下文中，我们提出了两种常见的预测误差：形状和平移。 图2显示了一个不良测试射击的示例，MSE为8.585e-4，精度为0.264。为了分析和可视化的预测质量，我们提出了拍摄的差异和准确性指标的曲线图，大的MSE可以通过查看图2a来解释，图2a描绘了预测和地面实况之间的差异。这里，预测的形状和测量的图像不匹配。 我们将这种误差称为形状误差。图2：一个普遍存在形状误差的测试镜头图3a显示了另一个较差的射击，MSE为5.604e-4，准确度为0.380。然而，这种较低的性能是由于平移误差，而不是形状误差，如在前面的例子中看到的。由于形状告诉我们最多关于光束的物理特性，我们可以将预测转化为与测量的“质心”相匹配。1M m=1 →l预测d，m是en的平均预测值值（见图3b）。应用这种翻译校正，用M个神经网络进行预测（→lpredicted，m）。VD预测的不确定性被视为标准，带k个预测的神经网络的dard evision n→σ=得到了2.017e-4的MSE和0.603的准确度，这分别表明改进了64.6%和58.7%。此外，我们可以更好地理解，.M−1M（→l预测，m-L→预测）2. 在这里，我们使用测量和预测是不同的。在翻译校正之前，这些细微的差异被翻译掩盖了。Glorot 均 匀 分 布 的 随 机 初 始 化 （ Glorot 和 Bengio2010），系综大小为M=8。之所以选择该集合大小，是因为它在捕获统计数据时产生较小的MSE用于模型评估。为了评估VD的平均预测，我们使用均方误差（MSE）度量。 为了评估平均预测的质量，我们绘制了VD预测和地面实况之间的差异（见图2a）。为了评估预测标准差提供的不确定度区间，我们局部误差如果在更复杂的网络架构中利用空间连通性，这两种类型的错误都可能减少结论和前景在这项工作中，我们提出了方法，度量和可视化工具来预测和量化相空间中单次激发电子束纵向特性的预测不确定性。虽然通过观察单个镜头可以确定数据集的特征，并分析虚拟现实中的问题，（一）T、Et，e=1用X波段横向偏转腔(a) 校正前(b) 校正后图3：平移误差质心校正前后的差异和准确度诊断（VD），它并没有给出VD如何在整个数据集上执行的更多见解 由于地面实况在实时操作期间将不可用，因此这种洞察对于评估VD可靠性是重要的。在未来的研究中，我们将研究评估和可视化整个测试集的预测不确定性的方法这将使用户能够就机器操作和数据分析做出明智的决定。引用Abadi，M.;Agarwal，A.;Barham，P.;Brevdo，E.;陈志;Citro，C.;科拉多湾S.的; Davis，A.; Dean，J.; Devin，M.; Ghemawat ， S.; 古 德 费 洛 岛 Harp ， A.;Irving ，G.;Isard，M.; 贾，Y.;Jozefowicz，R.;凯泽湖;Kudlur，M.;列夫enbe rg，J.; Ma ne' ，D.; Mong g a，R.; Moore，S.;Murra y， D.; Olah ， C.; Schuster ， M.; Shlens ， J.;Steiner ， B.; Sutskever ， I.; Talwar ， K.;Tucker ，P.;Vanhoucke ， V.;Vasudevan ， V.;Vie’gas ， F.;Vinyals，O.; Warden，P.; Wattenbe rg，M.; Wic ke，M.;Yu，Y.;和Zheng，X.2015年。TensorFlow：异构系统上的大规模机器学习。网址http：//tensorflow.org/的网站。软件可从tensorflow.org获得。等，2015年。Keras https://keras.io.Emma，C.; Alverson，M. D.的; Edelen，A.; Hanuka，A.;霍 根 ， M.; O'Shea ， B.; Storey ， D.; White ， G.; 和Yakimenko，V.2019。基于机器学习的FACET-II双束团运行纵向相第八届国际束流仪器会议IBIC 2019的主持人 ： 瑞 典 - 。 doi ： 10.18429/JACOW-IBIC2019-THBO01 。 网 址 http://jacow.org/ibic2019/doi/JACoW-IBIC2019-THBO01.html。Emma，C.; Edelen，A.;霍根，M. J.道：O'Shea，B.;白色，G.地;和Yakimenko，V. 2018。基于机器学习的粒子加速器或 物 理 修 订 加 速 梁 21 ： 112802 。 doi ：10.1103/PhysRevolutionBeams.21.112802。网址https://link.aps.org/doi/10.1103/PhysRevolutionBeams.21.112802。Glorot，X.;和Bengio，Y. 2010.了解训练深度前馈神经网络的困难。机器学习研究论文集第9卷，249-256.Chia Laguna Resort ， Sardinia ， Italy ： JMLRWorkshopandConferenceProceedings.网址http://proceedings.mlr。press/v9/glorot10a.html。Hanuka ， A.; Emma ， C.; Maxwell ， T.; Fisher ， A.;Jacobson，B.;霍根，M. J.道：和Huang，Z. 2020.用光谱虚拟诊断法精确和可靠地Lakshminarayanan ， B.; Pritzel ， A.; 和 Blundell ， C.2017. 使用深度集成进行简单和可扩展的预测不确定性估计。神经信息处理系统的进展，6402Marx ， D.; Assmann ， R.; Craievich ， P.; Dorda ， U.;Grudiev ， A.; 和 Marchetti ， B. 2018 年 a. 在 DESY 的SINBAD设施上使用新型X波段横向偏转结构进行纵向相空间重构模拟研究。物理研究中的核仪器和方法A部分：加速器，光谱仪，探测器和相关设备909：374-378。 ISSN0168-9002.doi：https://doi.org/10.1016/j.nima.2018.02网站。037.网址http://www.sciencedirect.com/science/article/pii/S0168900218301918 。 第 三 届 欧 洲 先 进 加 速 器 概 念 研 讨 会（EAAC 2017）。Marx ， D.; Assmann ， R.; Craievich ， P.; Dorda ， U.;Grudiev，A.; 和Marchetti，B. 2018年b月。 纵向 在DESY的SINBAD实验室中，对一种新型X波段横向偏转结构进行了相空间重构仿真研究核仪器和方法在物理学研究部分A：加速器，光谱仪，探测器和相关设备909： 374 –ISSN0168-9002.doi：https://doi.org/10.1016/j.nima.2018网站。02.037.网址http://www.sciencedirect.com/science/article/pii/S0168900218301918。第三届欧洲先进制冷机概念研讨会（EAAC 2017）。