drtsans：橡树岭国家实验室小角中子散射数据简化工具包

软件X 19（2022）101101原始软件出版物drtsans：橡树岭国家实验室小角中子散射数据简化工具包William T.放大图片作者：John Hetrickb， John Bilheuxa，Jose M. BorregueroCalvob，Wei-Ren Chena，Lisa DeBeer-Schmitta，Changwoo Doa，MathieuDouceta，MichaelR.放大图片作者：William F.放大图片作者：A. [10]张文辉，张文辉.放大图片创作者：Peter F.[10]张晓波，张晓波.放大图片作者：Savicia，Yingrui Shanga，Christopher B. Stanleye，Volker S.Urbana，Ross E.惠特菲尔德b，陈章b，周文多b，杰伊杰伊比林斯a，b，1，马修J.Cuneoa，2，Ricardo M.费拉兹·里尔a，b，3，王天豪c，4，吴斌a，3a美国田纳西州橡树岭橡树岭国家实验室中子散射部，邮编37831b计算机科学与数学部，橡树岭国家实验室，橡树岭，田纳西州37831，美国c美国田纳西州橡树岭橡树岭国家实验室中子技术部37831d第二目标站项目办公室，橡树岭国家实验室，橡树岭，田纳西州37831，美国计算科学与工程部，橡树岭国家实验室，橡树岭，TN 37831，美国ar t i cl e i nf o文章历史记录：接收日期：2022年收到修订版，2022年4月21日接受，2022年保留字：小角中子散射数据处理大规模用户设施a b st ra ct数据处理是中子小角散射实验的关键步骤。它纠正了仪器特定的文物的数据，使其准备分析，解释，以及与不同的小角度中子散射仪器收集的数据进行比较。在这里，drtsans软件包在橡树岭国家实验室的EQ-SANS，GP-SANS，和生物SANS仪器，这是位于Spiritus中子源和高通量同位素反应堆，数据简化的开发进行了说明。所采用的软件和严格的开发方法对三种SANS仪器的科学计划产生了积极的影响©2022作者（S）。由爱思唯尔公司出版这是CC BY许可下的开放获取文章（http://creativecommons.org/licenses/by/4.0/）中找到。✩版权通知本手稿由UT-Battelle，LLC根据与美国能源部（DOE）签订的合同DE-AC 05 - 00OR 22725撰写。美国政府保留和出版商，通过接受出版的文章，承认美国政府保留一个非排他性的，付费的，不可撤销的，世界范围内的许可，出版或复制本手稿的出版形式，或允许他人这样做，为美国政府的目的。能源部将根据能源部公共获取计划（http://energy.gov/downloads/doe-public-access-plan）向公众提供这些联邦资助研究的结果。*通讯作者。电子邮件地址：hellerwt@ornl.gov（William T.Heller），hetrickjm@ornl.gov（John Hetrick）.1 地址：RuleLXII，Oak Ridge，TN 378302 现住址：St.裘德儿童3 目前住址：不详。4 现地址：中国北京市公安局中国空间中子源科学中心。https://doi.org/10.1016/j.softx.2022.1011012352-7110/©2022作者。 由Elsevier B.V.出版。这是一篇开放获取的文章，使用CC BY许可证（http://creativecommons.org/licenses/by/4.0/）。可在ScienceDirect上获得目录列表SoftwareX期刊主页：www.elsevier.com/locate/softxWilliam T. Heller，John Hetrick，Jean Bilheux et al.软件X 19（2022）1011012⃗⃗代码元数据当前代码版本V。1.2.0指向此代码版本所用代码/存储库的永久链接https://github.com/ElsevierSoftwareX/SOFTX-D-22-00051Code Ocean compute capsule N/A法律代码许可证GNU GPL v3使用git的代码版本控制系统使用Python的软件代码语言、工具和服务编译要求，操作环境依赖Mantid，mixyter，h5py，numpy，docutils，jsonschema，lmfit，matplotlib，mpld3，numexpr，pandas，sortedcontainers，tinydb，ipywidgets，访问ORNL中子科学计算机系统。如果可用，链接到开发人员文档/手册https://code.ornl.gov/sns-hfir-scse/sans/sans-backend/-/blob/next/Contributing.rst问题支持电子邮件shangy@ornl.gov1. 动机和意义橡 树 岭 国 家 实 验 室 （ ORNL ） 拥 有 三 台 小 角 中 子 散 射（SANS）仪器[1].GP-SANS和Bio-SANS仪器位于高通量等容反应堆（HFIR），而EQ-SANS仪器位于散斑中子源（SNS）。这些仪器为来自世界各地的研究人员提供服务，这些研究人员从事各种科学学科，包括结构生物学，量子材料，软凝聚态物理学和材料科学。在使用这些仪器进行的实验中，一个重要的步骤是数据简化，它将仪器收集的原始中子数据转化为散射截面d（q）/d，其中q是中子动量传递，为数据分析做好准备。自这三种仪器开始运行以来，GP-SANS和Bio-SANS分别于2007年和2009年开始运行，在EQ-SANS中，数据简化通过多种软件工具完成，例如由仪器科学家在IgorPro（Wavemetrics，Inc.;Portland，OR，USA），Mantid [2]，以及由Laue Langevin研究所[3]开发的GRASP应用程序，该应用程序是用Matlab编写的（The MathWorks，Inc.;美国马萨诸塞州纳蒂克）。各种数据简化软件包的存在造成了仪器用户社区成员之间的混乱，特别是在ORNL对多个SANS仪器各种软件包的功能差异很大，以至于操作知识不会从一个软件包转移到另一个软件包。此外，软件开发过程没有得到很好的控制，这使得任何人都可以在任何时候做出影响底层功能和使用的更改许多这类改变是在没有与所有利益攸关方协商的情况下作出的在仪器科学家无法就最佳前进方式达成共识后，ORNL决定开展一个项目，为ORNL的SANS仪器开发一个新的统一软件包[1]。结果是drtsans，它于2020年5月在ORNL正式用作SANS的生产数据简化软件。本文介绍了drtsans的体系结构、开发方法和功能。一个使用软件的说明性例子，并描述了它的方式，是由用户的仪器在ORNL也提出。drtsans在ORNL的SANS用户社区的影响进行了讨论。最后，将提出未来的发展方向2. 软件描述drtsans是用Python 3编写的（https://www.python.org）。一些数据简化操作使用Mantid软件包[2]是用C++编写的，这有助于提高执行速度。用户可以根据自己的需要配置数据简化，例如指定样品数据、背景测量数据 、 与 输 出 相 关 的 选 项 然 后 ， drtsans 读 取 以 JSON 格 式（https://www.json.org）提供的参数集它是高度可配置的，这是必要的多样性的实验特定的方法来减少数据，必须采取。一旦执行，数据简化过程不需要额外的用户干预。使用drtsans的数据简化几乎总是在ORNL中子科学用户设施的用户可用的Linux计算机系统上进行。该计算机系统提供对原始数据、最新版本的drtsans和必要的校准文件的访问。在ORNL系统上部署drtsans还可以对计算密集型例程进行性能评估和优化，例如Mantid [2]中的例程特别是，Mantid的“LoadEventNexus”作为中子束时间提案小组的一员，使用ORNL的SANS仪器进行研究[1]目前是访问系统和数据的先决条件有关ORNL中子散射设施和获得仪器的更多信息，请访问https://neutrons.ornl.gov/。2.1. 软件构架drtsans代码库的高级结构如图1所示。测试drtsans的代码和实际的数据还原代码都包含在一个名为sans-backend的顶级项目中。drtsans和测试都被组织成全局方法、设施特定方法和仪器特定方法 。机 构特定方法 是指适用于 使用单一 波长（ 表示为“Mono”）的SANS仪器（如GP-SANS [ 6 ]和Bio-SANS [ 7 ]）或使用飞行时间方法（表示为“Tof”）的仪器（如EQ-SANS [ 8 ]）的这种结构使得有可能增加一个仪器，例如可能在拟议的SNS第二目标站进行的仪器，而对其他仪器的数据简化代码的影响最小每台仪器都有一个顶级应用程序编程接口（API），可确保遵循仪器团队商定的最佳实践。有些方法位于结构的最高层，这些方法独立于设施或仪器。从图中可以看出，采用了相同的结构对于用于测试drtsans中的方法的测试中的代码，除了有用于单个方法的单元测试和用于方法如何一起工作的集成测试之外William T. Heller，John Hetrick，Jean Bilheux et al.软件X 19（2022）1011013⃗2.2. 发展办法Fig. 1. drtsans代码的组织。用于校正检测器的每像素响应、波长相关的样品透射、被阻挡的光束drtsans的开发使用并继续使用软件开发过程，以确保预期的结果。首先，数据简化方法由仪器科学家开发，并详细记录，以便可以作为软件实现。仪器科学家还提供了至少一个示例，说明该方法在应用于数据时应如何工作，这些数据可能由仪器科学家创建然后，软件工程师审查仪器科学家提供的信息，并在必要时要求澄清。方法和一个或多个测试由软件工程师实施，仪器科学家有机会审查代码。仪器科学家负责检查结果的正确性。开发过程成功的关键是对单个方法和集成测试进行严格的测试。开发代码的测试使用自动化管道来针对已开发的测试套件和各种操作的预期结果运行drtsans在任何给定的时间，有三个主要的代码分支为仪器科学家和设备用户部署：开发分支（dev），质量保证（qa）分支和发布分支 。 仪 器 科 学 家 和 用 户 可 通 过 使 用 conda environments（https://conda.io）获得这三个分支。开发分支是新功能首次实现的地方，它可以用于部署紧急错误修复。由于新功能的开发速度已经大大降低，因此利用开发分支进行数据缩减变得更加可行。在qa分支中，包含任何更新的完整实现和测试版本可供仪器科学家测试。一旦qa分支被测试和批准，它就转移到发布分支，仪器科学家和用户最常使用该分支来进行数据缩减。开发过程成功地生成了仪器团队或团队同意正确生成的软件-减少了数据，并且该过程确保在发布前对代码进行的更改进行了彻底审查2.3. 软件功能将SANS数据简化为绝对横截面d（q）/d所需的所有方法都在drt-sans中实现。可用方法的列表包括但不限于，背景和计算仪器依赖的q-分辨率，这是必要的数据分析的方法，实施了所有三个仪器。ORNL的所有三台SANS仪器都以“事件模式”保存数据方法也可用于执行楔形（扇区）装仓和用于在数据缩减过程期间提取环形装仓的数据以避免额外的处理步骤。可以以各种方式调用DRTSAN。重要的是，drtsans很容易从其他Python脚本中调用，这使得使用单个脚本处理具有数百种不同 测 量 的 整 个 实 验 成 为 可 能 xmlyter 笔 记 本 电 脑（https://jupyter.org）经常用于数据减少。已经开发了大量的示例性笔记本电脑另一种方法是使用最初由C开发的脚本接口Do，它提供了Linux环境的灵活性，但可以从终端运行。C. Do还负责开发一种方法，用于使用逗号分隔值文件中的配置调用drtsans，这些配置便于在电子表格中编辑，这也使得用户可以使用一致的方法轻松地一次性减少整个实验每个仪器团队都开发了文档和教程，可https://neutrons.ornl.gov上的相应仪器页面上找到。3. 说明性示例在这里给出的例子中，使用C语言开发的脚本接口进行数据约简.做介绍。该脚本如清单1所示。第6行和第7行提供的两个路径分别用于结果的预期位置（“output_path”）和数据简化所需的公共文件的位置（“shared_path”）。以“eq4._”开头的代码块包含一系列条目，用于配置数据缩减的参数，例如当默认值不适用时。 本节的前两行（第14-15行William T. Heller，John Hetrick，Jean Bilheux et al.软件X 19（2022）1011014表1清单1所示示例中使用的参数。参数含义ipts射束时间建议的唯一标识符darkfilename外部背景信号源的测量maskfilename数据缩减期间要忽略的探测器区域灵敏度filename探测器像素相对效率的度量standardabsolutescale一个乘法常数，在还原过程中应用，以获得绝对散射横截面thickness样品厚度，单位mmsampleaperturesize样品前孔的直径，单位为mmdetectoroffset为获得正确的样品到检测器距离而必须应用的距离，该距离可根据所执行的实验而变化empty空光束传输测量的运行编号，也用于确定探测器上的直接光束位置bkgscatt还原过程中要减去的背景信号的游程数产生本底信号的设备的中子透射率测量qbintype在输出结果中分隔q值的方法numqbins计算输出结果时使用的q值数量DRTSAN通常需要附加的配置参数。然后，指定实验特定的数据简化参数（第16-30行）。这些参数中的大多数通常由与访问用户一起工作的仪器科学家设置，并且用户不会更改，但“qbintype "和”numqbins“除外。可用的参数集包括许多特定于实验的参数。还有一些参数可以覆盖保存在数据文件的元数据中的信息，例如当样本环境具有与定义为“标准”位置不同的位置时。在该实施例中，参数呈现在表1中。然后，指定样品运行编号和其中子透射测量的运行编号（“scatt 4m”和“trans 4 m”;第34-35行），并用于通知数据还原。 要使用哪些数据集（“samscatt”和“samtranss”）。接下来，指定输出文件名的基 本 部 分 （ “file-name” ） 。 最 后 ， 启 动 drtsans 数 据 缩 减 过 程（“reduceNow（eq4）”）。请注意，第33-43行1号！/ usr/bin/环境Python 32importsys3sys. path. append（4从电子邮件地址发送电子邮件地址56outtput_path=“/SNS/EQSANS/IPTS-26522/shared/test/“7shared_path=“/SNS/EQSANS/shared/NeXus文件/EQSANS/2021B_mp/“89##10#ReductionoffdatafromIPTS-2652211#4m2.5a配置12##1314 e q 4 = E Q V a r（'202 1 B/D e f a u l t-a ug21_q a.（json15eq4. _defaul t jsonfile=“ / S N S / E Q S AN S / sh a r e d / s c r i p t / e q s a n s t o l s / e q sa n s _ r e du c t i on_q a. 吉索恩16 eq4. _ipts=“二六五二二”17 等式4. _outputdir=输出路径18eq4 。 _dark 文 件 名 =shared_path+“EQSANS_124667.nxs.h5“19eq4._mask文件 name=shared_path+“bea mstop_mask_4m.《新订规例》第20章第4题。_sensitivityfilename=shared_path+“Sensitivity_patched_thinPMMA_4 m_12497 2. nxs“21 等式4. _standardabsolutescale=“5.74715236899679“22 等式4. _厚度= 1.023eq4。_sample aperturesize=“10“24 eq4. _检测器偏移=80.025eq4。_empty=“124979“26 eq4. _bkgscatt=“124983”27 eq4. _bkgtranss=“124980”2829 eq4. _qbintype=“日志“30eq4。_numqbins=100313233#therunnumbers34scatt4m=12498435trans4m=1249813637print（“.. . reducingdaset#“+str（scatt4m）+“at4m，二、5A“）38eq4。_samscatt=str（scatt4m）39eq4。_samtrans=str（trans4m）40eq4。_filename=“EQSANS_“+str（scatt4m）41print（“。. . . . “reducing“+eq4. _samscatt+“for“+eq4._filename）42REDUCENOW（eq4）#COmmethislineinordertoskip43print（“。. . . . 我是一个很好的人。“的情况）清单1：配置和调用drtsans的示例脚本。数据缩减过程将生成多个文件，这些文件将保存到指定位置。图2显示了数据简化过程输出的两个文件，它们是在执行drtsans期间 使 用 matplotlib （ www.example.com ） 生 成 的 图https://matplotlib.org。 二、简化的数据也以ASCII格式提供，适合导入数据分析软件包，如Sasview[9]。还原输出的重要文件之一是HDF5格式的综合日志文件（https://www.hdfgroup.org/）。日志文件包括在数据简化期间导出的不包括在简化的数据文件中的重要信息，诸如中子束在检测器上的位置以及样本和背景的中子透射的值4. 影响drtsans对ORNL的仪器科学家和SANS仪器的用户有四个主要影响[1]。首先，开发过程要求仪器科学家通过描述开发人员所需的方法和测试来记录记录如何减少数据促使仪器科学家之间进行讨论，并使所有利益攸关方能够质疑和改进方法。结果是工作人员对方法和向感兴趣的仪器用户提供信息的能力充满信心。drtsans产生的第二个重要影响源于集成代码测试过程。开发过程中不可或缺的广泛的自动化测试确保了仪器科学家了解代码的工作方式，并可以看到它提供所需的结果。工作人员为所采用的单元测试开发了输入和输出数据，这确保了他们的方法被正确地转化为软件。测试的一个重要结果是代码的可信度得到了提高drtsans的第三个重要影响是，受控开发方法和发布过程确保了William T. Heller，John Hetrick，Jean Bilheux et al.软件X 19（2022）1011015图二. 使用清单1中的脚本从drtsans输出的示例。图中所示的图像只是数据简化过程中生成的结果的一部分。数据简化软件不是在没有其他利益相关者意识到该变化的情况下由单个人ORNL的SANS以前的数据简化软件存在的一个关键挑战是，一个人可以在其他人不知情的情况下修改它。结果会发生变化，这在校准标准样品的测量中可能是明显的，或者之前使用的操作软件的方法将简单地停止运行。意想不到的变化需要疯狂地寻找任何差异的原因。通常不可能找到解决方案并及时修复，这对仪器科学家和仪器用户来说是一个相当大的压力来源，因为获得SANS仪器是一种宝贵的商品。由于采用了严格的测试，消除了一个人在不知道其他人的情况下动态改变方法的能力，为执行数据简化的人提供了很大的稳定性，这是一个经常是死记硬背的，机械的过程，永远不应该成为实验期间或之后的压力来源drtsans的第四个重要影响是传播回Mantid框架的性能改进通过统一SANS数据简化软件，可以使用Mantid对这一例程的改进导致单个数据集的挂钟时间减少了10%到30%在ORNL计算系统上实现更快的数据缩减工作流程将使所有SANS用户受益[4]。对“LoadEventNexus”的更改从2020年9月发布的5.1.0版本开始，Mantid的所有用户都可以使用改进后的例程。5. 结论drtsans的开发提供了一个机会，将ORNL SANS仪器上使用的数据简化软件开发过程、实施的严格测试以及将软件部署到ORNL系统的方法大大改善了对工作人员和用户执行实验所依赖的数据简化软件的控制。原则上，drtsans可以扩展到其他中子散射设施的SANS仪器上进行数据简化，但这样做需要相当大的资源投资。一个合适的图形用户界面是非常需要的仪器科学家和用户社区的成员谁与低角衍射数据，如经常遇到的超导体和skyrmions的研究，并将在未来的追求。在初步配置所需方法后，在工作人员和用户投入最少的情况下，开发实验期间数据简化的自动化，对设施的用户来说可能是有价值的将数据简化与数据分析相结合也有可能极大地改善用户体验，并正在考虑未来的发展。竞合利益作者声明，他们没有已知的竞争性财务利益或个人关系，可能会影响本文报告的工作致谢本研究使用了美国橡树岭国家实验室（Oak Ridge NationalLaboratory， USA）运营的DOE科学用户设施办公室（Office ofScience User Facilities）的Spectron中子源和高通量同位素反应堆（Spectron Neutron Source and High Flux Isotope Reactor）引用[1]Heller WT，Cuneo M，DeBeer-Schmitt L，Do C，He L，Heroux L，et al.The suite of small-angle neutron scattering instruments at Oak Ridge NationalLaboratory.JApplCrystallogr2018;51（2）：242-8。http://dx.doi.org/10.1107/S1600576718001231。[2]Arnold O，Bilheux JC，Borreguero JM，Buts A，Campbell SI，Chapon L，et al. Mantid-数据分析和中子散射可视化包， µSR实验。核仪器方法物理研究A 2014;764：156-66。http://dx.doi.org/10.1016/j.nima.2014.07.029网站。[3]杜赫斯特角抓。2021年，劳厄朗之万研究所，https://www.ill.eu/users/support-labs-infrastructure/software-scientific-tools/grasp。[4]Godoy WF，Peterson PF，Hahn SE，Billings JJ. ORNL中子散射数据简化工作流程中的高效数据管理。2020年IEEE大数据国际会议2020，第2674-80页。http://dx.doi.org/10.1109/BigData50022.2020.9377836.[5]Godoy WF，Peterson PF，Hahn SE，Hetrick J，Doucet M，Billings JJ.使用Mantid对SNS和HFIR仪器数据简化工作流程进行了性能改进。In：Nichols J，Verastegui B ， Maccabe AB ， Hernan-dez O ， Parete-Koon S， Ahearn T，editors.通过HPC、大数据和人工智能的融合推动科学和工程发现。Cham：Springer International Publishing; 2020 ， p. 175-86. http://dx.doi.org/10 的 网站。1007/978-3-030-63393-6_12。[6]张文，张文，等.中子小角散射仪的研制.北京：科学出版社，2000，24（1）：158 - 159在 橡 树 岭 国 家 实 验 室 J Appl Crystallogr 2012;45 （ 5 ） ： 990-8.http://dx.doi.org/10.1107/S0021889812027057网站。[7]Heller WT， Urban VS，Lynn GW ，Weiss KL ，J Appl Crystallogr 2014;47（4）：1238-46. http://dx.doi的网站。org/10.1107/S1600576714011285。[8]赵 建 康 ， 高 春 英 ， 刘 丹 . SNS的 扩 展 Q 范 围 小 角 中 子 散 射 衍 射 仪 。 J ApplCrystallogr2010;43（5第1部分）：1068-77。http://dx.doi.org/10.1107/S002188981002217X网站。[9]Doucet M ， Cho JH， Alina G ， Bakker J， Bouwman W ， Butler P ， et al.SasViewversion5.0，Zenodo.2020年，http://dx.doi.org/10.5281/zenodo.3930098。