RCE：工程与科学的集成环境——多学科分布执行工具的协作与执行

≥SoftwareX 15 （ 2021 ）100759原创 软件PublicationRCE ： An Integration Environment for Engineering and Engineering （ 集成 环境 ）ScienceBrigitte Boden ， Jan Flink ， Niklas Först ， Robert Mischke ， KathrinSchaffert ， Alexander Weinert ， 德国∗作者 ： ANNIKA Wohlan ， Andreas作者Schreiber研究 院for Software技术 ，German Aerospace 航空中心（ DLR ） ，linder高 ，51147科隆 ，GermanyA A r t i c l Ei n Fo ;Article 文章History ：接收12August2019 年 12 月 16日 ， 2020 年 6 月 29 日 ， 2020 年 6 月 29日 ， 接受 修订 形式2021Keywords ：多 学科analysis 整合 工具 工作 流执行 协作Distributed 分布Execution 执行A AB s t r A A C t工程复杂系统作为航空和航天是一个需要的多学科项目工程师的协作来自于多人在音乐会中工作的专业化。典型地，每个工程师使用一个或更多专业的软件工具来分析某些数据集和数据，并通过一个特设的人员，其结果是关于他们的集体谁需要这些结果作为输入他们的尊敬的工具。This进程is消费 时间 ，错误 的 王冠及not可 复制 的为了解决这个问题，我们现在RCE（远程组件环境），一个开源应用程序开发的小学在DLR，使其用户能够直观地集成区分工具，通过易于使用的图形界面在他们之间定义依赖关系，并执行多学科工程设计工作流程。所有产生的数据都是以中央方式存储的，用于过程、子序列分析和后处理。Hence ，RCE 使得 协作 工程 师 为 多 学科 设计 或 分析 贡献 其 个性化 的 学科 工具 变得 容易 ， 并且简单 生活The analysis of The工作 流 Workflow结果 。©2021 the作者 . Published 发布By Elsevier B . V 。 This is AN open 开放access 访问Article 文章Under Thecc by License（http://creativecommons.org/licenses/by/4.0/）.codemetadataCurrentcode Version 版本R29900 的常驻link 链接两 个代码/存储 库used for this code Version 版本https://github.com/ElsevierSoftwareX/SOFTX_2019_257Legal 合法code LicenseEclipse 的public License（ EPL ）V1.0Code 版本系统used走 吧Softwarecode语言 ，工具 ，及Services 服务usedJava 与 Eclipse RCP工作 环境 ， Compilation Requirements&依赖 性JVM ，either 的Apache 的Maven or Eclipse 的link to开发 商手册/Manualhttps://software.dlr.de/updates/rce/10.x/products/standard/releases/latest/documentation/windows/developer_guide.pdf支援 Emailfor Question 问题rce@dlr.deSoftwaremetadataCurrentsoftware Version 版本10.2.3永久 链接 至 executables of thisVersion 版本https://software.dlr.de/updates/rce/10.x/products/standard/releases/10.2.3/Legal 合法Software LicenseEclipse 公共 许可 证 （ EPL ）V1.0Computing操作 平台/Operating SystemsMicrosoft Windows 7 ， Microsoft Windows 10 ， Microsoft Server 2016 ，CentOS 8 ， Debian 中 的 操作 系统10, SUSE Linux Enterprise Desktop 的12 SP2 ，Ubuntu 的18.04安装 要求&依赖 性JRE1.8u161link touser 用户manualhttps://software.dlr.de/updates/rce/10.x/products/standard/releases/10.2.3/documentation/windows/user_guide.pdf支援 Emailfor Question 问题rce@dlr.de∗ Corresponding 相关作者 |Email address ：亚历山大 · 怀恩dlr.de（ Alexander ）哭了 ） 。https://doi.org/10.1016/j.softx.2021.1007591. 动机 和Significance设计 和 评估 现代 系统 需要 Collabo - rationAmong 先生专家from A A WIDE range of Disciplines 。 EACH2352-7110/© 2021 年 作者 。 2013 年 12 月 21 日@下午 12 时 45 分 i = =http://creativecommons.org/licenses/by/4.0/）.Contents lists available 可 提供ScienceDirect 的software xJournal 日志主页 ：www.elsevier.com/locate/softx布里吉特地 ，Jan精彩 ，尼 加拉 瓜初et艾尔SoftwareX 15 （ 2021 ）1007592of these experts highly specialized software tools to pro—duce orinvestigate a design artefact such as the shape of a workpiece，itsaerodynamic properties，or the cost for producing.如果专家使用专门的软件工具进行专业研究，那么设计文章就是关于工作部件的形状、其空气动力学特征或生产成本的研究。it.将这些工具的运行作为收集、分发和归档所有中间数据的过程，在设计过程中施加一个Signif—Iant 组 织 开 销 。 RCE（RemoteComponentEnvironment ， 远程 组件 环境 ）1使 工程 师 和 科学 家 能够 构建自动 化 工作 流程 ， 以 一致 使用 大量 的 软件 工具 ， 在 分布式 网络 上 执行 这些 工作 流程 - 计算 节点 工作 ， 并 收集 所有 相关 文章 以 供 进一步 使用 。analysis 。例如，假设工程师团队正在努力设计一款新型飞机，将其从钢，铝或碳中取出。There is also a project leader who coordi -nates （ 有 一 个 项目 领导 者 ， 谁 能 领导 ）The Activities 活动参与在Determining The最 优材料 . TOthis终 ，for EACH ofThe三 位材料 ，The engineers 工程 师compute both theeffectiveness of the resulting wing as well as its （ 两 个 结果 一样 有效 ）生产 成本 produc-cost For the sake of simplicity ， weassume the effectiveness of 简单 的 道理 ， 我们 假设 有效A Awing形状is决计Solely基于on The电梯IT produces 。每一种材料都可能导致可能形状上的不同限制。Hence，项目负责人首先从合作材料科学家那里获得了这些限制的描述。Shepasses these constraints on a team of engi （ 她 通过 了 这些 限制 ， 进入 了 一支 engi 团队 ）that最 后 期限 ，for EACH材料 ，AN最 优Feasible 容易让 产品 达到 最 高 水平 。他们 这样做 是 通过 迭代 设计 wing Shapes 并 评估 电梯 是 由 尊重 形状生产 的 ，Thus implementing 实施A A simple Optimization 优化loop 。 有该 项目 的 负责 人 将 最 佳 设计 转向 另 一 个 决定生 产 成 本 的 部 门 。 We Illustrate the Flow of InformationBetween the Participants Involved in the Design of the wing in《在机翼设计中参与的信息流》Fig. 1。Each step of such a design process uses one or multiple spe -cialized 一 个 或 多 个 设计 过程 的 每 一 步 都 可以 实现software tools 。 Without A A Common 的software两 个协调 数据 管理 ， 输入 和 输出 文件 典型 地 在 这些 工具 之间 传递 ，使用 诸如 电子 邮件 ， 闪存 驱动 器 或 共享 网络 驱动 器 的 ADHoc 方法 。即使 是 在 一 个 单一 的 设计 过程 中 ，both 什么 东西The Programming language used for实施 这些 工具 ， 就 像环境 需要 执行 它们 经常 是 异质 的 一样 。在 我们 的 示例 中 ，工程 师 们 可以 使用 Python 编写 形状 约束 [2 [ ] running on adesktopcomputer，whereasthewingshapemaybeconstructed using Matlab . （ 在 桌面 计算机 上 运行 ， 如果 使用 Matlab 构建 ， 则 可能 是 编写 的 ）3在 Compute Cluster中 。最 后 ， 空气 动力 学 评估May be performed 的using A Asimulation 执 行 在 Fortran （ 4 [ 使 用 GPU 集 群 while theestimate of production costs may be explanted in Java ]（5].There are several obstacles in executing such a multidisci（ 多 学科 研究 中 有 多种 障碍 ）design进程 | 不是only 唯一doThe participants 参与 者from不同 的 政策 必须 坚持 合作 的 方法 ， 可能 跨越 业务 单位 的 边界 ， 但 在 更 技术 层面 ， 在 数据 交换 的 数据 格式 上 。Moreover ， they have to manuallyinvoke their respective tools as well as subsequently . （ 他们 必须 手动 使用 他们 尊敬 的 工具 ， 而且 效果 很 好 。收藏 品 ，分散 式 ，及Archive The结果 resulting data .即使这个过程是自动完成的，这个自动化通常需要客户提供的解决方案并不适用于其他过程。RCE是一个开源软件，在各种运行环境中运行多学科软件时，可以让科学家克服这些可重复的障碍。当RCE无法解决社会和纪律的挑战时，它通过解决技术问题来支持其用户。作为这项工作的修复者，我们回顾了作为多学科工作流程的多学科设计过程的技术部分。RCE ： Let the user grant other users in the same network . 让用户 授权 其他 用户 使用 同一 个 网络 。access 访问两 个selectedtools on Their本地Machine ，allowing 的远程用户应按需执行该工具，当该工具的所有者对该工具的实现文件和运行时环境进行完全控制时。RCE进一步允许用户构建并执行自动化工作流程，以相同网络中其他用户发布的方式打包两个本地工具。为了构建非常多的工作流程，RCE要求用户使用直观的图形界面。执行 自动 化 工作 流程 时 ， RCE 不 要求 进一步的用 户输 入 及 ORCHESTRATES 的 both 什 么东 西 TheDistribution of INPUTS 及 Outputs 中 间 The 参 与 tools 及 TheirInvocation 提名on The尊敬 的 机器 最 后 ，IT allows 的users两个监视 器The artifacts 文件及con - sole output accrued duringthe execution of the individual tools . 在 执行 个别 工具 时 ， 个别 个别 工具 会 产生 输出 。所有Execution 执行data is故称automatic 自动persisted ，allowing 的访问 和 分析 此 数据 ， 需要 在 工作 流程 执行 后 进行 。在Doing So ，RCE Facilitates 相关合作Between engineers 工程 师and researchers of widely differing fields ， enables themto leverage their domain expertise to simulate and analyzecomplex sys - tems . 而且 研究 人员 非常 广泛 的 差异 领域 ， 使他们 能够 利用 其 领域 的 专业 知识 来 模拟 和 分析 复杂 的 系统- tems . RCE进一步支持工程师和研究人员发现并跟踪工作流程的数据测量仪及其结果之间的关系。它 在 许多 项目 中 使用 过DLR 和 用户 已 一致 报告 在Addition 添加两 个ling Larger 的及More Complex工作 流程 Workflows ，RCE 已 大大 增加 其efficiency 。的相关工作。如果我们的知识是最好的，没有其他软件—软件共享RCE的概念和意图，则存在与RCE类似的工具数量。Here WeHighlight Some Of 的 评论The Most显 着of These 这些tools及Their主Differences 。One software whose aims most align with RCE is ModelCenterby Phoenix Integration （ 一 个 软件 ， 与 RCE 最 有 关联 ）6].如果ModelCenter 是 专有 的 ， 那么 RCE 是Open source 的及available可用free of charge 。OpenWrt （7 [ 1 ] 这 是 一 个 多 学科 的 开源 框架 ， 多 学科 优化 。当OpenMDAO的早期版本有一些功能与RCE共同使用时，从版本2开始，开发人员专注于单独优化。Hence ， Current Versions（ 英 语 ： Current Versions ） of RCE 及 OpenMDAO 的 Haveorthogonal 相关Feature 特性sets 。（ 重 定向 自 Apache Nifi ）8” （ 《 刀 》 ）9]. While bothfeature intuitive graphical editors ， the main focus of these tools（两种图形编辑器的主要功能）lies on the domain of data science数据科学领域。RCE，In Contrast，Focuses On（英语：RCE，InContrast，Focuses On）多 学科 领域engineering 。纸结构 . 在Section 2 We describe 描述The Functionalities 功能ofRCE from the users ’ point of view as well as the underlyingarchitecture . （ RCE 从 用户 的 角度 来看 ， 就 像 是 底层 的 建筑 师 一样 。在 section 3我们 提出 了 一 个 综合 性 的 例子 ， 说明 RCE 在 一 个 虚构 的 航空 项目 中 的 使用 。在 Section 4 wegive several examples of the use of RCE in research projects atDLR before 我们 对 RCE 在 DLR 研究 项目 中 的 使用 进行 了 若干 说明Summarizing 总结our 我们结果在Section 5及giving 护理AN outlook 在 未来Work .2. SoftwareDescriptionWe first describe the use cases supported by RCE in Sec（我们首先描述RCE在美国证券交易委员会支持的用例）tion 2.1，before we discuss the implementation of the features enablingthese use cases in Section . 在 讨论 这些 特征 的 实现 之前 ， 我们 在 第 一 节 中 讨论 了 这些 特征 的 实现 。2.2。2.1. SoftwareFunctionalities 功能RCE是工程师和科学家从广泛的学科范围创建和执行分布式工作流程的通用工具，也可以评估持续的结果。RCE 支持 广泛 的使用 范围案件 。作为第一个使用的案例，考虑一个单一的工程师谁已经安排在她的日常工作中执行多个工具，并希望自动化这个过程。最后，她可以集成用于计算，模拟和评估RCE的外部工具。RCE 提供 了布里吉特地 ，Jan精彩 ，尼 加拉 瓜初et艾尔SoftwareX 15 （ 2021 ）1007593一 个 图形 化 的 小 工具 ， 通过 集成 工具 来 指导 用户进程 |布里吉特地 ，Jan精彩 ，尼 加拉 瓜初et艾尔SoftwareX 15 （ 2021 ）1007594Fig. 1.设计和评估翼形的过程。 ”康斯特。 “而且，“Est。 “ 约束 ” 和 “ 估算 ” ，respectively 。持续 集成 ， 用户 定义 输入 和 输出该 工具 使用 RCE 的 本 机数据 类型 ， 它 压缩 了 典型 的 原始 数据data类型SUCH asBooleans ，Integers ，及floating 的点 数 与 一般 人 一样 ， 作为文件 和 直接 - ries 。用户 可以 定义 脚本 之前 和 之后 执行 的 部分 （ 称为 预 脚本 和 后 脚本 ）is典型 地used for Theconversion of input Transmitted由 RCE Into- 特定 工具layout 布局而 ，vice versa ，for The conversion of tool-specific outputdata into more common formats before they are 其它 公共 格式 。handed over两 个RCE 。 最 后 ，The user 用户defines Thecommands execute the underlying tool given the previouslydefined inputs . 执行 未 定义 的 工具 。我们阐述了将工具集成到RCE中的过程Fig. 2。在这个例子，预先脚本采用了一个由RCE支持的参数，并提供了第二个，硬编码参数。曲名 ：Gratedtool is then called with These 这些两 个parameters 参数及提供 三 个产出价值 观 。 out of These 这些产出价值 观 ，ThePostscriptdiscards 的one 一及passes The Other两 个Back两 个RCE 。在添加到用户集成工具中，RCE提供了一个数量—提供预定义组件，支持基本和经常—需要通过工作流控制数据流，从XML文件读取和提取数据，执行用户支持的Python脚本。RCE 进一步 提供 了 一 个 开放 数学 和 统计 的 组件 数量methods 方法两 个evaluate The incoming data . Moreover ，RCE 的 供应 部件 设计 、 评估 和 建造Optimization 优化LOOP ，Most显 着Among先生Them AN（ 1 ） 公认 的 达科 他 框架 （10] 为了 优化 。用户 可以 混合 和 匹配 两 个 预 集成 组件及整合 用户ones两 个construct 建造Complex work - flows in the graphical workfloweditor （ RCE 图形 工作 流程 编辑 器 ）As an example ， a usermay construct a workflow for determining the optimal materialsfor the construction of an airwing plane as described in Section .作为 示例 ， 用户 可能 构造 一 个 确定 最 佳 飞机 材料 的 工作 流程1。 We show SUCH A A workflow在Fig. 3。In that figure，each yellow box代表一个组件。the 3 . 选择“ 形状 ” ， “ 升降 ” ， “ 材料 ” ， “ 形状 ”' ' Finance ' ' - representtools integrated by the user ， while the re-maining ， 使用 者整 合 的 工 具 。 components are built 在 Into RCE 。 thsescomponents are used to read input from the user 's hard drive（ top left ， upwards pointing arrow ） ， to control the mainloop of the workflow （ top center ， label ' Control ' ） ， todisplay the geometry of the final air - plane （ center right ，label ' TiGL ' ） ， and to write the resulting . 使用 读取 来自 用户 硬 驱动 器 的 输入 （ 顶 置 ， 顶 置 标签 ' TiGL ' ' ） ， 并 写入 结果数据 传输 到 用户 的 硬盘 驱动 器 （ Center Far Right ，Downwards Pointing Arrow ） 。在构建工作流之后，用户可以开始执行。 As A A FIRSTstep ，RCE trigger 问题The Execution 执行of all tools withoutinputs 。一旦 一 个 工具 已经 完成 ， RCE 收集 其 输出 作为 其集成 定义 并 由 其 post-script 计算 ， 并 记录 他们 对 哪些 输入已 连接 到 输出 的 工具of The terminated tool 。 RCE then执行者The成功 的 工具 。 曾经IT HAS Collected all INPUTS definedBy The一体 化of a tool，it executes the respective tool and again collects itsoutputs to pass them to subsequent tools. of a tool，it executesthe respective tool and again collects its outluts to pass them tosubsequent tools. of a tool，它执行了尊敬的工具，并再次收集了它的成果，以避免使用subsequent tools.这 是 continued until notool has produced any further output data ， 这 是 典型 的 ， 因为 线性 工作 流 已 执行 其 所有 工具 的 情况 下 ，or因为A A主Evaluation loop HAS Reached 达到A A Certain 的End Criterion（ 最终 批评 ） convergence ） 。通过RCE执行对于正在积极开发的工具是可能的。冻结某个软件版本—软件工具并每次执行此版本，工作流已执行，RCE正在使用计算机上当前安装的版本。Hence，在RCE中部署新版本的主动开发工具时不存在额外开销。RCE执行了最近部署的工具版本。搜索onceatoolhasstabilized，theusermayprovidebotha'development''version and a' stable 'version in parallal.一个工具已稳定，用户可能提供两个版本。- -两 个one 一or More发展Versionsat The SAME时间 。现在 考虑 的 是 ， 用户 想 在 本地 机器 上 执行 一些 工作 流的 部分 ， 同时 又 想 在 compute cluster 或 some remote cluster上 执行 其他 操作 的 情况 。装备with GPU | TO this终 ，sheCAN CONNECT here本地 实例of RCE with one 一or multipleinstances running on远程 机器 可 通过 本地 网络 或 互联 网 实现。 She may configure the remote instances either via agraphical interface.她可能会通过图形界面配置远程信息。如果远程机器提供商是一个，或者通过RCE的内置命令行界面，这也可以直接通过SSH连接。工程师可以连接到由其他工程师通过同样的机制控制的RCE的实例。用户可以通过创建此方式的网络发布其工具集成，允许远程用户在其工作流程中使用本地集成的工具。当构建工作流程时，远程和本地组件在图形编辑器中并排，并且是另一个的独立对象。用户 应 建立 工 作 流 程 的 逻 辑 ， 而 不 需 要 确 定 其 Execution 执 行Configuration 配置at The SAME时间 。forExecution执 行 ofThe 结 果resultingworkflowComprising 。both 什么 东西本地 和 远程 组件 ， 最 后 一 个 不是 复制 到 机器 执行 工作 流 ， 但 它们 已 被 执行The Machineon Which They are综合 性 的 。 RCE supplies Them with therequired input data via the network connection ， 重新 尝试 在终端 后 输出 数据 并 将 数据 传输 到 机器 以 协调 工作 流程执行 。为了简化RCE网络的设置，RCE实例可以配置为按需中继运行。其他RCE实例可以连接到该实例，其行为是一个中间体，将所有实例之间的相关信息作为需要的。当 RCE 的 网络 结构 是 去中心 化 的 时any Number of Relays 相关CAN be组合 式 ，Which is布里吉特地 ，Jan精彩 ，尼 加拉 瓜初et艾尔SoftwareX 15 （ 2021 ）1007595Fig. 2. A概念 性View of The一体 化of A A tool Into RCE 。Fig. 3. the Graphical 的editor of RCE SHOWING The workflow described 描述在Section 1。 the Font Size of The Labels HAS Been increased 增加for The sake 说of readability 。通常 ， 我们 首先 将 RCE 的 各个 实体 连接 到 一 个 工作 组中 ， 然后 将 这些 组 组合 成 更 大 的 实体 。Networks 。如果工程师使用RCE已在远程实例中集成了所有参与其工作流程的工具，她可能会在执行工作流程时关闭本地机器。在此结束时，用户可能会设计一些实例来成为工作流控制器，从而协调RCE的相关实例的数据分发。这对于执行长时间运行的工作流是非常有用的，as the user may start the workflow on their local machineand designate a server as the workflow controller . 当 用户 在 本地机器 上 开始 工作 流程 ， 并 将 服务 器 设计 成 工作 流 控制 器 ，允许 他们 关闭down down Their本地Machine After The Start 开始of The workflow 。最后，考虑到工程师想检查某个特定工具的个别执行结果，该工具已在工作流程执行期间提出。To this end，all data，i.e.（最后，所有数据）all inputs to and outputs from all componentsaccrued during a workflow run are collected by the workflowcontroller and can be monitored both during execution of theworkflow 所有 组件 的 产出 在 一 个 工作 流程 运行 时 ， 由workflow controller 收集 ， 并且 可以 在 整个 工作 流程 的 执行期间 监控及After its Completion 总结By all RCE instances连接到 Workflow Controller 。This provides a huge benefit for thecollaborative analysis of the workflow over the existing ad-hocdissemination of such 合作 分析 工作 流程 的 结果结果 。在 实践 中 ， RCE 的 角色 涉及Exe-cution 的of A A workflowMay not be as clearly 清楚Separated 分离 的as在The use casesdiscussed above . 使用 案例 讨论 。单一RCE可以配置为显示用户界面来构建工作流，发布集成工具并充当工作流控制器，合并连接的网络，或者执行任何这些任务的组合。2.2. SoftwarearchitectureRCE的用户群主要是由工程师和科学家组成的，他们并没有首先对设计工作流程感兴趣，但更重要的是在进行多学科分析。Hence，we provide users with a software package that is我们为用户提供一个 软 件 包 1. 易 于 部 署 和 配 置 及 （ ii ） 少 数 外 部 依 赖 的 特 征 。Moreover ， such analyses are usually performed on specializedhardware that is shared with other users e.g.（在与其他用户共享的专用硬件上，通常已被证实）Compute Cluster的。Hence，RCE的用户可能没有对他们使用的机器的完整行政控制。Thus，anothermain driver behind the architectural decisions regarding RCE is therequire that the resulting software must be able to.（RCE是设计决策的另一个主要驱动因素，因此，软件必须能够获得相应的结果）（iii）在一个大范围的机器上运行（iv）最小权限。由于 RCE 并未开发 用于 在 单个 域 中 使用 ， 但 更 重要 的 是 ， 它 是 开发 和 执行 工作 流 的 通用 工具 ， 我们 要求A A（ 五 ）Modular architecture that is amenable 的两 个The发展of其他模块必须由某些项目提供。最 后 ， 因为 用户 必须 能够 配置 RCE 机构 的 网络 ， 我们 需要 一 个 允许 的 架构（ 四 ） 简易 沟通在 connected instances 。To achieve platform independence ， we opted to implementRCE in Java （ 在 Java 中 实现 平台 独立 ， 我们 选择 实施 RCE ）5]. As we furthermore rely on the platform - independent EclipseRich Client Platform （ RCP ） （ 我们 将 在 平台 上 继续 使用 - 独立 的 Eclipse 富 客户 端 平台 ）11 [ ] ， we can pro - vide executableartifacts for Windows and Linux while only main - containing asingle code base . 我们 可以 在 Windows 和 Linux 上 执行 可 执行的 文章 ， 但 只有 主要 的 代码 库 。By also distributing RCE as asimple（RCE作为一个简单的分布）zip文件（包括更多专业的安装包），其中包含RCE的所有依赖项，用于实际Java运行时，我们已列出了第一个，第二个和第三个要求。 由于 RCE 只 要求 一 个 普通布里吉特地 ，Jan精彩 ，尼 加拉 瓜初et艾尔SoftwareX 15 （ 2021 ）1007596用 户 帐 户 ， 而 没 有 提 升 的 特 权 ， We furthermore 更 多achieve 。T