ANDRIL：一个用于分析和决策的MATLAB工具箱

SoftwareX 7（2018）313ANDRIL-一个MATLAB工具箱，用于分析和决策与UnceRtaInty：从专家判断Georgios Leontaris*，Oswaldo Morales-Nápoles土木工程和地球科学，代尔夫特理工大学，代尔夫特，荷兰ar t i cl e i nf o文章历史记录：接收日期：2018年4月262018年7月4日收到修订版，2018年保留字：结构化专家判断库克a b st ra ct至少从20世纪90年代初开始，用于专家判断的启发和组合的经典模型（或库克模型）就已经在科学和工程中使用。最广泛使用的应用程序是EXCALIBUR。然而，它的代码不提供给从业人员，这限制了该方法的可访问性和潜力在本文中，我们讨论了MATLAB工具箱（ANDRIL1）旨在填补这一空白。该软件已在最近的实际应用中进行了测试，再现了EXCALIBUR的结果我们讨论了不同的优势，为用户从开发的源代码可用于实践。版权所有©2018作者.由Elsevier B. V.出版。这是CC BY-NC-ND下的开放获取文章许可证（http://creativecommons.org/licenses/by-nc-nd/4.0/）。代码元数据当前代码版本ANDRIL v1.0用于此代码版本的代码/存储库的永久链接https://github.com/ElsevierSoftwareX/SOFTX_2018_39法律代码许可证GNU通用公共许可证使用的代码版本控制系统软件代码语言、工具和服务使用MATLAB（包括统计和机器学习工具包），EXCALIBUR编译要求、操作环境依赖性MATLAB（包括统计和机器学习）如果可用，链接到开发人员文档/手册https://github.com/ElsevierSoftwareX/SOFTX_2018_39问题支持电子邮件G. tudelft.nl1. 动机和意义在实践中，工程师、科学家和决策者常常面临缺乏足够的相关现场数据（测量）的问题。在这些情况下，专家的判断可以成为有价值的数据的替代来源，以支持通讯作者。电子邮件地址：g. tudelft.nl（G. Leontaris）。1为了避免混淆少数人，谁不熟悉与J.R.R.的《指环王》中的宇宙联系在一起。托尔金，作者想澄清的灵感为开发的Matlab工具箱的名称。安都瑞尔是阿拉贡之剑的名字，阿拉贡是阿拉松的儿子，它是用纳西尔的碎片重新锻造的（埃西铎用这把剑从索伦手中砍下了至尊魔戒）。Excalibur也是亚瑟王的传奇之剑的名字。与剑一样，EXCALIBUR软件的源代码只有少数有价值的人才能访问。因此，研究人员和实践者只能欣赏和使用软件，而无法进一步研究和探索该方法的发展。为了改变这一点，现有的软件必须“破碎”，然后“重新锻造”。自然，由此产生的新开源Matlab工具箱的名称是ANDRIL。希望这将有助于为库克经典模型的研究者和实践者带来和平https://doi.org/10.1016/j.softx.2018.07.001尤其是不确定性分析。将专家判断作为一种替代数据来源的问题已经得到了广泛的讨论[1然而，如何结合这些判断的问题仍然是一个活跃的研究课题。库克它被广泛接受，并已被用于许多领域，包括核部门，化学和天然气工业，水利工程，航空航天，职业安全，健康，银行和火山学。截至2008年，数据库中共收集了45份申请[4]。从那时起，至少有33个应用程序已经执行[5]。该方法的完整描述见补充信息（SI）。在Cooke的经典模型中，专家评估他们对两种类型的连续量的不确定性。它们通过提供这些不确定量的预定义数量的估计来做到这一点通常得出专家不确定性分布的第5、第50和第95阶第一类专家不确定量对应于目标变量。这些变量的不确定性2352-7110/©2018作者。由Elsevier B. V.发布。这是CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表SoftwareX期刊主页：www.elsevier.com/locate/softx*314G. 莱昂塔利斯岛Morales-Nápoles/SoftwareX 7（2018）313=-∑∑E使用当前模型或现场数据进行充分描述，因此需要专家判断在经典模型中查询的第二种类型的变量是所谓的种子或校准变量。这些是来自专家领域的变量，分析师在得出结论时知道（或事后知道），但专家在得出结论时不知道其真实值。因此，根据专家在评估种子变量的不确定性方面的表现他们的意见经过权衡，然后根据他们的表现进行综合这种组合的不确定性分布被称为决策者（DM）。根据[1]，任何旨在实现理性共识的结构化专家判断方法都应该是可理解的，受到经验控制，中立和公平。在过去的大多数研究中，仅适用于Windows操作系统的封闭源代码软件EXCALIBUR2已被用于分析和汇总专家判断。最近，使用Eggstaff的MATLAB代码进行了一些交叉验证研究然而，该代码并不是公开的，它仍然没有实现模型的重要功能，例如项目加权方案[5]。正是本着保证进一步满足可预见性条件的精神，开发了我们认为，重要的是，研究人员有一个开放的代码，使透明的计算性能指标和汇总专家的判断。通过这种方式，可以使现有方法更易于使用，并可以进一步探讨现有方法的不同方法或扩展因此，ANDRIL工具箱的目的是帮助对库克经典模型感兴趣的研究人员或从业人员2. 软件描述ANDRIL是一个MATLAB工具箱，由不同的函数组成，支持EXCALIBUR的大部分功能。虽然EXCALIBUR的价值是不可否认的，但它是一个封闭源代码的软件，因此存在一些局限性。首先，对于最近才接触该方法的研究人员来说，理解该方法更加困难和耗时。此外，它是不可能的修改，以扩大其功能或研究不同的方法来组合专家的判断。库克的方法本质上是一个线性池方法（见方程。① ①）。有关该方法的详细信息，我们请读者参阅本文的补充资料和其中的参考文献。在这里，我们概述了该方法的主要特点。假设我们有来自e1的答案。. .，E专家对i 1，. . .、N个种子变量和目标变量。DM的每个项目的不确定性分布fDM，i计算为：测量是信息分数，其指示专家的评估相对于背景测量的“分散”程度一般来说，我们希望专家在统计准确性和信息量方面得分都很高。ANDRILANDRIL还没有用户界面，但有一个名为ANDRIL_Main的主脚本，可用于输入从专家判断中获得的ANDRIL_Main中支持的Cooke经典模型的功能(ii)使用项目权重计算DM;（iii）使用相等或用户定义的权重计算DM;（iv）DM的优化;(v)（vi）专家级稳健性检查;(vii)逐项绘制评估图;以及（viii）绘制稳健性结果图。ANDURIL的主要功能描述见表1。每一项功能的更详细的解释可以在补充材料中找到。3. 说明性实例ANDURIL已通过EXCALIBUR验证 为此，最近的一项结构化专家判断（SEJ）研究，涉及墨西哥2020年和2030年的温室气体排放量估计，被用作测试案例[7]。研究中用于验证ANDURIL的部分是关于国内生产总值估计的部分在这项研究中，9位专家参与并提供了他们关于13个种子变量和6个目标变量的不确定度分布的第5、第50和第95个样本。从应用ANDURIL的测试情况下获得的结果，并与EXCALIBUR获得的结果进行比较。这些结果可以通过使用ANDURIL_example脚本和EXCALIBUR的.dtt和.rls文件作为补充提供使用ANDURIL计算了五种不同的DM：（i）全局权重决策器（DM1），使用函数calculate_DM_global计算;（ii）项目权重（DM2），使用函数calculate_DM_item计算;（iii）相等权重（DM3），使用函数calculate_DM_global计算，每个专家的权重相等;（iv）优化的全局权重决策器（DM4 ），使用函数DM_optimization计算;以及（v）用户权重（DM5），使用函数calculate_DM_global计算，同时给予专家5和6的权重分别等于0.4和0.6应当指出，每个项目的背景测量值都是统一选择的。然而，当对每个项目使用对数均匀背景测量时，计算并验证了相同的DM使用ANDURIL和EXCALIBUR获得的分位数比较见表2。可以看出，由于计算引擎的精度不同，EXCALIBUR和ANDRIL的输出之间存在非常小的Partic-fDM，i=Ee=1 wα（e）fe，iwα（e）（一）特别地，在感兴趣的DM的分位数上，绝对值的最大差异为0.0005e=1其中fe，i是专家权重wα（e）取决于根据专家对校准问题的回答计算的两个性能度量第一个是专家评估的统计准确性如果专家的统计准确性得分高于某个置信水平α，则她将获得非零权重。否则，不考虑该特定专家e的判断，因此专家e的概率密度对DM没有贡献。第二次执行情况2EXCALIBUR可在http://www.lighttwist.net/wp/excalibur上免费获得。此外图图1显示了针对每个单独的专家和关于种子项目5的DM（ DM1 、 DM2 和 DM3 ） 获 得 的 图 的 比 较 。使 用 函 数plotting_itemwise 生 成 ANDURIL 的 图 ， 并 显 示 使 用EXCALIBUR获得相同的结果。4. 影响ANDRIL可以被从业者和研究人员用来应用和研究库克经典模型的各个方面使用ANDURIL研究了现有闭源软件EXCALIBUR的一些限制，并在本节中介绍。在G. 莱昂塔利斯岛Morales-Nápoles/SoftwareX 7（2018）313315Fig. 1. 比较所有专家和DM关于种子项目5的评估所获得的地块。表1安德里尔的主要功能函数calscore：计算专家e在种子项集合上的统计准确度（或校准分数）（等式10）。2补充）。calculate_information：计算专家e在集合上的相对信息（或信息分数）。种子项以及每个专家在所有项上的信息得分（Eq. 3补充）。global_weights：计算校准分数、种子项上的信息分数以及随后的每个专家e的权重。calculate_DM_global：使用全局权重或等权重加权方案计算每个项目的DM分布。item_weights：计算每个专家e对每个项目的权重。与全局权重加权方案的主要区别在于每个项目的权重不同这样，每个专家的意见对每个项目都有不同的权重这是通过使用每个特定项目的相关信息来实现的calculate_DM_item：使用项目权重加权方案计算每个项目的DM分布。DM_optimization：使用显著性水平alpha（α）计算每个项目的DM分布，该显著性水平在统计准确性方面优化DMChecking_Robustness_items：计算DM的性能度量（校准分数、种子变量和所有变量相对于背景度量的信息分数），当最多排除N_max_it个种子项时发生。它计算每个可能组合的性能度量，每次从排除一个种子项到N_max_it个种子项。Checking_Robustness_experts：计算DM的性能度量，当最多排除N_max_ex专家，与Checking_Robustness_items类似。plotting_itemwise：生成与项目总数一样多的图（即种子和目标项）。每个图都显示了评估结果（即，第5、第50、第95位数）以及每个DM，对于每个特定项目i。robustness_plots：生成三个箱线图。每个箱形图对应于判断不确定性的一个性能度量。即统计准确性、所有项目的信息得分和种子项目的信息得分每个箱形图显示了每个测量值如何随排除项目的数量（x轴）而变化在这些图中，还绘制了一条水平线，显示了正在研究其稳健性的DM值特别是，我们讨论了如何限制的内在范围，项目权重，分布的DM和鲁棒性可以克服与使用ANDRIL。更多信息可在所提供的补充材料中找到固有范围。每个项目i的内在范围的界限（即补充中的qli和qhi）通过考虑每个专家的评估来计算，即使是权重为零的专家此外，校准项目的固有范围考虑了种子变量的实现有人可能会说，为了计算DM使用EXCALIBUR无法对此进行调查表2使用ANDURIL和EXCALIBUR比较关于种子项目5的四个DM的分位数名称EXCALIBUR ANDURILQ5Q50q95Q5Q50q95DM13.025.4318.0003.02015.43118.000DM23.0635.3278.0003.06335.32758.000DM-3的2.2974.6847.4632.29714.68407.4626DM43.0215.447.9993.02095.43957.9994DM53.0986.0267.9283.09786.02637.928因此，修改了AN-DURIL的calculate_DM_global函数，以研究计算每个项目的固有范围的效果：（i）考虑316G. 莱昂塔利斯岛Morales-Nápoles/SoftwareX 7（2018）313图二. 通过积分（情况1）和插值（情况2）获得的关于（a）全局权重、（b）项目权重和（c）相等权重的输出累积分布的比较。实现和仅具有非零权重的那些专家的判断（产生DM1_alt1）;以及（ii）仅考虑具有非零权重的专家的判断（产生DM1_alt2）。这个新函数被命名为al-ter_calc_DM_global。应注意，为了研究这些替代计算对DM2的影响，应修改calculate_DM_item。观察到显著差异，尤其是（如预期的）在每个项目的分位数qh和ql。这个问题在文献中没有讨论过，例如在那些与Cooke模型的样本外性能相关的这是一个可以在ANDRIL的帮助下进一步探讨的问题。物品重量。使用项目权重加权方案时 为了组合专家判断，使用全局权重计算所获得的DM的信息得分和来自EXCALIBUR的权重[1]。因此，用户不可能知道每个项目使用的确切重量另一方面，ANDURIL 的 item_weights 函 数 向 用 户 提 供 表 W_itm 和W_itm_tq，表W_itm和W_itm_tq分别包含每个专家关于种子变量和目标变量DM的分布。通过对DM的密度进行积分来计算DM的累积分布。为了实现这一点，所有的专家与非零权重的分位数的值都被考虑在内，并计算每个唯一值的累积概率。因此，qi，5，qi，50和qi，95分位数的DM获得。在EXCALIBUR中，的DM通过这三个分位数之间的线性插值（即，q i，5）来计算 ，q i，50 和qi，95）的DM。这可能导致通过积分获得的分布（图2中的情况1）和通过分位数之间的插值获得 的 分 布 （ 同 一 图 中 的 情 况 2 ） 之 间 的 差 异 。 函 数calculate_DM_global和calculate_DM_item为用户提供了包含非零权重专家数量的DM分布。图图2（a）、图2（b）和图2（c）分别呈现了与全局、项目和等权重加权方案相结合的关于种子项目5的DM的两种不同分布。从这些图中可以看出，在qi，5、qi，50和qi，95之间线性插值以获得DM的分布可能导致所得分布的显著变化，特别是当考虑等权重组合时。积分累积分布包含更多的线性成分，因为每个专家提供的每个百分位数都被考虑在密度中。逐项稳健性。在研究所获得DM的稳健性时，EXCALIBUR支持一次仅排除一个项目进行重新计算。因此，无法进行调查业绩如何衡量（即，统计准确性和信息得分）随着一次排除一个以 上 项 目 而 变 化 为 此 ， 开 发 了 ANDRIL 的Checking_Robustness_items和robustness_plots功能.后者产生三个箱形图。每个图对应于判断不确定性的一个性能度量即统计准确性、所有项目的信息得分和种子项目的信息得分。统计准确度评分取决于项目的数量，因此引入了 有关本案例的例子可以在图中找到。3（a）和3（b）分别用于统计准确性和信息评分（超过种子项）。在保持“校准功效”等于1的情况下计算这些每幅图都显示了每项指标的值如何随排除的项目数（横轴）。在这些图中，一条绿色水平线显示了正在研究其稳健性的初始DM值洋红色标记显示每个删除项目数的几何平均值应当注意的是，当排除的种子项的数量增加时，则存在对于（排除的种子项的）一些组合，所有专家的校准得分降低到显著性水平α以下的可能性，导致每个专家的权重为零。因此，不考虑这些情况 从图中可以看出。如图3（a）和3（b）所示，尽管包含95%重新计算分数的区间随着一次删除更多项目而增加，但每个绩效指标的中位数仍接近原始值（由绿色水平线显示）。5. 结论为解决不确定性条件下的决策问题，应用Cooke的结构化专家判断模型，开发了一个MATLAB工具箱ANDRIL。开发此工具箱的主要目的是创建一个开源软件，可供有兴趣应用或开发进一步Cooke 方 法 的 从 业 者 和 研 究 人 员 该 工 具 与 封 闭 源 代 码 软 件EXCALIBUR进行了验证为此目的，最近一项关于墨西哥温室气体排放的研究结果表明，ANDURIL能准确地再现EXCALIBUR的结果讨论了使用透明的开放源码软件应用库克开发的工具箱可以用来调查不同的方式计算的内在范围的聚合意见，可能会导致不同的性能指标所获得的DM。G. 莱昂塔利斯岛Morales-Nápoles/SoftwareX 7（2018）313317图三. 使用ANDRIL获得的耐用性图，涉及（a）校准评分和（b）关于排除种子项目数量的信息评分（种子项目）。此外，当考虑项目权重加权方案时，可以向分析员提供每个专家每个项目的权重此外，它为用户提供了计算DM的综合累积分布的机会，在密度中考虑由每个专家提供的具有非零权重的每个百分位数，而不是仅仅在DM的第5、第50和第95个百分位数之间进行最后，可以研究所获得的DM的鲁棒性，同时一次排除多于一个种子项目/专家。最后，作者想强调的是，开发的工具是迈向库克经典模型开源版本的第一步尽管目前版本的ANDURIL的局限性，它是作者相信，开发的工具箱将是有价值的那些有兴趣在开发和进一步应用的方法。这是作者的野心，扩展ANDRIL与更多的功能，目前可在EXCALIBUR和最近的技术，多变量依赖的启发致谢这项研究是EUROS研究计划的一部分，该计划由NWO领域应用和工程科学支持，部分由荷兰经济事务部资助。我们还感谢COST行动IS1304“专家判断”的支持《信息网络：弥合科学不确定性与基于证据的决策之间的差距》附录A.补充数据与本文相关的补充材料可以在https://doi.org/10.1016/j.softx.2018.07.001上找到。引用[1] 库克RM。不确定性专家：科学中的意见和主观概率《环境伦理学与科学政策》，牛津大学出版社，1991年。[2] O'Hagan A，Buck CE，Daneshkhah A，Eiser JR，Garthwaite PH，JenkinsonDJ， et al. Uncertain judgments ：Eliciting experts' probabilities. 不 确定 的判断：引出专家的概率。John Wiley and Sons，Ltd;2006.[3] DiasLC，Morton A，Quigley J，editors.诱导：构建判断的科学和艺术。NewYork：Springer;2017.[4] CookeRM，Goossens LL.代尔夫特理工大学专家判断数据库。可靠工程系统安全2008;93（5）：657-74。[5] Colson AR，Cooke RM.结构化专家判断经典模型的交叉验证。Reliab Eng SystSaf2017;163：109-20.[6] 杨 文 辉 ， 李 文 辉 ， 李 文 辉 . 种 子 变 量 数 目 对 Cooke经典模型 性 能 的影响。ReliabEng Syst Saf 2014;121：72 - 82.[7] [10]杨晓波，王晓波，王晓波.量化排放预测的不确定性的问责制必要性：来自墨西哥的证据。Climate Policy2018;18（6）：742-51.