协变量软件故障和可靠性评估工具（C-SFRAT）自动应用软件可靠性工程的方法

软件X 17（2022）100909原始软件出版物一个协变量软件工具来指导测试活动分配Jacob Aubertinea，Kenan Chena，Vidhyashree Nagarajub，Lance Fiondellaa，a美国马萨诸塞州达特茅斯市马萨诸塞大学电气与计算机工程系，邮编：02747b塔尔萨大学坦迪计算机科学学院，塔尔萨，OK，74107，美国ar t i cl e i nf o文章历史记录：收到2021年收到修订版2021年10月10日接受2021年保留字：软件可靠性软件可靠性增长模型协变量测试活动分配a b st ra ct本文提出了协变量软件故障和可靠性评估工具（C-SFRAT）自动应用软件可靠性工程的方法，以准确地描述缺陷发现过程中的测试活动。 该工具支持计算和可视化，包括缺陷发现数据的曲线图，拟合此数据的协变量模型，以及通过这些模型可能进行的推断以及模型拟合优度的评估。一个广义的优化过程，被称为测试活动分配问题，已被实施，以指导分配有限的资源，在特定的测试活动，以最大限度地发现缺陷的纠正措施和提高可靠性。应用程序和源代码可以从专用于该项目的GitHub存储库中免费获得。该工具的开源性质将使来自行业和政府的研究人员和从业人员能够在一个共享平台内进行协作。版权所有©2021作者。由爱思唯尔公司出版这是CC BY许可下的开放获取文章（http://creativecommons.org/licenses/by/4.0/）中找到。代码元数据当前代码版本v1.0用于此代码版本的代码/存储库的永久链接https://github.com/ElsevierSoftwareX/SOFTX-D-21-00110法律代码许可证MIT许可证使用git的代码版本控制系统使用Python、GitHub的软件代码语言、工具和服务编译要求、操作环境依赖性https://github.com/LanceFiondella/C-SFRAT/blob/master/requirements.txt如果有开发人员文档/手册https://lfiondella.sites.umassd.edu/research/software-reliability/问题支持电子邮件lfiondella@umassd.edu软件元数据当前软件版本v1.0此版本可执行文件的永久链接https://github.com/LanceFiondella/C-SFRAT法律软件许可证MIT许可证计算平台/操作系统Linux、OS X、Microsoft Windows和类Unix安装要求依赖关系请参阅用户如果可用，请链接到用户手册-如果正式发布，请包括参考文献列表中对出版物的参考https://lfiondella.sites.umassd.edu/research/software-reliability/问题支持电子邮件lfiondella@umassd.edu*通讯作者。电子邮件地址：jaubertine@umassd.edu（Jacob Aubertine）、kchen3@umassd.edu（Kenan Chen）、vidhyashree-nagaraju@utulsa.edu（Vidhyashree Nagaraju）、lfiondella@umassd.edu（Lance Fiondella）。https://doi.org/10.1016/j.softx.2021.1009091. 动机和意义几十年来，软件和可靠性工程界[1]一直使用传统的软件可靠性增长模型2352-7110/©2021作者。 由Elsevier B.V.出版。这是一篇开放获取的文章，使用CC BY许可证（http://creativecommons.org/licenses/by/4.0/）。可在ScienceDirect上获得目录列表SoftwareX期刊主页：www.elsevier.com/locate/softxJacob Aubertine，Kenan Chen，Vidhyashree Nagaraju etal.软件X 17（2022）1009092（SRGM）[2]将测试期间的缺陷发现过程表征为非齐次泊松过程（NHPP）。虽然实现NHPP模型的工具[3]可以量化和预测指标的趋势，如故障强度和平均故障时间作为测试时间或工作量的函数[4]，但这些模型的参数性质不能以具体的方式与底层测试活动联系起来最近，提出了基于度量的软件可靠性增长模型[5，6]，以表征作为多个软件测试活动（如日历时间、执行的测试用例数量和测试执行时间）的函数发现的缺陷。结合这些模型的工具[7]也已经开发出来。然而，它们仅限于作者提出的模型和预测，并在Excel电子表格或R编程语言中实现。需要一个通用的软件工具，以鼓励广泛使用的度量为基础的软件可靠性增长模型，以及一致的高质量的度量数据，应用这些模型所需的收集。早期基于度量的工具是增强的度量早期潜在缺陷风险评估（EMERALD）[8]系统，该系统分析源代码以识别容易出错的模块。ROBUST [9]包括静态建模以表征度量数据，基于时间的NHPP SRGM和基于覆盖的模型用于可靠性估计。软件可靠性估计和预测工具（SREPT）[10]描述了故障数据以及产品度量，以量化软件生命周期不同阶段的可靠性。计算机辅助软件可靠性和估计（CASRE）[11]工具引入了组合模型，减少了组件模型的预测偏差。最近，软件故障和可靠性评估工具（SFRAT）[3]实现了传统的软件可靠性增长模型，并提供了一个开源框架，通过该框架可以添加其他模型。基于比例强度的软件可靠性评估工具（PISRAT）[12]描述了故障数据以及基于11个基于比例强度的软件可靠性模型的测试度量。基于度量的软件可靠性评估工具（M-SRAT）[7]在PISRAT的基础上增加了额外的建模方法，将测试工作描述为基于三个风险率函数的协变量。然而，这些工具并不是明确的开源，也不是为了支持作者最初包含的模型之外的可扩展性而设计的。 为了帮助实现协变量模型的全部潜力，Nagaraju等人。[13]开发了优化程序，称为测试活动分配问题，以指导有限资源在特定测试活动中的分配，以最大限度地发现缺陷，促进其纠正，并提高可靠性。本文介绍了一个开源的协变量软件故障和可靠性评估工具（C-SFRAT），它实现了[13]中开发的模型和努力分配策略该工具的开源特性及其灵活的体系结构将促进软件可靠性研究社区成员与行业和政府组织用户之间的该架构可以将现有的协变量模型合并目前的功能包括：（i）八个基于离散危险率函数的模型，（ii）五个拟合优度的度量，（iii）根据用户的偏好，基于这些拟合优度的度量的模型选择策略， （ iv ） 诸 如 缺陷 预测 和故 障强 度 预测 的推 断 ， 以及(v)最佳测试活动分配，建议如何将有限的资源分配到两个或多个可供选择的测试活动或度量中，以便最大限度地增加发现的缺陷数量，从而在发布之前解决这些缺陷本文的其余部分组织如下：第2节概述了该工具四个主要Fig. 1. C-SFRAT输入数据格式。典型工作流程中的屏幕在第2.2节到第2.5节中描述。第3节介绍了该工具第4节总结了本文，并确定了未来的工作。2. 软件描述本节详细描述了C-SFRAT的数据要求、图形用户界面和工作流程。第2.1节描述了协变量数据，解释了如何格式化包含协变量数据的电子表格以用于C-SFRAT，并概述了工具第2.2节解释了如何将协变量数据导入工具，并使用风险函数和协变量的期望组合执行模型拟合。第2.3节描述了基于一组指定的测试活动的拟合模型和未来失效和失效强度预测的图。第2.4节解释了如何根据拟合模型计算的拟合优度度量以及加权模型选择策略来评估替代模型。第2.5节举例说明了两种测试活动分配的应用：（i）尽管有预算限制，但要发现的缺陷数量最大化;(ii)最小化发现指定数量的额外缺陷所需的预算。希望获得该工具实践经验的读者可能希望在继续之前首先安装C-SFRAT 。 C-SFRAT 已 在 Python 编 程 语 言 中 实 现 ， 并 在Windows、macOS和Linux上运行源代码可通过GitHub存储库https://github.com/LanceFiondella/C-SFRAT以及安装说明访问用于评估工具功能性的示例数据集https://lfiondella.sites.umassd.edu/research/以下示例中使用的数据集是DS1。2.1. 协变量数据协变量数据[6]记录了检测到的缺陷数量以及在一个或多个活动上花费的努力，在离散的非重叠时间间隔内。这些活动也称为协变量，包含各种可靠性或安全性测试技术和工具，包括代码评审、步行测试、执行时间和模糊测试以及与软件质量相关的度量，如代码覆盖率。图1显示了包含三个协变量的协变量数据集的标题和前几行。该工具接受Excel电子表格（.xlsx）或逗号分隔值（.csv）格式。电子表格中的每个工作表都可以指定唯一的数据集，而CSV文件仅限于单个数据集。 图的前两列。1，A和B，分别标记为T（时间间隔）和FC（故障计数），分别表示离散时间间隔和在该时间间隔内检测到的缺陷数量。柱T是可选的。如果省略该选项，该工具将自动生成整数索引的故障间隔。其余列标题E（以小时为单位测量的执行时间）、F（故障识别Jacob Aubertine，Kenan Chen，Vidhyashree Nagaraju etal.软件X 17（2022）1009093图二. C-SFRAT的图形用户界面列（C至E）中的工作（以工时计）和C（以小时计的计算机时间故障识别）是协变量数据的用户定义列名称。第一行中指定的这些协变量名称显示在用户界面中。但是，如果在标题中没有显式指定名称，则程序将自动标记形式为Covn，其中n是失败计数后的列数。每行中的值表示第i个间隔中每个活动的专用时间。例如，在间隔二中，应用0.0619个单位的计算机时间故障识别、20个单位的故障识别工作以及没有执行时间，这导致发现一个缺陷。图2显示了启动时工具的图形用户界面视图。C-SFRAT工作流分为四个选项卡。每个选项卡的布局包括左侧的控件菜单和右侧的结果图和表格区域。每个选项卡的主要功能汇总如下：表1：数据导入和模型选择：允许用户从Excel或CSV格式的文件中导入故障数据，如图所示。1.一、此选项卡还允许用户选择要使用的数据集以及用于模型拟合和评估的风险函数和协变量。表2：模型结果和预测：显示表1中选择的风险函数和协变量组合的模型拟合和失效强度图。用户还可以根据指定的测试活动配置文件预测未来的故障和故障强度。表3：模型比较：比较基于信息论和预测拟合优度度量的拟合模型。用户还可以为各个度量分配权重以支持模型选择。表4：工作分配：推荐测试活动分配[13]，以便在指定的预算或最小化发现指定数量的缺陷所需的总测试资源。以下小节将更详细地介绍每个选项卡。2.2. 表1：数据导入和模型选择要导入数据集，用户必须选择文件菜单下的打开选项，然后选择Excel或CSV文件。图3显示了数据成功导入后的选项卡1。图1左侧的控制菜单。 3显示名称图三. 表1：累积失效图。数据表、可用危险函数和协变量的可能如果数据源是Excel电子表格，则用户可以从“选择工作表”下的下拉列表中选择特定的数据集。“子集失效数据”下的滑块允许用户选择用于模型拟合的数据区间数。排除区间的子集适合于测试模型的预测准确性，而具有所有区间的拟合模型适合于应用测试活动分配优化问题，因为这利用了迄今为止观察到的所有数据。图右侧上方的图和表选项。3以视觉或数字方式显示选定的数据集默认图显示在连续间隔内检测到的累积缺陷。可以从菜单栏上的视图下拉菜单修改绘图设置选项包括使用点、线或点和线显示数据，累积失效和失效强度图。绘图下方的工具栏使图像能够以多种标准文件格式保存，以便包含在报表和出版物中。调整滑块会自动将图和表格更新为仅选定的子集。要应用模型，用户必须从选择危险函数下的列表中选择至少一个危险函数，并在选择协变量下选择至少一个协变量组合。为了便于说明，下面的运行示例使用三个风险函数，包括二阶离散威布尔（DW2）、几何（GM）和二阶负二项（NB 2）。协变量数据集的所有可能组合均列在“选择协变量”选项下，包括“无”，这对应于具有参考文献[13]中定义的似然函数的离散非齐次泊松过程模型的特殊情况。在存在多个协变量的情况下，“Select All”（全部选择）可选择所有2n种可能的协变量组合。应用具有不同风险函数和协变量子集的模型的目的是识别实现最准确预测和拟合优度的组合。因此，建议应用所有组合，并从进一步考虑中排除那些表现出较低拟合优度的组合。还应注意的是，随着收集更多数据，模型的相对性能可能会发生变化。选择至少一个风险函数和协变量子集后，通过点击“选择协变量”框下的“运行估计”按钮，将组合应用于当前数据集。在这些计算过程中，一个单独的窗口列出当前正在拟合的模型，进度条指示到目前为止拟合的模型的比例。····Jacob Aubertine，Kenan Chen，Vidhyashree Nagaraju etal.软件X 17（2022）1009094= −=JJ图四、 表2：叠 加 拟 合 模 型 的累积失效图 。2.3. 表2：模型结果和预测选项卡2用于显示拟合模型的图，并使用这些模型预测未来故障的数量或故障强度。图4显示了表2，其中两个模型叠加在DS1数据集的累积图上。在标签1中选择的所有模型和协变量组合都列在标记为“选择模型结果”的框中。为了说明起见，选择了无协变量DW2（无）的离散Weibull模型和具有所有三个协变量GM（E，F，C）的几何模型，因此显示在图上。拟合模型列表下方是使用选定组合指定预测参数的控件。当累积故障图显示时，如图所示。 4、用户必须图五. 表2：每个间隔中检测到的失效和叠加拟合模型的失效强度图。选项卡3允许用户比较常见统计拟合优度测量[14]的替代模型，包括基于对数似然值的模型，如Akaike信息标准（AIC）和贝叶斯信 息 标 准 （ BIC ） 以 及 平 方 和 （ SSE ） 和 预 测 平 方 误 差 和（PSSE）。除了提供多个拟合优度度量外，C-SFRAT还提供了一种基于评论家方法[13]的简单方法，以基于一个或多个度量的加权组合来选择模型。给定n个模型和m个测度，设fi，j是第i个模型的第j个测度。根据以下公式，为每个度量分配一个区间（0，1）中的归一化分数：指定要预测的间隔数和每个间隔的工作量。例如，图4示出了针对数字的模型预测。如果1.0、2.0和3.0，xi，j1fi，j−fj+f−−f+（一个）分别将努力单位应用于协变量E、F和C在间隔17处的垂直线之外的四个间隔中的每一个每个间隔的工作量可以解释为测试时间表，但也可以用于预测现场缺陷或脆弱性分布，在这种情况下，协变量对应于在其操作环境中针对系统的各种类型攻击的强度通过从视图菜单切换图，图。图5显示了在每个间隔中检测到的缺陷数量以及所选拟合模型的失效强度。图5清楚地说明了协变量模型如何更准确地跟踪在每个间隔中检测到的缺陷数量，因为驱动缺陷发现的测试活动被明确地考虑了。除了跟踪观察到的数据，图。 5可以预测额外间隔的数量，以实现故障强度目标。对于每个选定的组合，预测显示所有点，直到达到低于期望失效强度的值的区间，如图所示。五、例如，为了达到0.3的失效强度，无协变量的离散威布尔模型预测将需要四个额外的间隔，而具有E、F和C协变量的几何模型预测将需要一个额外的间隔。表格中还报告了所需的间隔次数2.4. 表3：模型比较在统计学中，没有一个模型能最好地表征所有数据集，也没有一个拟合优度度量是模型选择的理想度量因此，我们认为，其中fj+和fj−分别表示所有模型中测量j的最佳和最差值。因此，xi，j表示模 型i 的 第 j个 度量与理想的接近程度，其中xi，j1 。0，如果模型i在度量j上表现最好。两种替代方法选择一个模型是计算每个模型的平均值或中位数，模型由于它是罕见的，一个模型表现最好的所有措施，没有一个单一的措施是一个完整的指标模型的适用性，一个简单的离散加权平均技术，使用户能够指定他们的喜好，每个度量值可以被分配一个0- 10范围内的权重，其中0表示没有权重，10表示最高权重。图的左窗格。6表示每个度量的默认权重为1（统一），对应于相等的权重。默认情况下，PSSE值是通过对90%的数据执行模型拟合来计算的。可以在标记为Specify subset data for PSSE的微调框中更改数据百分比。然后，用户必须按下标记为Run的按钮以在新子集上执行模型拟合。将权重设置为零可以消除一个度量，而将除一个以外的所有权重设置为零是仅考虑单个度量的特殊情况。右窗格报告成功应用的每个风险函数和协变量组合、获得的图的右两列。分别根据平均值和中间值，基于这些权重的6个用户可以对Jacob Aubertine，Kenan Chen，Vidhyashree Nagaraju etal.软件X 17（2022）1009095见图6。 表3：模型选择。见图7。 表4：工作分配1。按降序排列列。这使得能够在Tab 2上选择用于统计推断的模型，并在Tab 4上选择用于工作分配的模型。2.5. 表4：工作分配表4根据表2中应用的模型两个努力分配问题[13]允许用户（i）在预算约束内最大化缺陷发现，或（ii）最小化发现指定数量缺陷所需的预算这两个问题在工具中称为分配1和分配2在计算推荐的测试活动分配之前，用户指定分配1的预算或分配2要暴露的缺陷数量。这里，预算可以解释为时间，但也可以解释为成本，在这种情况下，替代测试活动产生不同的成本每单位时间。例如，一项活动可能需要具有高度专门知识的外部顾问，而其他活动则依赖项目小组成员图7显示了选项卡4和分配1。左上方窗格中显示了成功拟合数据的危险函数和测试活动的组合。用户可以选择一个或多个模型作为测试活动建议的基础。在实践中，应该使用最适合数据的模型来执行工作量分配。例如，可以根据表3中考虑的拟合优度度量来选择模型。见图8。 表4：工作分配2.在模型列表下方，用户可以定义分配1和分配2的参数。Allo-cation 1的预算约束在标记为Enterbudget的数字显示框中指定.一旦选择了所需的参数和模型，用户可以单击运行分配1按钮，然后分配已填充1个表。Allocation 2控件位于Allocation 1控件的下方，在标有Enter number of additional defects的数字框中，用户可以在其中定义要发现的缺陷数量。单击“运行分配2”按钮可解决第二个分配问题，并在“分配2”表中显示结果。根据图6中的critic方法选择五个最佳拟合模型进行比较。图7的右窗格显示了使用预算为60的五个模型的分配1的结果。列Est。缺陷列指示如果指定的预算根据右侧列中的百分比分配。例如，表的第三行表明，如果48.96%的预算分配给E，11.72%的预算分配给F，39.32%的预算分配给C，则具有协变量E、F和C的负二项预测1.80个额外缺陷。C. 请注意，预测值是十进制值，因为模型的平均值函数提供了对发现缺陷的离散过程的连续当指定一个附加缺陷时，分配2的结果如图所示。8 .第八条。这里，具有协变量E、F和C的负二项分布预测发现两个额外缺陷的最小预算为193.28，其中49.15%的预算分配给E，11.45%的预算分配给C。分配给F的预算，占分配预算的39.40%梭具有单个活动的模型将100%的测试分配给该活动，但也包含在表中，因为右窗格还报告了估计缺陷的模型预测或预算。分配可以帮助决策，但必须考虑人的判断。因此，一种实用的方法是迭代地分配、收集数据并重复，直到实现期望的目标。3. 影响过去的研究过分强调非齐次泊松过程模型，不考虑潜在的测试活动驱动发现的缺陷或漏洞，以及简化的优化问题，只考虑分配的时间或工作量和最佳发布问题，不完全考虑现代软件开发实践的细节。Jacob Aubertine，Kenan Chen，Vidhyashree Nagaraju etal.软件X 17（2022）1009096C-SFRAT （ CovariateSoftwareFailureandReliabilityAssessment Tool）与SFRAT（Software Failure and ReliabilityAssessment Tool）一样，促进了软件可靠性研究者与实践者之间的交流。具体而言，该工具的开源性质促进了包含额外的风险函数和拟合优度度量，以及使用额外的测试分配问题扩展该工具的机会。因此，为该工具做出贡献的研究人员可以将其结果提供给目标受众。同样，从业者可以交流实际的软件工程挑战，使新的建模研究为他们的利益，包括如何有效地应用模型在整个测试过程中。开源方法还将鼓励模型比较、研究的可重复性和数据共享。C-SFRAT将对关注用纳税人的钱生产的软件质量的政府组织、执行独立分析的组织和私营公司感兴趣。该工具自动化应用协变量模型的最困难的方面，包括目标函数的符号微分和优化过程，以确定最能表征输入数据的数值参数。这种封装允许用户专注于模型预测和实际分配决策。因此，C-SFRAT显著降低了应用协变量模型来定量评估软件所需的学习曲线，促进了准确软件度量和测试活动跟踪的收集，以便进行定量过程评估和改进工作。我们不要求个人在下载前注册，因此无法准确说明其使用的全部范围。然而，我们欢迎建设性的反馈，以更好地服务于研究和用户社区。4. 结论和今后的工作本文介绍了协变量软件故障和可靠性评估工具，一个开源的工具，自动应用协变量模型的软件测试活动数据。模型拟合可以用八个离散的风险率函数来执行，并且使用五个拟合优度度量来定量地比较模型拟合度。拟合模型用于预测未来的缺陷，并确定未来的测试资源的最佳分配。C-SFRAT的开源架构旨在鼓励软件可靠性研究人员和实践者之间的合作该工具已在多达10项活动的数据集上成功测试。在某些情况下，一个或两个活动足以显著改善预测。未来的研究将（i）制定额外的实际测试活动分配问题，(ii) 实现稳定和有效的算法，以适应模型docu- menting许多活动，和（iii）开发一个顺序的程序，以确定足够数量的活动进行预测。竞合利益作者声明，他们没有已知的竞争性财务利益或个人关系，可能会影响本文报告的工作确认本材 料基于美 国国家 科学基 金会资助 的工作 ，资 助号为#1749635。本材料中表达的任何观点、发现、结论或建议均为作者的观点，不一定反映国家科学基金会的观点。引用[1]吕M，编辑。软件可靠性工程手册。New York，NY：McGraw-Hill;1996.[2]作者：Farr W.软件可靠性函数的统计建模和估计（SMERFS）用户指南。Tech.海军水面作战中心TR-84-373，第2版，弗吉尼亚州达尔格伦：海军水面作战中心; 1984年。[3]杨 文 龙 ， 李 文 龙 . 实 用 软 件 可 靠 性 工 程 与 软 件 故 障 和 可 靠 性 评 估 工 具（ SFRAT ） 。 SoftwareX 2019;10 ： 100357. http://dx.doi.org/10 的 网 站 。1016/j.softx.2019.100357的网站。[4]山田S，大寺H，成久H.考虑测试工作量的软件可靠性增长模型。IEEE TransReliab1986;35（1）：19-23.[5]Rinjiang K，Shibata K，Dohi T.基于时间依赖度量的比例强度软件可靠性建模 。 In ： IEEE International Conference on Computer Software andApplications，vol.1，2006.p. 369比76[6]Shibata K，Rinjiang K，Dohi T.基于度量的软件可靠性模型使用非齐次泊松过程。IEEE International Symposium on Software Reliability Engineering，2006。p. 52比61[7]Shibata K，Rinjiang K，Dohi T. M-SRAT：基于度量的软件可靠性评估工具。Int J Perform Eng 2015;11（4）.[8]Hudepohl J，Aud S，Khoshgoftaar T，Allen E，Mayrand J. Emerald：桌面上的软件度量和模型。IEEE Softw1996;13（5）：56-60.[9]作者：Li N，Malaiya Y. ROBUST：下一代软件可靠性工程工具。1995年，软件可靠性工程国际研讨会。 p. 375比80[10]Ramani S，Gokhale S，Trivedi K. SREPT：软件可靠性评估和预测工具。执行 评 价 2000;39 （ 1 ） ： 37-60 。 http://dx.doi.org/10.1016/S0166-5316 （ 99 ）00057-7.[11]Lyu M，Nikora A. CASRE：一个计算机辅助软件可靠性评估工具。IEEEInternational Workshop on Computer Aided Software Engineering ， 1992年。264比75[12]Shibata K，Rinjiang K，Dohi T.PISRAT：基于比例强度的软件可靠性评估工具。2007年：环太平洋可靠计算国际研讨会。www.example.comhttps://doi.org/10.1109/PRDC.2007。十八岁[13]放大图片作者：Jayasinghe C，Fiondella L. 协变量软件可靠性和安全性模型的最优测试活动分配。J Syst Softw2020;110643.[14][10]张晓刚，张晓刚，张晓刚. 应用回归分析和其他多变量方法。应用系列，第四。Belmont，CA：DuxburyPress;2008.