软件质量评估：基于过程模型的使用质量特性验证

沙特国王大学学报软件质量：使用质量评估过程模型的应用Leonice Souza-Pereiraa，b，Nuno Pomboa，b，Sofia OuhbicaUniversidade da Beira Interior，Covilhã，葡萄牙b葡萄牙，里斯本，Instituto de Instituto de Musicomunicaçéesb阿联酋大学计算机科学与软件工程系阿提奇莱因福奥文章历史记录：接收日期：2022年2022年3月9日修订2022年3月31日接受2022年4月21日在线提供保留字：评价模式使用中的质量软件质量评估ISO-IEC 25022临床决策支持系统（CDSS）A B S T R A C T使用质量特性可以用来评估软件的质量，甚至指出软件生产中的问题，因为它们反映了运行系统中度量这些特性是验证软件满足相关方的需求和期望的一种方法本研究提出了一个过程模型的验证，用于评价系统的使用质量特性。该模型与系统的重要特征的识别和测量一起工作，以确定软件的质量，从而识别可能抑制其使用的潜在问题。我们将我们的过程模型应用于肿瘤学领域的临床决策支持系统中，使用问卷收集测量数据。调查问卷主要是为了确定用户对软件使用的满意度，而答案使我们能够衡量系统的使用质量特征。我们的实验表明，我们的评估过程模型的充分性和评估的CDSS达到了71.35分，这是有利的，根据我们的标准的措施，并满足用户的期望。©2022作者（S）。由爱思唯尔公司出版代表沙特国王大学这是一个开放的访问CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍软件的外部质量属性（如可维护性和可用性）受到主观因素的影响，如用户体验（UX）（Sommerville，2016），知识和数字素养。此外，可用性可以通过“系统、产品或服务在特定使用环境中可被特定用户用于实现特定目标的有效性、效率和满意度”的程度或水平来定义实际上，软件系统满足特定需求以及用户需求和期望的程度是指软件产品的质量（Miguel等人， 2014年）。考虑到这些原则，为了有效地评估和保证软件质量，有必要在软件开 发 周 期 和 随 后 的 维 护 活 动 中 遵 循 可 以 描 述 和 跟 踪 质 量 的 模型（Arnicane等人， 2020年）。*通讯作者。电 子 邮 件 地 址 ： leonice. ubi.pt （ L. Souza-Pereira ） ， ngpombo@di.ubi.pt（N.Pombo），sofia. uaeu.ac.ae（S. Ouhbi）。因此，出现了国际软件质量标准，通过概念、过程和度量来指导质量 的 实 现 和 度 量 。 最 新 的 ISO/IEC 25000 系 列 - 软 件 质 量 和 评 估（SCREMRE）标准（ISO/IEC，2019）包括可用于帮助软件开发人员评估其产品质量的模型和框架。其 中 一 个 模 型 是 使 用 质 量 （ QiU ） 模 型 ， 由 多 个 特 征 组 成（ISO/IEC ，2011 ），另一个模型提供了测量QiU的方法和指标（ISO/IEC，2016）。根据Djordjevic（Djordjevic，2017），产品质量属性是原因，QiU属性是结果。因此，度量和评价QiU特性是一种确认软件外部质量（行为度量）的方法，可以验证软件内部质量（中间产品静态度量）。测量QiU特征可以识别必须改进以提高其质量的系统功能（Pinciroli，2016）。由于 可用 性被 认为 是用 户体 验的 基石 （ Evans 等人 ， 2020;Hassan和Galal-Ehran，2017; Ahran和Bong，2015）则非常类似于测量它们中的任何一个。事实上https://doi.org/10.1016/j.jksuci.2022.03.0311319-1578/©2022作者。由爱思唯尔公司出版代表沙特国王大学这是一个在CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表沙特国王大学学报杂志首页：www.sciencedirect.comL. Souza-Pereira，N. Pombo和S.乌赫比沙特国王大学学报4627UX部分地反映了系统的QIU，因为它是使用软件时用户接受度和满意度的主要参数。此外，当软件由非数字用户或背景或经验与计算机科学保护伞不同的用户操作时，QiU具有极强的相关性。相应地，决策依赖于软件的场景，如医疗保健或工业，高度依赖于系统的QiU。在医疗保健方面，从业者使用计算机系统在意识和更好地理解他们的状况方面支持他们的临床决策（Souza-Pereira等人， 2020年）。然而，这些系统，A.K.A.临床决策支持系统（CDSS）的采用面临挑战，原因有很多，例如：（1）最终用户对系统的感知，（2）系 统 有 用 性 ， 以 及 （ 3 ） 系 统 输 出 的 可 靠 性 （ Alshare 等 人 ，2019;Khalifa，2014; Zikos，2017）。因此，测量CDSS的质量特征可以使我们确定不接受CDSS的原因，因为发现的值可以指出系统中的缺陷和弱点测量还允许识别不符合用户需求的情况，这会损害UX，甚至可以指出系统开发中的问题在本文中，我们的目标是验证在我们以前的工作中开发的CDSS使用质量评估的过程模型（Souza-Pereira等人，2021 b），纳入CDSS的背景下，目前的结果和经验教训。我们提出的过程模型，基于目标-问题-度量（GQM）方法，并遵循国际标准ISO/ IEC 25010和ISO/ IEC 25022，旨在通过测量QiU特性来识别CDSS中的缺陷，从而有助于提高医学界对软件的接受度。本文件的结构如下。在第2节中，我们提出了背景信息和定义，需要了解我们提出的评估过程模型及其验证。第3节介绍了验证所提出模型的准备工作，包括选择待评估的CDSS和应用模型的步骤。第4节介绍了所提出的过程模型的应用。第5节讨论了测量结果。结论、研究的局限性和未来的工作在第6节中介绍。2. 背景2.1. 软件质量模型ISO/IEC 25000，或简称SCREMRE（ISO/IEC，2019），是一系列标准，旨在创建评估软件产品质量的框架。苏克雷分为五个区。我们在以前的研究中解决了其中的两个问题（Souza-Pereira等人，2021a，2021 b）：（1）质量模型部门- ISO/IEC 2501 n，和（2）质量测量部门- ISO/IEC 2502 n。ISO/IEC 25010-系统和软件质量模型（ISO/IEC ，2011 ）是ISO/IEC 2501 n的一部分，以及数据质量模型- ISO/IEC 25012。它包括两个主要分部：1. 软件产品质量模型包括八个特征，涉及静态属性（即，内部质量属性），和动态特性（即，外部质量属性）。2. 使用质量模型，包括五个特征，并考虑用户在上下文中与软件的交互。ISO/IEC 25022 -使用质量测量（ISO/IEC，2016）是QiU特色的一款软件产品。它包括一系列与QiU特征（效率、有效性、满意度、无风险和环境覆盖）相关的测量，包括用于测量的方法和数学函数，以及这些测量的标准化和解释说明。它也为评价软件系统的QIU提供了一个准则2.2. GQM方法GQM方法由Basili和Weiss（Basili and Weiss，1984）提出，包括四个阶段：（1）计划阶段，选择并定义要度量的项目(2) 定义阶段，记录测量目标、相应的问题、采用的度量和假设;(3) 数据收集阶段，以及（4）解释阶段，其中通过应用预定义的度量将所收集的数据转换为测量结果。几项研究采用了GQM方法（Bukhari等人，2018; Sacha，2006;Tsuda 等 人 ， 2019; Alves 等 人 ， 2016; van Solingen 和 Berghout ，1998），调整它以匹配他们的建议，简化它，或使用它来开发自己的方法。我们采用GQM来选择评估QiU特征的措施。3. 方法本节介绍了应用我们提出的QiU评估过程模型所考虑的步骤，从CDSS的选择到特征的测量。3.1. CDSS最初的想法是在医院中应用我们提出的过程模型，直接与卫生专业人员合作，他们已经在使用CDSS。不幸的是，由于新型冠状病毒疫情影响并改变了所有可以被视为正常的情况，特别是在医疗-临床环境中，因此，解决办法是以一种非限制性的方式在免费的CDSS中进行评估我们使用Google Store来选择最符合我们预期的CDSS，以确定潜在的使用场景，并选择QiU特征进行测量，在我们的案例研究中，QiU特征仅限于满意度和效率QiU。3.2. 收集过程收集过程于2021年6月2日至5日进行，在此日期之后没有新提交的应用程序被考虑。我们发现了248个应用程序，这些应用程序被仔细研究并分类，以确定软件CDSS在其主要提案中被分类为：1. CDSS;2. 教育软件（服务协议、视频、词汇表、流程图、科技内容、用例）、指南、解释器、聊天、电子书软件、指南、临床定义解释器;3. 临床计算器（仅具有此类功能的计算器），4. 医疗健康记录（MHR），个人健康记录（PHR），锻炼应用程序，自我护理应用程序;5. 议程或临床背景之外的其他问题。图1显示了本研究中使用的CDSS的选择过程。L. Souza-Pereira，N. Pombo和S.乌赫比沙特国王大学学报4628图1.一、找到的应用程序和过滤过程.在此分类后，确定了24个CDSS，并提交了三个过滤标准。第一次筛选：我们考虑了在2018年至2021年6月期间进行更新的CDSS这将我们的CDSS选择减少到18个系统。第二次筛选：这些CDSS的下载应符合基于出版年份的数量标准：1. 在2018年出版时，下载次数应等于或大于5，000（0 CDSS）。2. 在2019年出版时，下载次数应等于或大于1000（0 CDSS）。3. 在2020年出版时，下载次数应等于或大于500（1个CDSS）。4. 在2021年出版时，下载次数应等于或大于100（5个CDSS）。第二次筛选后，从第一次筛选的18个CDSS中选出06个。第三次过滤：我们在表1中列出了在执行和测试以进行特征分析和收集之后，由上一步骤中确定的6个CDSS回答的问题。我们根据肯定答案的数量将它们分类。这一步骤与CDSS的具体功能无关具有最积极回答的CDSS是Oncoassist1，这是肿瘤学领域的CDSS，对所选择的9个问题回答8CDSS的分类见表2。选择CDSS进行评估后，我们继续应用我们提出的测量过程模型。3.3. QiU评价的过程模型本研究的目的是提出我们的过程模型的有效性评估CDSS的QiU特性。这个模型，在图中显示。 2，包括五个主要阶段：1. 场景和用途：这一阶段识别系统的使用背景，在我们的案例研究中，是CDSS。指出了系统主要功能实现的场景;第1页oncoassist.com表1过滤问题。ID.阳性问题答案1应用程序是否提供有关3应用程序中的更新的信息？2我们能否提出修改、改进或增加2、APP本身的特点？3我们可以发送电子邮件给支持/开发团队吗？54该应用程序是否提供医生的官方支持？65它是否提供使用条款或隐私政策，或5免责声明6该应用程序是否针对特定疾病或区域？47是否可以保存或发送结果？18它是否提出了一份最后报告，其中建议/5决定？9它是否提供了支持结果的理论基础？6适用于06 CDSS的问题和肯定答案的数量。表2第三次过滤后的CDSS分类ID.CDSS肯定回答1Oncoassist 82神经心理学73Therapy74CFS 55MDCalc 56计算5CDSS按阳性反应数量分类2. 测量、方法和度量的选择：在这个阶段，选择要评估的QiU的特征和子特征，以及选择要测量的质量测量。如果这些措施普遍适用并用于广泛的情况，则将其归类为一般性措施;如果这些措施用于满足具体需要，则将其归类为专门性措施;3. 使用质量测量：在这一阶段，通过用户测试和评价人员选定的设想方案的数据收集，应用与选定的质量衡量标准相关的数学函数;L. Souza-Pereira，N. Pombo和S.乌赫比沙特国王大学学报4629图二. QiU评估的过程模型4. 测量分析：测量特性后分析结果。在这一步中，我们有了GQM方法问题（Q）的答案以及数学函数测量结果5. 结果展示：在此阶段，展示通过解释测量值获得的结果。建议通过测量报告进行介绍，其中介绍了CDSS的优点和缺点以及图形图像，以便更好和更容易地可视化。这些阶段在我们的研究中描述（Souza-Pereira等人，2021b），提出了QiU的特征和评价QiU的方法。4. 拟议的模式应用下面的小节介绍了这个应用程序，包括我们模型的前四个阶段。第五阶段在第5节中描述。4.1. 识别CDSS我们已经确定了CDSS Oncoassist的21项功能和18项结局。表3显示了功能-结果关系。候选场景的数量与CDSS的功能和它们产生的结果以及在质量评估期间运行系统的用户数量有关（Souza-Pereira等人，2021年b）。我们不知道有多少参与者会参与到这个模型的验证过程所以我不可能提前知道我们会有多少场景，因为它与用户数量有关。此外，考虑到测量质量的情况，解决所有QIU和所有场景是不切实际的因此，我们将自己限制在满意度和效率QiU中，作为我们应用该模型的最初想法。我们还限制了CDSS的一般使用和表3中确定的两个特定功能，以组成我们的场景。这些功能包括创建访问凭证（FO 1）和使用功能-辅助工具乳腺癌（FO 14）。4.2. 措施、方法和手段一旦我们确定了场景并预定义了满意度和效率QiUs特征，下一步就是选择度量、指标和方法来实现这些特征的度量。我们提出的模型采用GQM方法来创建一个与CDSS功能相关的请求/响应列表，以进行评估，并在一般情况下CDSS该列表见表4。基于此GQM列表，我们制定了一个在线问卷调查的方法来获得信息的CDSS的QIU的评估。ISO/IEC 25022（ISO/IEC，2016）建议将调查或问卷作为实现测量的方法，并在几项研究中应用（Kitchenham和Pfleeger，2008;Lund，2001; Lewis，1995;Ives等人，1983;Pavlic.etal.，2018;Bauk等人 ， 2014; Nakai 等 人 ， 2016 年 ; Jung 等 人 ， 2004; Lew 等 人 ，2012;Chen和Lee，2009）。对于我们问卷的创设，我们在这些研究的基础上也以企业为例进行了重点阐述L. Souza-Pereira，N. Pombo和S.乌赫比沙特国王大学学报表46304630功能-结局ID功能结果FO1账户 首 页 »用户帐户FO2账户设置注销退出系统FO3账户设置更改国家用户劳动力国家详细信息FO4帐户设置编辑配置文件用户数据已更改FO5关于我们设置关于Oncoassist显示关于作者和应用程序的信息FO6关于我们设置条款和条件最终用户许可协议FO7关于我们设置隐私政策收集的个人数据和隐私政策显示FO8关于建议应用程序改进或报告事件FO9关于我们设置 告诉朋友App的链接都发了FO 10 Favourite Favourite一个页面/功能FO11搜索搜索执行FO12辅助工具结肠癌估计生存率FO13辅助工具 估 计存活率FO14辅助工具估 计存活率FO15辅助工具肺癌的估计生存率FO16公式公式结果FO17预后评分计算的预后评分FO18毒性分级（CTCAE）毒性结果FO 19 AJCC/TNM分期AJCCFO 20药物相互作用-抗癌药物相互作用FO21Advance Breast Cancer tools不同临床试验（BOLERO、PALOMA、Manarch、SOLAR、MONALEESA）中的治疗线OncoassistCDSS的功能及其结局。用户体验和研究专业知识（尼尔森，1994年;尼尔森，2020年）。向参与者分发了一份指南，解释了要评估的目标情景，指导他们完整地使用该系统，以便获得关于该系统整体可用性的反馈。所以我们可以从你使用应用程序时的回答中减去你的满意度。根据我们研究中使用的国际标准ISO/IEC 25022，每个测量值都与一个函数和一种用于获得该测量值的方法有关（ISO/IEC，2016）。表5给出了我们测量中使用的测量值和数学函数4.3. QiU测量与分析问卷调查时间为10月16日至11月2日。我们将它分发给卫生专业人员，医学，生物医学，生物医学工程和软件质量领域的计算机工程的学生。只有未在Oncoassist平台上注册的用户参与了质量测量过程，因为其中一个问题涉及访问凭证创建。我们获得了18份完整的问卷，根据评估的每个特征和子特征，几项研究被用作结果分析和总结的支持，其中可以观察到特征权重的使用（IBM-Corporation，2014; Sulla-Torres等人，2020）、分数（IBM公司，2014; Chen和Lee，2009）、系统可用性量表（SUS）（Bangor等人，2008;MeasuringU，2021）以及统计方法（Jung等人，2004年）。我们根据这些研究来阐述我们的比较值范围，考虑可接受的质量水平（黄金标准），以决定CDSS是否适合预期用途。我们将值的范围转换为0-100的范围(1) 90.0以上为优，（2）80.0 ~ 90.0为良，（3）65.0 ~ 80.0为良，（4）60 ~ 65在51到60岁之间，我们认为是不好的;在51岁以下，我们认为是糟糕的。我们使用数学函数结果的平均值（简单或加权）或简单和来的ISO/IEC 25022标准，并将每个测量的结果与被认为是标准的分数进行比较。最后，我们能够指定每个问题的值，并获得每个QiU特征和子特征的整体值，随后在CDSS的上下文中将其分类为满意或不满意。5. 介绍结果分别给出了实测值的测量和分析：（1）考虑具体功能，(1) 一般来说，CDSS在这两种情况下，考虑了（a）每个子特征测量，（b）每个特征测量和（c）总体测量。在这个划分中，效率和满意度QIU也被单独考虑。对于满意度特征评估，在特定功能部分测量了3个子特征，在一般部分测量了4个子特征，如表4所示。最后给出了CDSS的最终分类。选择评价OncoassistCDSS的两项功能：辅助工具乳腺癌和创建访问凭证。5.2. 辅助工具功能结果辅助工具功能乳腺癌被参与者评为良好功能，77%的人对其在辅助决策方面的有用性给予积极评价，78%的人认为视觉辅助工具对于很好地理解所呈现的结果很重要，83%的人认为该功能易于使用。这些是从信任（前两个）和（UX）愉悦（最后一个）子特征中测量的。大多数参与者花了不到6分钟以执行功能并理解所呈现的结果。 图 3显示了在此任务中花费的时间。在此功能的上下文中，我们在图4中通过其子特性测量呈现了效率和满意度特性的测量。两名参与者（11%）抱怨与布局相关的功能（按钮排列不好，字段大小，不固定的菜单栏），以及不使用键盘填写数据。因此，我们可以推断，用户接受并评价了评估的功能，平均测量值为70.42%。L. Souza-Pereira，N. Pombo和S.乌赫比沙特国王大学学报4631BBBB表4GQM列表章节问题特征子特征您如何对您的肿瘤学知识进行分类N/A个人您使用什么平台访问软件？ N/A从数据输入到理解结果，你花了多长时间来运行这个功能效率在您看来，您如何将此功能的有用性分类以帮助决策？满意-信任结果中的视觉信息、图形和图表对我的理解很重要。满意-信任乳腺癌的治疗图标的呈现对于理解结果很重要满意-信任该功能易于使用。满意度-（UX）-愉悦数据输入变得容易。满意度-满意度每个要填写的字段旁边的帮助选项对于使用该功能非常有用满意度-满意度结果演示文稿是解释性的满意度-满意度您相信您会经常使用此功能来帮助我进行决策。满意度-满意度您对乳腺癌辅助工具的功能有任何投诉或建议吗？满意度-满意度您创建帐户花了多长时间效率您如何将您在创建帐户时的体验分类为满意度-（UX）-愉悦您如何评价您使用该软件的体验满意度-（UX）-愉悦该软件是一个有用的应用程序，使支持医疗决策（率）满意度-信任该软件似乎值得信赖，你满意度-信任软件的布局做得很好满意度-满意度报告的结果是明确和客观的。满意度--满意度参考文献和支持结果的额外解释是重要和有用的。该软件具有重要的功能。满意度-满意度这个软件很容易记住。满意度-（UX）-高兴您可以轻松使用软件。满意度-（UX）-愉悦一般这个软件很容易使用。满意度-（UX）-愉悦您对使用此软件的总体满意度很高。一般你相信你会经常使用这个软件来帮助你决策。您对软件有什么不满或建议吗满意度-满意度GQM列表的问题和待测量的QiU。表5测量和数学函数。高兴满意度特征GSU2-GX¼PAiAi=对与特定功能相关的问题的答复SU4-GSU6-GSU3-GSUs5-GX¼AX¼AX¼AX¼AA=使用特定功能的用户数量;B=系统的已识别用户集中的用户数量A=特定功能的用户投诉数量;B=功能A=使用特定功能的用户数量;B=可能使用特定功能A=投诉用户数;B=使用系统总体满意度SUs1-GX¼PAiAi=回答问题用于测量CDSS QiU特性的函数（根据ISO/IEC，2016）。5.3. CDSS一般测量结果虽然它被认为是一个需要测量的特定功能，但访问凭证创建的结果因此，关于创建访问凭证功能，一些用户在此任务中花费了超过3分钟，这降低了任务执行的效率。创建帐户以访问系统所花费的时间在图5中以51.2%的分数呈现。考虑到整个系统，效率和满意度特征指标如图6所示，所有满意度子特征得分均高于65%。查拉克Subcharac。 测量ID功能描述效率满意度N/A信任（UX）任务时间用户信任用户愉悦Ey 1-GSTr 1-GSP11-X¼TX¼AX ¼AT=成功完成任务A=来自信任问卷的A=来自快乐问卷的L. Souza-Pereira，N. Pombo和S.乌赫比沙特国王大学学报4632图三.任务时间测量。见图4。功能性辅助工具乳腺癌的效率和满意度特征的措施。图五.创建凭据的任务时间没有参与者排除使用CDSS，大多数（61.11%）声称他们可以使用它。通过自由裁量使用测量，该结果在图7中呈现。的图六、CDSS的效率和满意度特征的测量见图7。 CDDS使用。考虑到功能满意度和效率，CDSS一般测量的平均值为72.28%。5.4. 最终结果测量CDSS的QiU特性，考虑到两个特定特性被评估的场景以及系统作为一个整体，我们发现71.35%的显著值，根据我们的价值尺度，CDSS被归类为GOOD发现的值如图所示。8 .第八条。6. 结论、局限性和今后的工作在本文中，我们验证了一个过程模型的质量评估使用CDSS，遵循ISO/IEC 25022和ISO/IEC 25010标准。所提出的过程模型采用了L. Souza-Pereira，N. Pombo和S.乌赫比沙特国王大学学报4633见图8。 Oncoassist CDSS的分类。采用GQM方法来确定用于评估QiU特性的度量和指标，在我们的案例研究中，QiU特性是效率和满意度特性。我们搜索免费使用的CDSS来应用我们的流程模型，首先，我们找到了248个应用程序。这些应用程序经过了三个明智的选择过滤器，最后，我们选择了CDSS：Oncoassist。我 们 通 过 从 GQM 列 表 创 建 的 在 线 问 卷 将 此 过 程 模 型 应 用 于Oncoassist CDSS，并分发给医疗保健专业人员、软件质量工程师以及医学、生物医学和生物医学工程领域的学生。Oncoassist系统的QiU特征测量值在我们的黄金标准评分范围内达到71.35%，表明CDSS是一种具有优势的系统，符合用户的期望。我们的结论是，我们提出的过程模型是有用的选择和评估QiU特性，有助于软件质量专业人员在搜索确认的质量，一个系统，满足用户的需求和期望。作为我们工作的一个局限性，我们可以提到这样一个事实，即评价不是在医院环境中进行的，也不是医疗团队每天使用CDSS的结果。这些限制因素限制了我们采用在线调查中所采用的其他效率指标。除此之外，我们还没有经历过卫生专业人员的工作程序与CDSS，这可能会影响QIU的测量，基于该系统的使用和感知方式。另一个可被视为不足之处的细节是收到的答复数量，共回答了18份问卷。这可以被认为是系统测量和最终分类的偏差，尽管研究已经证实了这样一个事实，即对于测量可用性，很少有答案足以正式确定可靠的结果。标准ISO/IEC 25022（ISO/IEC，2016）带来了". . 经验表明，通过控制评价的范围，只有8名参与者的样本。. ”, and Nielsen et al. (从这项研究中吸取的一个教训是认识到，在线调查阐明了参与者的低依从性。在76位受邀的专业人士中，只有18人对我们的邀请做出了回应。这证实了评价员在评价时必须与系统用户在一起的重要性。作为一个挑战，我们可以提到需要将这种低参与度的文化改变为这种类型的指标，也许是通过一个更具协作性的建议，使用智能代理从以前的答案中生成问题，以便确定一个答案与另一个答案相矛盾的地方，甚至防止它发生。对于未来的工作，我们打算应用该模型来测量在医院环境中使用的CDSS的QiU，并使用它来测量所有QiU特性，而不仅仅是那些影响最终用户的特性。竞争利益作者声明，他们没有已知的竞争性财务利益或个人关系，可能会影响本文报告的工作。确认LeoniceSouza-Pereira 感 谢 IFTM-InstitutoFederaldoTriângulo Mineiro Campus Uberlândia Centro ， Uberlân- dia ，Brasil的支持。这项工作由FCT/MCTES通过国家基金提供支持，并在适 用 时 由 FEDER-PT 2020 合 作 伙 伴 协 议 根 据 Grant UIDB/EEA/50008/2020 共 同 资 助 (EstetrabalhoéfinanciadopelaFCT/MCTES através de fundos nacionais e quando aplicável co-financiadoporcomunitáriosnoâmbitodoprojetoUIDB/EEA/50008/2020）;葡萄牙2020计划（PT 2020）在中心区域业务方案的框架内，（CENTRO 2020）和欧洲联盟通过Fundo Europeu deDesenvolvimento Regional （ FEDER ） ， 根 据 Grant Centro-01-0247-FEDER-072632-“NomaVoy- Nomad Voyager”。引用Alshare，K.A.，Alomari，M.K.，莱恩，P.L.，别动，R. D.，2019.最终用户意图的发展和决定 因 素 ： 专 家 系 统 的 使 用 。J.Syst.Inf.Technol.21 ， 166-185.https://doi.org/10.1108/JSIT-08-2018-0108网站。网址：https：www.emerald.com/insight/content/doi/10.1108/JSIT-08-2018-0108/full/html.阿尔维斯，J.M.，Savaris，A.，Von Wangenheim，C.G.，Von Wangenheim，A.，2016年。圣卡塔琳娜州综合远程医疗和远程保健系统中使用的实验室信息系统的软件 质 量 评 价 。 Proc. - IEEE Symp.Comput. Med. Syst. 2016-Augus ， 76-81.doi：10.1109/CBMS.2016.51。Arnicane，V.，Borzovs，J.，Nesaule-Erina，A.，2020.我们真的知道如何衡量软件质量吗？CEUR研讨会程序2 6 2 0 ，9-16。阿瓜岛，Bong，C.H.，2015年。 测量软件质量在用途：国家的艺术和研究的挑战。ASQ.SoftwareQualityProfessional17，4网址：http：//arxiv.org/abs/1503.06934，arXiv：1503.06934。班戈，A.，Kortum，P.T.，J.T.米勒，2008.系统可用性量表的实证评估。Int. J. Comput.互动.24，574-594。https://doi.org/10.1080/10447310802205776.巴西利，V.R.，Weiss，D. M.，1984.一种有效的软件工程数据收集方法。IEEE传输软件工程SE-10，728-738。https://doi.org/10.1109/TSE.1984.5010301。Bauk，S.， Escherc'epanovicc'，S.，Kopp，M.，2014年。混合式学习环境下网络学习系统学生满意度测评。2014，1-11. https://doi.org/10.1155/2014/731720网站。布哈里，Z.，Yahaya，J.，Deraman，A.，2018.度量选择的概念框架：SMeS。Int. J. Adv.Sci.工程信息技术8，2294-2300。https://doi.org/10.18517/ijaseit.8.6.6441。Chen，J.K.，Lee，Y.C.，2009.一种新的质量属性类别识别方法。总质量经理。总线Excell 20，1139-1152. https://doi.org/10.1080/14783360902781832.Djordjevic ， N. ， 2017. 软 件 质 量 标 准 。 Vojnoteh 。 格 拉 斯 65 ， 102-124.https://doi.org/10.5937/vojtehg65-10668网站。埃文斯岛，波特角，澳-地Micallef，M.，哈蒂，J.，2020.测试工具：可用性的幻觉？2020年IEEE软件测试、验证和确认研讨会（ICSTW）。IEEE，Porto，PT，pp. 392-397.https://doi.org/10.1109/ICSTW50294.2020.00070。哈桑阁下，G.H. Galal-Ehran，2017.从可用性到用户体验。2017智能信息学与生物医学科学 国 际 会 议 （ ICIIBMS ） IEEE ， Okinawa ， JP ， pp.216-222.https://doi.org/10.1109/ICIIBMS.2017.8279761。L. Souza-Pereira，N. Pombo和S.乌赫比沙特国王大学学报4634IBM公司，2014年。问卷模板评分公式。网址：https://www.ibm.com/docs/en/opw/7.3.0?topic=assessments-questionnaire-template-scoring-formulas.ISO/IEC、ISO 25000标准。网址：https://iso25000.com/index.php/en/iso- 25000-标准。ISO/IEC，2011年。系统和软件工程网址：https://www.iso.org/standard/35733.html。ISO/IEC，2016.系统和软件工程网址：https://www.iso.org/standard/35746.html。ISO/IEC，2019. ISO 9241-210：2019：人-系统交互的人体工程学-交互系统的以人为中心的设计。网址：https://www.iso。org/standard/77520.html。Ives，B.，奥尔森，M.H.，Baroudi，J.J.，1983.用户信息满意度的测量。Commun.ACM 26，785-793。https://doi.org/10.1145/358413.358430。Jung，H.W.，金，S.G.，Chung，C.S.，2004.软件产品质量的测量：iso/iec 9126的综述。IEEE Software 21，88-92. https://doi.org/10.1109/MS.2004.1331309。Khalifa，M.，2014.临床决策支持：成功的策略，在：程序计算。科学，Elsevier，Halifax，CA. pp. 422-427.网址：http://www.sciencedirect。com/science/article/pii/S187705091401028X，doi：10.1016/j.procs.2014.08.063. Kitchenham，B.A.Pfleeger，S.L.，2008.个人意见调查，载于：《指南》。到高级经验。软件。机油Springer，London，UK，pp. 63-92. URL：https：//link.springer.com/chapter/10.1007/978-1-84800-044-5_3,土井：10.1007/978-1-84800-044-5_3。Lew，P.，Abbasi，M.Q.，拉菲克岛王，X.，奥尔西纳湖2012.使用网页质量模型和问卷调查来了解和评估网页应用程序。2012年第八届信息和通信技术质量国际会议。IEEE，Lisbon，PT，pp. 20-29. https://doi.org/10.1109/QUATIC.2012.68.刘易斯，J.R.，1995. IBM计算机可用性满意度量表：心理测量评估和使用说明。Int. J.人类-计算。互动. 7，57-78。隆德，上午，2001.使用USE问卷测量可用性。可用性界面8，3-6。测量U，2021年。测量-测量。网址：https：measuringu.com/category/questionnaires/。Nakai，H.，Tsuda，N.，本田，K.，鹫崎，H.，泽，Y.，2016年。基于iso/iec 25022和iso/iec 25023的软件质量评估初步 2016年IEEE软件质量、可靠性和安全性国际会议（ QRS-C ） 。 IEEE ， Vienna ， Au ， pp. 410-411. https://doi.org/10.1109/QRS-C.2016.66.尼 尔 森 ， J. ， 1994. 启 发 式 评 估 ： 如 何 进 行 。 网 址 ： https ： //www.nngroup.com/articles/how-to-conduct-a-heuristic-evaluation/的网站。尼 尔 森 ， J. ， 2020. 用 户 界 面 设 计 的 可 用 性 分 析 。 10. 网 址 ： https ： //www.nngroup.com/articles/ten-usability-heuristics/网站。尼尔森，J.，Landauer，T.K.，1993.可用性问题发现的数学模型第206-213页。doi：10.1145/169059.169166。P. Miguel，J.，Mauricio，D.，Rodríguez，G.，2014.软件质量模型综述评估软件产品。国际软件杂志Eng.Appl.5，31-53. doi：10.5121/ijsea.2014.5603，arXiv：1412.2977.Pavlic.，L.，Okorn，M.， HericBagliko，M.，2018年 软件度量在实践中的应用。CEUR Workshop Proc. 2217，27Pinciroli ， F. ， 2016. 考 虑 质 量 属 性 间 贡 献 关 系 程 序 计 算 Sci. 83 ， 970-9