沙特国王大学学报基于任务和用户的Entropy-Rank Sum-TPOP Web应用可用性评估集成方案Gülin Feryal CanBa，skentUniversity，IndustrialEngineering，Eski，sehirYolu20.km，Baglıca，06810，Etimesgut，安卡拉，土耳其阿提奇莱因福奥文章历史记录：收到2021年2022年1月11日修订2022年1月19日接受2022年2月9日在线发布保留字：可用性TPOP熵秩和多准则决策A B S T R A C T在Web应用程序可用性分析中，同时考虑基于任务和用户的主、客观可用性指标，确定主、客观可用性指标的重要性权重在此背景下，通过提出一个多准则决策方法，包括熵-秩和（RS）-技术的精确顺序偏好（TPOP）集成，多维可用性分析（MDUA）方法被提出。所提出的分析方法适用于MOODLE软件选择作为一个样本的Web应用程序。样本应用程序中的客观标准是使用Morae V3程序测量的，作为用户执行其预定义任务的结果，主观标准是通过确定影响用户满意度的每个用户的标准的重要性顺序来评估的然后，基于任务的熵方法计算客观准则权重在最后一个阶段中，根据用户的客观标准和主观标准的权重变化的权重分别结合使用TPOP方法。因此，确定了提高MOODLE LMS可用性的最重要的主观和客观标准版权所有©2022作者。由爱思唯尔公司出版代表沙特国王大学这是一个开放的访问CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍根据最新的“数字2021”报告，估计全球有46.6亿互联网用户。用户花在互联网上的时间每年都在增加。与冲击在全球性的COVID-19疫情危机下，二零二零年的上网时间较去年增加4%，平均为6小时50分钟。这场流行病中断了近10亿人的教育，互联网上的在线教育应用程序已成为救世主工具。同样，在同一份报告的未来预测部分，强调由于疫情的持续影响，预计在线教育应用将受到更多重视，随着谷歌和Facebook 等 行 业 巨 头 投 资 在 线 教 育 应 用 ， 竞 争 将 加 剧（DataReportal，2021）。在竞争激烈的环境中，可用性问题已经成为*通讯作者。电子邮件地址：muhammed@baskent.edu.tr（M. Yorulmaz）。沙特国王大学负责同行审查变得更加重要，以便学生和教育工作者可以通过他们的Web应用程序有效和高效地访问、使用在线教育应用程序并对此感到满意。与其他应用程序一样，在线教育应用程序的可用性水平越高，应用程序的商业潜力就越大（Juristo，2007）。近年来，随着人们对Web应用可用性的研究，特别是对在线教育应用的研究越来越多。在这项研究中，主观和客观的可用性标准的可用性分析模块化面向对象的动态学习环境（Moodle），这是一个流行的在线教育应用程序，在学习管理系统（LMS）（科尔和福斯特，2008年）的范畴内，一起讨论和多标准决策（MCDM）的方法被用于分析。在这种背景下，一个新的多维可用性分析（MDUA）的方法已经开发。考虑到文献中评估Moodle LMS可用性的研究，可以看出这些调查方法或用户测试已经应用。同样，在这些研究中，确定了试图从学生和教师的角度获得不同数量的参与者的结果。然而，在可用性评价中同时考虑主观和客观可用性标准的研究还https://doi.org/10.1016/j.jksuci.2022.01.0111319-1578/©2022作者。由爱思唯尔公司出版代表沙特国王大学这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。制作和主办：Elsevier可在ScienceDirect上获得目录列表沙特国王大学学报杂志首页：www.sciencedirect.comM. Yorulmaz和Gülin Feryal Can沙特国王大学学报6467分析. 可用性不是一个简单的现象，只能通过调查或用户测试来评估重要的是要考虑用户的性能水平以及他们对Web应用程序可用性的想法此外，已经确定MCDM方法在Moodle LMS的可用性评估文献在文献中，MCDM方法已被应用于可用性分析，考虑了有限数量的标准。然而，在可用性分析中，客观和主观的标准都很重要。因此，文献中使用MCDM进行可用性分析的研究被从用户测试或满意度调查中获得的数据可以适用于MCDM方法。此外，特别是在用户测试中，可以看到用户性能随着任务执行的变化而变化。这种可变性也应该反映在可用性标准的重要性权重中。在这个意义上，它将是有益的加权的可用性标准的任务的基础上，并根据其可用性水平的Web应用程序进行比较。从用户对Web应用程序的满意度的角度来看，不应忘记影响每个用户满意度的可用性标准可能具有不同的优先级。因此，有必要通过考虑以下因素来评估Web应用程序的可用性：每个用户关于影响满意度的标准的优先级，而不是像在调查应用中那样试图达到集体结果。根据这些需求，MCDM方法可以用于Web应用程序的可用性分析，但所讨论的方法应根据这些需求进行开发。在此背景下，与目前文献中的可用性分析不同，本研究提出了一种新的MDUA方法，通过同时考虑客观和主观可用性标准，对MoodleLMS进行可用性分析。客观标准由Morae V3程序通过用户在MoodleLMS上执行预定义的任务来测量。主观标准的评价结果是用户将这些标准从重要到不重要进行排序。为了提高Moodle LMS的可用性，确定了最重要的主观和客观标准。 在这种情况下，在任务的基础上计算的重要性权重的客观标准，而重要性权重的主观标准的用户基础上确定。在真实的用户测试中，由于参与者执行的任务不同，可测量的可用性标准（客观标准）的值也不同。例如，任务完成时间标准对于一个任务可以是短的，而对于另一个任务可以是长的。此外，任何用户都可以在更长的时间内完成相同的任务，而其他用户可以在更短的时间内完成它。任务是从参与者执行最多的活动中选择的，并且试图确保每个任务的难度水平相似。然而，在不同任务中出现的可测量标准值的变化表明用户在达到Web应用程序的目标方面存在问题。总之，由于执行的任务不同，可测量的可用性标准在任务基础上的重要性权重也会改变。在文献中没有其他研究确定基于任务的标准重要性权重，并将其转换为改进Web应用程序可用性的建议。当从主观标准的角度来看时，关于这些标准的评价因用户而异。每个用户都反映了他或她自己对主观标准重要性的看法。 例如，虽然web应用程序的复杂性对于一个用户是最重要的标准，但是对于另一个用户，该标准可能是最后的标准。在文献中，没有研究发现，确定的重要性权重的主观可用性标准的用户基础上。在这种情况下，使用熵方法计算客观可用性标准的权重，并使用秩和（RS）方法根据用户的熵方法考虑不同web应用的每个任务的客观标准值（用户的性能水平）的可变性。根据熵方法，如果用户对相关网站的每个标准的每个任务的性能水平不同，则在对相关Web应用程序进行排序时应考虑相关标准。因为这样的标准便于比较Web应用程序，因此它们的重要性权重应该高于熵方法的其他权重。如果对于任何客观标准的web应用的用户的性能值彼此接近，则相关标准在web应用的可用性方面的排名中不具有区别特征。据认为，从相关标准的Web应用程序的性能值包含不确定性。因此，熵方法的重要性权重低于其他权重。RS是一种基于排序的加权方法。RS考虑用户对主观准则的优先级，RS将主观准则排序转化为准则权重。它可以很容易地在标准权重中反映用户由于基于任务的客观标准的权重和基于用户的主观标准的权重将不同，因此在重要性权重方面出现不确定性。为了模拟这种不确定性，并达到主观和客观标准的最终权重，精确顺序偏好（TPOP）方法的技术虽然TPOP方法相对较新，但它仅在文献中用于结合从不同MCDM方法获得的替代排名。在本研究中，TPOP方法首次被应用于组合不同的标准权重。TPOP考虑了不同MCDM方法结果的扩展熵计算。在这项研究中，TPOP侧重于不同的客观和主观标准权重的熵值在这项研究中，不同的任务和主观标准的权重不同，每个用户的客观标准的权重不同。因此，TPOP分别用于客观和主观标准。TPOP结合了考虑所有任务的不同客观标准权重和考虑所有用户的不同主观标准权重。由于Web应用程序的可用性在本研究中是通过考虑客观和主观标准的两个维度进行检查的，因此TPOP方法分别适用于这两个标准维度。此外，在这项研究中，分析首次被证实，使用三维初始决策矩阵导出客观标准传统的MCDM方法中的初始决策矩阵由方案和准则两个维度组成。本文提出的三维初始决策矩阵包括任务、用户和客观可用性准则，并首先对该三维初始决策矩阵进行了熵方法分析。在这方面，这项研究是原创性的研究，可以有助于MCDM和Web应用程序将熵、RS和TPOP作为三种不同的MCDM方法一起使用的原因在文献中，有许多研究包括一个以上的方法来分析Web应用程序的可用性。然而，这些研究的结论部分只讨论了从不同方法获得的标准权重或网站然而，可以通过组合从不同方法获得的标准权重或web应用的排名来获得单个结果，并且可以确定所在本研究中，TPOP提供了这种灵活性。可用性分析可以采用多个MCDM方法，这些方法的结果可以通过应用TPOP进行组合。研究的其余部分组织如下。在研究的第二部分，对Moodle LMS的可用性评估的相关研究进行了综述M. Yorulmaz和Gülin Feryal Can沙特国王大学学报6468表1Moodle的可用性研究研究方法参与者（Graf and List，2002）调查1名（专家）（梅尔顿，2006年）任务库4（学生）（Kakasevski等人， （2008年）调查84（学生）（Kirner等人，（2008年）调查30（教师）（Tee等人， 2013年度）采访5（学生）5（教师）（Ivanovic等人， 2013年度）调查266（学生）43（教师）（Unal和Unal，2014）调查135（学生）（Senol等人， 2014年度）调查413（学生）（Farmanesh等人，（2016年）调查12（学生）（哈桑，2018）调查155（学生）（Suner，2018）调查19岁（学生）（Aliyu等人，2019年度）调查137（学生）（Yorulmaz和Can，2020）任务库18岁（学生）（Ba，s aran等人， 2020年）调查2（专家）和可用性评估与MCDM的辩论。在第三部分中，解释了所提出的方法及其在Moodle LMS中的应用。在第四部分中，提到的结果，并在第五部分中，所提出的方法进行了讨论，并在未来的时期可以进行的研究思路。2. 相关研究随着Web的广泛应用，对Web应用的定量评价也成为一个研究课题。自20世纪90年代末以来，WebQEM（Web Quality EvaluationMethod）等开创性研究已经出现。在Web应用程序的评估中，遵循了软件质量标准，并将质量特性标准化为可用性、功能性、可靠性、效率、可移植性和可维护性（Olsina和Rossi，2002）。一些研究尝试以包括所有质量特征的方式来测量Web应用程序（Olsina等人，2008年）。本研究仅关注Web应用程序的可用性。可用性是产品的重要质量特性之一，它被定义为“产品能够被特定用户使用的程度在指定的使用环境中以有效性、效率和满意度实现指定的目标在文献中，有许多关于Web应用程序可用性评估的在这项研究中，只有可用的-表2实施MCDM方法的可用性研究。对Moodle应用程序进行的或使用MCDM方法进行评估的研究进行了检查。在文献回顾中，可以看到有许多关于Moodle的可用性评估研究，Moodle是一种开源的流行在线教育应用程序。这些研究的总结见表1。从表1中关注Moodle LMS可用性的研究中可以看出，没有使用MCDM方法来分析这个主题的研究然而，MCDM方法可以为可用性分析提供许多优点，如确定可用性标准的重要性，根据可用性级别对不同项目（如领域，产品，网站）进行排名等。通过使用MCDM方法，可以进行多维可用性分析当文献中的MCDM方法被用于网站的可用性分析的研究方面进行检查，它已被确定，对这个问题的研究近年来有所增加，这个问题是研究人员关注的焦点。在回顾的研究中发现的MCDM方法是：决策试验和评估实验室（DEMATEL），分析网络法（ANP），VlseKriterijumska Optimizacija I KompromisnoResenje（VIKOR），数据包络分析（DEA），德尔菲法，层次分析法（AHP）和富集评估的偏好排序组织方法（PRO-METHEE），模糊AHP，通过与理想解相似度排序的偏好模糊技术（FTOPSIS），TODIM（葡萄牙语缩写，意思是交互式MCDM），区间粗糙（IR）AHP，多属性边界近似区域比较（MABAC），邻近指数值（PIV），交互式几何分析，援助（GAIA）。这些研究总结见下表2。从表2中可以看出，研究重点是使用MCDM进行可用性评估，使用预先确定的加权方法来排序标准，并使用排名方法来比较网站。然而，在上述研究中，没有一项根据基于任务的可用性标准测量用户性能，并且没有反映从用于用户满意度的问卷调查中获得的结果。3. 材料和方法3.1. 参与者和使用工具在研究中，共有18名参与者，包括在工业工程专业学习的第二，第三和第四年的学生，研究方法参与者（Tsai等人，DE M A T E L，ANP，VIKOR16（Expert）（Storto，2013）DEA，逐步回归方法35（本科生）（Cebi，2013）Delphi，DEMATEL 5（Expert）（Akincilar和Dagdeviren，2014年）。AHP、PROMETHEE院士、从业者和酒店（Nagpal等人，2015 a）FAHP1（专家）（Nagpal等人， 2015b）FAHP和FTOPSIS3（网站设计师）（Nagpal等人， 2016年）FAHP，熵100（本科生）50（研究生）（Kang等人， 2016年）。模糊层次TOPSIS和E-S-QUAL（SERVQUAL的扩展形式）。3（专家）（Ilbahar和Cebi，2017）。Fuzy KANO 147（学生，员工）（Adepoju等人， 2019年）。人工神经网络（Chmielarz和Zborowski，2018）。TOPSIS721（学生）（Pamuc.Pagiar等人， 201 8）IRMABAC，IR-AHP9（专家）（Ostovare和Shahraki，2019年）德尔菲，香农熵，PROMETHEE，盖亚（Khan等人， 2019）PIV-（Liang等人， 2019）TODIM，VIKOR方法与勾股模糊熵和交叉熵方法（Muhammad等人， 2021）FAHP176（学生，职员）（Abbaspoor等人， 2021）DEMATEL，ANP-M. Yorulmaz和Gülin Feryal Can沙特国王大学学报6469Fig. 1. 任务1：在Moodle中更改头像。一所私立大学的教育部，被评估为最终用户组。在参与者中，5名（28%）为男生，13名（72%）为女生。根据Nielsen（1993）的研究，5个参与者就足以进行可用性分析，这些参与者可以识别75%的系统错误。这些学生是从二年级（5人）、三年级（6人）和四年级（7人）中选出的，他们不是一年级学生，使用该系统至少一年。同样，根据Nielsen（1993），为了在可用性分析中获得约90%的可靠结果当随 着 参 与 者 数 量 的 增 加 ， 检 测 到 的 错 误 数 量 并 没 有 显 著 增 加（Nielsen，1993）。为了让参与者更精确地测试Moodle LMS的可用性，我们观察了学生最常用的系统功能，并定义了最能代表这些功能的任务。根据Nielsen（1993）的说法，要分析软件的可用性，必须从用户最常执行的活动中选择要执行的任务（Nielsen，1993）。在在这项研究中，五个不同的任务被定义为学生执行。这些任务被确定为改变个人资料照片（图。1），图二. 任务2：查看Moodle中的成绩。M. Yorulmaz和Gülin Feryal Can沙特国王大学学报6470图三. 任务5：在Moodle中向讲师发送消息。下载课堂笔记、上传文件到系统、查看成绩（图2）和发送消息给讲师（图3）。链接链（主页>仪表板等）在页面顶部的示例截图给出了一个关于处理密度的想法。在示例屏幕截图中（图1-3），用户和作者身份模糊不清。作为分析范围内的硬件;使用具有Intel i7处理器、8 GB RAM、Windows 10操作系统和麦克风的计算机。此外，使用Moodle LMS 3.0（版本3.3.4）、Morae V3、微软Edge和MS Excel软件作为软件。在开始分析之前，参与者被告知实验的目的和内容。在简报结束后，用Morae软件开始了实验。在实验过程中，由于Morae软件，任务在屏幕上显示为一个窗口。在每个参与者完成五个不同的任务后，他们通过Morae填写了满意度调查问卷。Morae V3软件包程序用于测试，通过记录用户动作（持续时间、声音、屏幕、鼠标移动）;它可以自动提供标准测量（如鼠标点击次数、鼠标移动距离、任务时间）数据。3.2. MDUA方法及其应用拟议的MDUA方法包括六个阶段。第一阶段是识别可用性评估的组件。第二阶段是通过使用Morae V3执行可用性测试来测量基于任务的客观可用性标准。第三阶段是使用熵方法确定基于任务的客观可用性标准的权重。第四阶段是将针对不同任务获得的客观标准权重与TPOP方法相结合。第五阶段是使用RS获得基于用户的主观可用性标准的权重。第六阶段，也就是最后一个阶段，是结合主观标准用TPOP方法得到不同用户的权重。在以下章节中，将详细解释OCG和SCG的拟议MDUA的实施阶段， 4显示了这些标准组的拟议MDUA的应用步骤。3.2.1. 阶段1：确定可用性评估的组件在这个阶段，可用性评估的组成部分被确定为参与者、可用性标准和参与者要执行的任务。可用性标准被认为是衡量网站性能的标准，本文将这些标准分为客观标准组（OCG）和主观标准组（SCG）。使用Morae V3程序获得用户的客观标准组值。SCG的评价结果如下：参与者将该组中的标准从最重要到最不重要进行排序。在本研究中，Uv;v< $1;···;V表示用户，Ti;i<$1;···;I表示任务，OCl;l<$1;···;L定义客观标准，SCp;p< $1;···;P表示主题。的标准。OCG包括心理负荷（得分）100C、任务完成时间（秒）100C、鼠标点击次数100C、两次数据输入之间的时间（秒）100C、鼠标移动距离（像素）100C。SCG由愿意再次使用系统的水平（SC1）、发现系统复杂的水平（SC2）、发现系统容易的水平（SC3）、使用系统时需 要技 术支 持的水平（ SC4 ） 、使 用系 统时 感到安 全的 水平（SC5）、使用系统时需要先验知识的水平（SC6）、与系统良好集成的水平（SC7 ）、系统不一致的水平（SC8 ）、系统学习率水平（SC9）、系统的可操作性水平（SC10）组成。主计长办公室确定系统的有效性，而用户满意度标准则包括对用户满意度很重要的标准标准M. Yorulmaz和Gülin Feryal Can沙特国王大学学报6471图四、OCG和SCG拟议MDUA的应用步骤OCG测定采用Morae V3程序，不采用精神负荷标准。心理负荷标准采用美国宇航局任务负荷指数（NASA TLX）量表进行测量采用美国宇航局任务负荷指数（NASA TLX）量表测量受试者完成5项任务后的心理负荷NASA TLX是一种主观的、经过验证的、可靠的多维评估工具，它对心理（感知）工作负荷进行评级，以评估任务、系统或团队的有效性或性能NASA TLX从六个维度评估心理工作负荷：心理要求、身体要求、时间压力、绩效水平、失败感和执行任务该量表由两部分组成在第一部分中，根据所执行的任务，在0到100之间对六个子维度进行评分在第二部分中，通过考虑所执行的任务来比较六个子维度。这里，总共进行了15次成对比较。如果每个子维度的权重超过与其进行比较的其他子维度，则将该数字除以15，并计算相关子维度的权重。然后，将该权重乘以从第一部分获得的得分值，以获得每个子维度的加权得分工作量得分是通过对所有子维度计算的加权得分求和获得的（Hart，2006）。SCG是使用系统可用性调查（SUS）创建的。SUS是一项调查，用于通过测量Web应用程序用户的成功百分比来评估满意度。SUS考虑了一些关于网站可用性的陈述，并使用1-5的量表SUS是一个简单的10项量表，涵盖了可用性的主观评估。SUS涵盖了系统可用性的各个方面，如支持需求、培训需求和复杂性，因此它在衡量系统可用性 （Bangor等人， 2008年）。3.2.2. 阶段2：通过使用Morae V3执行可用性测试，在此阶段，基于Morae V3软件的任务测量客观可用性标准。测量是在土耳其安卡拉一所大学的工程工厂的人机工程学和工读实验室进行的。在实验室环境中与测试观察员和参与者一起进行测量。将每名参与者单独带到实验室进行测试，测试期间实验室内有一名测试观察员。用于测量的Morae V3软件包程序可以提供客观的测量数据（例如，M. Yorulmaz和Gülin Feryal Can沙特国王大学学报6472半]半]L半]L8VLV¼-pvilnpvivNJLv1/4Ll鼠标点击、鼠标移动距离和任务持续时间）。在开始测量之前，告知参与者测试的目的和内容，然后用Morae V3开始测试。在测试过程中，参与者在屏幕上作为窗口逐个查看任务。当每个用户完成每个任务时，Morae V3基于任务和用户测量并记录客观标准值。这些客观标准值属于OCG中的标准。3.2.3. 阶段3：使用熵方法在这个阶段中，基于任务的客观可用性标准的权重计算与熵的首先，如表3所示形成目标标准的三维初始决策矩阵，定义为X。 X表示每个用户在执行每个任务时对于每个客观标准的表现水平，作为三维。每个元素的1/2X]表示为xvi;v<$1;···;V;i<$1;···;I;l< $1;···;L。根据对此，xvi 显示i：task的v： user的性能级别-与l有关：客观标准。例如，x11示出何时第一用户执行第一任务，相关用户感知的脑力负荷为90。该值是通过应用上面解释的NASA TLX量表确定的。在形成X之后，作为第二步骤实施归一化过程。以这种方式，归一化的三维初始决策矩阵被表示为1/2N]被构造用于OCG。1/2N]的元素表示为nvil;v1/4 l;···;V;i 1/4 l;···;I; i 1/4 l;···;L，并如等式（1）中所计算。1. nvi 示出了第v个用户的归一化性能水平，第i个任务与第l个客观标准相关。最小fxvilgnil¼8Vvil;v1;···;V;i1;·· ·;I;l1;·· ·;L 1其中，min fxvilg表示所有用户中与第l个目标标准相关的第i个任务的最小归一化性能水平。对于x1111/4 90，通过使用等式111，如下计算n1111.一、最小fxv11gn111¼8Vx111n11170¼90第1 111 1/40：78在第三步骤中，每个用户对于每个任务中的每个标准的概率值（pvi）如等式（1）中获得二、nvilv<$1;···;V;i<$1;···;I;l<$1;：;L<$2Il ¼ PV;第1页I l在第四步骤中，如表4中给出的，基于每个任务来计算每个客观标准的熵权3.第三章。X.Σ这里，ki是熵系数，并且其如等式（1）中所计算4.K1在俄罗斯ð4Þ表3OCG的三维初始决策矩阵T1的-OC1xv11908570829678868575728085929186848281UvT3的-OC1xv31858279969392787985829296878583798781T2的-OC1xv21888793156595947876799275838682868987T5的-OC1xv51858278797978989585868481797677799878T4的-OC1xv41878995847975767895928985868788939290OC3xv1351213913107761497910176817OC2xv1225.9745.4153.9146.2860.0959.4824.7338.0935.3960.5527.7435.9229.4753.6657.5819.549.1754.02OC5xv156700.312090.3618619.5517833.4115140.612792.0114153.1712598.417682.0322853.5711973.0317197.3718541.724509.6824510.577490.0913921.6217701.15OC4xv145.539.429.778.2710.369.894.518.3311.196.174.478.136.664.816.285.028.754.41OC2xv2223.1656.0916.4226.3830.6772.0338.2257.5335.9274.6426.9425.4239.5327.0213.3932.9261.5515.08OC3xv237143571710189243786210142OC5xv256128.8113186.586562.858519.1212896.9914230.0720506.7111093.211141.931996.263936.387823.4216010.4310602.76784.79863.0415718.243182.46OC4xv244.866.364.736.114.788.017.810.145.146.137.027.97.974.63.986.8614.922.63OC3xv3310131191210710510912104127178OC2xv3227.344.4829.5629.3836.8630.0922.1352.8329.4122.3920.9433.7530.3137.5828.1418.881.327.45OC5xv355099.628581.4311410.0411327.5310566.737211.1111736.59896.065021.4110187.876731.5710733.210862.135545.727025.167450.9521346.4210029.5OC4xv343.9913.23.83.876.395.75.1313.665.413.313.244.096.214.535.233.8621.073.92OC3xv43263355222755542343OC2xv4210.2318.669.513.9513.1312.2412.398.713.2711.5610.5519.3619.9416.277.5514.0220.5215.66OC4xv443.925.342.764.093.183.924.713.325.293.953.414.315.223.452.683.733.722.1OC5xv452599.894392.124398.024649.354428.043808.65509.282793.133321.245899.034173.036947.936706.196322.335243.385565.794659.194173.64OC2xv5229.3858.7428.0229.9144.842.8637.1139.1637.8641.02119.5535.236.1434.7864.6427.9263.4234.74OC3xv537127781378711107107118137OC4xv546.9714.889.177.1310.598.6412.447.8110.238.716.2511.646.736.679.477.668.7411.38OC5xv555785.957124.67525.236234.454008.274888.387784.44768.025487.5612585.715365.946746.666062.266851.0325852.563074.5312328.335390.01U1U2U3U4U5乐队U6U7U8U9U10U11U12U13U14U15U16U17U18最小fxvilg19.57054.41156700.313.3923182.462.6318.8783.244755021.417.5522.12599.8927.92 76 76.673074.538V1伊伊勒1/4-k;i<$1;···;I;l<$1;：;L<$3XvpM. Yorulmaz和Gülin Feryal Can沙特国王大学学报64731¼ -lnPXP半]半]LIl¼L第1页威乌LL在中国，SL0点例如，下面给出了表4中所示的e111/40：首先是p11值通过使用Eq. 二、然后，K1ð18Þ 沪ICP备16003446号-1是计算作为在当量（四）和获得的lnΔp111=lnΔ p 0：051，为-0： 152。作为最后一个实施方案，通过使用Eq.0： 999。在第五步中，使用所获得的eil值，使用等式（1）计算不确定度值（dil）。根据每个任务，每个客观标准的5个，如表5所示。迪伊勒 1/4-eil/5例如，在表5 中看到的并且在 e111/40： 999 的帮助下获得的d11/40： 001在下面给出。d11¼1-e11d11 11-0：999d11¼0：001在第六步骤中，考虑dil值，使用等式（1）计算基于每个任务的每个客观标准（wil如表6所示。wil迪伊勒¼Ik¼1dklL;will¼11;i1;·· ·;i6例如，表6中所示的w111/40：012通过使用等式（1）计算如下：六、d11¼11升l¼1d1lw11零点零一2019 - 09-03 00：03：03w11 时间：2019 -01 -12 00：003.2.4. 第四阶段：将针对不同任务获得的客观标准权重与TPOP方法相在这一阶段，针对不同任务获得的客观标准权重与TPOP方法相结合。首先，创建TPOP方法的初始决策矩阵Y。表7中所示的Y是根据任务呈现客观标准的重要性权重的矩阵。wil 显示了1/2 Y的每个元素]。在第二步骤中，使用等式1/2Y]归一化。 并且形成标准化的初始决策矩阵。1/2®的每个元素]，定义为sil 表示每个的归一化权重值每项任务的客观标准。wi1/4P;i1;2;···;I;l1;2;···;L例如，s117.1/40：012作为s11获得1：000使用Eq.在第三步骤中，由于客观标准权重根据所执行的任务而不同，所以使用等式（1）获得表8中针对每个任务给出的熵值（ei）8.第八条。e i¼-t X si In. 西岛;i<$1;···;I;其中1/4-1l¼1ð8Þ例如，下面给出了表8中所示的e10：首先，通过使用等式（1）获得s11值为0.012。7.第一次会议。然后，t1/4-ln1/4- 0：621的计算公式如下：（8）和ð5ÞT2表4OCG的熵值T1T4T3T5OC1OC2OC3OC4OC5OC1OC2OC3OC4OC5OC1OC2OC3OC4OC5OC1OC2OC3OC4OC5OC1OC2OC3OC 4 OC 5 OC 1OC 2 OC 3 OC4OC5e11e1 2e1 3e1 4e1 5e2 1e2 2e2 3e2 4e2 5e3 1e3 2e3 3e3 4e3 5e4 1e4 2e4 3e4 4e4 5e5 1e5 2e3 3e5 4e 50.999 0.977 0.980 0.978 0.973 0.930 0.958 0.909 0.976 0.946 0.999 0.984 0.977 0.966 0.980 0.999 0.986 0.971 0.989 0.987 0.999 0.984 0.992 0.990 0.973WPPPP表5OCG的不确定性值T1T2T3T4T5OC1OC2OC3OC4OC5OC1OC2OC3OC4OC5OC1OC2OC3OC4OC5OC1OC2OC3OC4OC5OC1OC2OC3OC 4 OC 5 OC 1OC 2 OC 3 OC4OC5d11d 12d 13d 14d 15d11d 12d13d 14d15d11d12d13d14d 15 d 11 d 12d13d 14d15d11d 12 d 13d14d15d 11d 14 d15d11 d 15 d 11 d 16 d 16 d 17 d 17 d 18 d 19 d 19 d 19 d 19 d 19 d0.001 0.023 0.022 0.027 0.070 0.042 0.091 0.024 0.054 0.001 0.016 0.023 0.034 0.020 0.001 0.014 0.029 0.011 0.013 0.001 0.016 0.008 0.010 0.0275l¼1d1l0.0935l¼1d2l0.282Ll¼1d3l0.094Ll¼1d4l0.068Ll¼1d5l0.062表6每个任务的客观标准的重要性权重。T1T2T3T4T5OC1OC2OC3OC4OC5OC1OC2OC3OC4OC5OC1OC2OC3OC4OC5OC1OC2OC3OC4OC5OC1OC2OC3OC 4 OC 5 OC 1OC 2 OC 3 OC4OC5电话：+86-021 - 88888888传真：+86-021- 888888888邮箱：info@wxt.com0.012 0.245 0.218 0.234 0.291 0.247 0.149 0.324 0.087 0.193 0.008 0.169 0.247 0.367 0.209 0.013 0.207 0.424 0.158 0.198 0.016 0.254 0.135 0.165 0.431M. Yorulmaz和Gülin Feryal Can沙特国王大学学报P6474M. Yorulmaz和Gülin Feryal Can沙特国王大学学报6475¼ ¼- -一种半]半]PKX¼8UþffiffiffiffiffiffiffiffiffiffiffiffiffiþP1/4¼þ þ þþpsi和受益类型正常化操作呈现，然后，10 使用Eq. （11）作为第10条 ¼1þ0：178;8U8U¼：þ：þ：：þ8U并且maxfwiug是第i个的所有准则中的最大权重：我Lu8Uuuu表7TPOP客观标准的初步决策矩阵OC1 T1T2T3T4T50.0120.247 0.008 0.013 0.016表9任务的权重值T1T 2T 3T 4T 5W1W 2W 3W 4W 50.223 0.202 0.231 0.2352009年12月31日247 0.424 0.1352008 - 2009两年期方案预算2009-2009年总计1.000 1.000 1.000 1.000 1.000得到lnS1 11/1lnS0：01 2π，为-4：397。作为最后一个实现，使用Eq.8分，888秒。在第四步中，使用获得的ei值，使用等式计算不确定度值（di）9、每项任务di¼1-ei9例如，d10： 112被计算为d110： 888.在第五步中，为了查看每个任务对Moodle LMS可用性评估的影响，计算任务的重要性权重（Wi），如等式（1）所10，方程式11，Eq.12、Eq.13岁Di网站的可用性。然而，随着不同任务的客观标准的权重改变，根据任务的重要性水平将任务彼此区分开变得更容易。当相似的标准权重有问题时，相关任务的熵值也会增加。熵值的增加意味着标准权重的不确定性的增加在第五步中，根据客观标准是否是
