Web服务质量监控与管理：性能和准确性冲突的案例研究

可在www.sciencedirect.com在线获取理论计算机科学电子笔记321（2016）113-127www.elsevier.com/locate/entcsWeb服务监控中的服务质量控制：一个案例研究Jael Zela Ruiz1，2 Cec 'ılia M.Rubira3巴西圣保罗坎皮纳斯大学计算机学院摘要Web服务已经成为面向服务系统中最常用的技术之一。 它的流行是由于它的财产，以适应任何情况。 随着Web服务数量的不断增加，Internet及其在当今许多应用中的重要作用，Web服务质量已成为服务消费者的关键需求和要求。服务提供者和服务使用者之间编写质量级别条款，以确保一定程度的质量。使用监控工具来控制服务质量水平是非常重要的。质量属性在运行时的值会发生变化，这是由许多因素造成的，例如内存泄漏，死锁，竞争数据，不一致的数据等。然而，有时监控工具可能会对服务质量产生负面影响，当它们没有正确使用和配置时，质量属性之间可能会产生冲突。本文旨在显示监控工具对服务质量的影响，选择了两个最重要的质量属性-性能和准确性-进行监控。一个案例研究进行了介绍和评估的Web服务的性能和准确性之间的关系。因此，在性能和准确性之间发现了冲突，其中性能是最受关注的，因为它在监测期间表现出质量水平的下降。关键词：Web服务，SOA，服务质量，质量属性，一致性，性能，准确性，监控工具。1介绍近年来，Web服务技术已经成为构建SOA应用程序最流行和最常用的技术[26]。Web服务基于一组协议和标准，如SOAP（简单对象访问协议）、WSDL（Web服务描述语言）和WSDL（通用描述、发现和集成）。Web服务是分布式组件，它是自包含的，可扩展的，可重用的，可组合的，并且具有透明的位置[3]。因此1这项工作得到巴西坎皮纳斯大学计算机学院分布式系统和软件工程实验室的支持2电子邮件：jael. students.ic.unicamp.br3电子邮件：cmrubira@ic.unicamp.brhttp://dx.doi.org/10.1016/j.entcs.2016.02.0071571-0661/© 2016作者。出版社：Elsevier B.V.这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。114J. Zela Ruiz，C.M.Rubira/Electronic Notes in Theoretical Computer Science 321（2016）113随着Web服务的流行，越来越多的功能相似的Web服务可以在Internet上找到 [7]，这就需要服务消费者提出这样一个问题：或者“哪一个更适合我的需要？” [6]的文件。服务使用者有一项艰巨的任务，要为他们的需求选择合适的服务。服务质量（QoS）已成为区分等效Web服务之间的非功能特性的最合适的标准。QoS被描述为一系列属性，称为质量属性，这些属性在Web服务质量中发挥作用。例如，这些属性中的一些是可用性、吞吐量、鲁棒性和完整性，其中一组质量属性组成质量模型。目前，学术界和工业界提出了几种质量模型[3][6][19][20]。Web服务承诺基于质量模型的质量服务提供者和服务消费者之间进行协商服务水平协议（SLA）是这种谈判的结果，其中定义了质量，谈判并确定了确保质量的任务[16]。然而，在为双方安排了SLA之后，服务消费者提出了一个新的问题：我们如何确保SLA中定义的假定QoS真正得到满足？因此，出现了监控工具来控制Web服务的质量水平。监控工具基于质量模型。它们用于在运行时捕获、收集、过滤和分析来自Web服务的信息[8]。目前，有许多来自研究和工业界的监控工具，如Dynamo [4]，Cremona [14]，SALMon [1]，WebInject [11]，SOAPMonitor [2]、Webmetrics Web Services Monitoring [18]、FlexPatiorWS [10]。然而，由于Web服务的动态性和不可预测性[12]，质量属性可以在运行时支持其值的变化。质量属性之间的相互关系在同时监控时会产生冲突例如，在响应时间和吞吐量场景中，单独监视响应时间比与吞吐量并行监视响应时间可能是更好的质量值 原因是因为Web服务接收 大量的请求，导致Web服务需要更多的时间来响应用户。另一方面，由于响应每个请求所需的时间，因此吞吐量也受到影响，因为在单位时间内只有少量的请求被处理。这些冲突主要是由于可伸缩性的原因而产生的，Web服务可以让许多服务消费者同时发送许多服务请求。监控工具成为质量属性冲突的一个因素监控工具可以成为一把双刃剑，因为它们是一种有用的QoS控制工具，但当它们没有得到适当的确认时，它们可能成为冲突的主要原因。它们可能会成为Web服务的入侵代理，从而创建一个压力环境。了解正在测量的内容、在哪里进行监控、如何进行监控以及监控的频率没有正确配置的主动监控可能会使Web服务过载为了证明监控工具对Web服务质量的影响，我们提出了一个案例研究来衡量质量J. Zela Ruiz，C.M.Rubira/Electronic Notes in Theoretical Computer Science 321（2016）113115服务的两个重要质量属性：性能和准确性。在本案例研究中，一个用于提供临床结果的Web服务由FlexWebserver WS工具生成的两个不同的监视器进行监视[9]。质量值进行了比较，从三个场景：在隔离，与其他监视器并行，并在并行故障注入。提供了结果的统计比较，以证明产生的质量下降水平以及它们之间本文的组织结构如下。在第2节中，我们将介绍一些关于SOA、监控工具和FlexPioneorWS工具的基本概念。 在第3节中，我们定义了服务质量合同以及为什么要产生它。第4节报告了一个案例研究，其中对冲突情景进行了评估。最后，在第5节中，我们给出了结论和未来的工作。2监控工具和SOA在本节中，我们将介绍有关SOA和监视工具的一些基本概念，然后描述监视工具对Web 服 务 的 影 响 。 最 后 ， 我 们 介 绍 了 本 文 中 使 用 的 Web 服 务 监 控 工 具FlexWebServer WS Tool [9]2.1面向服务的体系结构面向服务的体系结构（SOA）是一种广泛应用于分布式应用的体系结构风格。不同的功能单元，服务，使用标准化和良好定义的接口连接[23]。SOA应用是动态的、异构的、分布式的、自治的。SOA提供了三个主要角色：服务提供者、服务使用者和服务代理，如图1所示。服务提供者在WSDL文件中定义服务，它使用WSDL在服务代理中发布，因此服务能够为消费者提供服务。服务消费者向服务代理请求服务，服务代理提供WSDL文件，服务消费者直接使用SOAP消费服务。结合（OAP）服务消费者Fig. 1. SOA架构服务提供商服务经纪人（经纪人）116J. Zela Ruiz，C.M.Rubira/Electronic Notes in Theoretical Computer Science 321（2016）113配置1塞古阿服务Consum erWEB服务MONITOR配置2 ßA服务Consum erMONIT OR塞萨洛尼基WEB服务配置3 ßA服务Consum er塞萨洛尼基MONIT ORWEB服务配置4 ßA服务Consum er塞萨洛尼基MONIT OR塞奇WEB服务图二. 监控配置。2.2Web服务监控工具监控工具是在运行时从软件系统中捕获、收集、过滤和分析信息的系统[8]。在Web服务中，监控工具用于[9]：（1）改进Web服务选择和发现的过程，这使得在功能相似的服务之间进行基于QoS的搜索成为可能（2）当某些质量属性（可用性、可伸缩性、容量和可靠性）未达到期望水平时，应用诸如动态适应和动态恢复的自愈技术。(3)检测SLA中的违规行为，使用基于SLA的质量度量来评估和控制Web服务。可以根据两种策略使用监测工具[6]。被动监听，监听器是一个监听器，监听服务提供者和服务消费者之间交换的消息，目的是获取服务质量。在这种策略中，与服务提供者或消费者的直接交互被最小化。主动监控，监控器直接向服务提供者发送服务请求，充当消费者。监控系统可以根据三个组件[6]进行区分，如图2所示。• 配置1：服务使用者、监视器和Web服务在同一个系统（系统A）中。• 配置2：服务使用者和监视器在同一个系统（系统A）中，而Web服务在另一个系统（系统B）中• 配置3：服务消费者在一个系统（系统A）中，而监视器和Web服务一起在另一个系统（系统B）中。• 配置4：服务使用者在系统A中，监视器和Web服务分别在系统B和系统C中2.3FlexCable WS工具FlexWebServer WS [10]是一个基于软件产品线（SPL）的Web服务监控工具。这个工具是基于创建一个家庭的监视器来监视J. Zela Ruiz，C.M.Rubira/Electronic Notes in Theoretical Computer Science 321（2016）113117目标质素指标频繁执行FlexiSearcher W基地网络Qo故障日志文件五金泰特稳健性精度可靠性性能可用性网络调用能不能检查操作模式拦截调用WriteLogFile消息通知Web服务应用程序中的不同点以及使用不同监视模式它是使用Java语言开发的。FlexPwareWS工具通过创建监控配置文件来利用可扩展性属性，这些配置文件用于特定目标和用户需求[9]。监测概况是根据特征模型（图3）建立的，主要特征是（a）监测目标，（b）质量属性，（c）操作模式，（d）监测频率和（e）通知模式[9] [10]。监控目标指定监控将在何处进行：可以选择Web服务、服务器应用程序、服务器和/或网络。质量属性指示需要监控的内容，以确认所寻求的内容，如可用性、性能、可靠性、准确性、鲁棒性、硬件状态、日志文件中的故障和/或网络QoS。操作模式建立了要使用的策略，通过消息拦截进行被动监控，或者直接或通过检查日志文件对服务调用进行主动监控监测频率可以是连续的或周期性的。通知模式设置方法，通过发送消息或写入日志文件来通知生成的监视结果。根据选定的功能生成一个产品，一个监视器（jar文件），这是使用包含Web服务规范的属性文件执行的服务应用服务器网络埃韦尔图三. FlexCable WS功能模型118J. Zela Ruiz，C.M.Rubira/Electronic Notes in Theoretical Computer Science 321（2016）1133服务质量合同“冲突”一词在需求工程中，Mairiza [15]定义了非功能需求（NFR）之间的冲突，以确定需求之间的干扰，不一致或相互依赖，存在一个NFR对另一个NFR的负贡献[17]，产生两个或多个NFR不能同时满足。遵循Mairiza对NFR中的冲突的定义，因为QoS属性是NFR。当两个或多个属性之间存在负贡献时，我们定义QoS冲突，从而导致一个或多个属性的质量值下降。Web服务是动态的、不可预测的，Web服务在运行过程中有连接和断开，QoS属性可以支持其值的变化。ii）QoS属性是主观的、相对的和相互作用的[15]。 主观性是因为它们可以被不同的人以不同的方式看待、解释和评价。相对的，因为解释和QoS属性的重要性可以根据系统而变化。相互作用意味着它们倾向于相互干扰、冲突或矛盾。（三）保险资源。对资源的约束，如CPU、内存使用或网络带宽[25];这些资源不支持Web服务上的过载。（iv）Web服务演化，Web服务不断演化以改进其功能可能会在其质量水平上产生可能的冲突。（五）监控工具。根据监控工具在被监控系统上的操作方式，它们可能会在最后一个系统上产生风险和问题。许多研究人员已经报告了由监控工具引起的监控入侵问题本文重点研究了监控工具如何生成质量属性之间的冲突监控工具使用不同的方法从Web服务中提取和收集信息这些方法分为三种类型：拦截器方法、拦截器方法和代理方法[25]。测试技术使用仪器方法。在这种方法中，监控代码被嵌入到Web服务实现中，并由程序员手动插入（例如Javassist、ANOJ）。拦截器方法用于中间件中，它们获取所有发送和接收到Web服务的消息的细节（例如CORBA中的拦截器，AXIS中的拦截器，JVM中的JVMTI）。此方法更加独立，但它与使用相同资源的Web服务在同一进程中执行。代理方法完全独立于Web服务，在自己的进程中运行，消耗自己的资源[25]。方法给Web服务带来了不同程度的入侵效应当目标系统中插入多个监视器时，这会变得更加复杂。工具机制使目标代码难以理解和维护[25]。而拦截器机制会导致性能下降，因为监视器使用共享资源运行另一方面，代理人方法J. Zela Ruiz，C.M.Rubira/Electronic Notes in Theoretical Computer Science 321（2016）113119是与其他方法相比侵入性最小的方法，因为它独立于Web服务运行。4案例分析：DCTR系统在本节中，我们描述了一个案例研究，以评估在通过交付临床测试结果系统（DCTR系统）的Web服务中监视性能和准确性属性时，性能和准确性属性之间的关系。4.1研究对象DCTR系统是在临床实验室中开发的基于Web服务的系统，用于向患者提供临床测试结果。Web服务使用Java语言开发，JAX-WS API。该系统提供了几个封装为Web服务的功能，如PatientService，DoctorService，ResultService等。在这些Web服务中，我们选择了PatientService，因为它是临床医生在引入新测试时最常用PatientService提供了许多功能，在它们之间，我们有这两个操作：1. getPatientName（），给定由字母部分和数字部分组成的患者代码，由连字符分隔（例如PAT-0321），返回相应的患者2. getPatients（），给定一个整数n，返回n个最近就诊的患者的列表。图4显示了PatientService到操作的WSDL片段getPatientName（）和getPatients（）。4.2宗旨和目标本案例研究的目的是确定Web服务监控过程中性能和准确性之间的潜在质量冲突。对于本研究，冲突被识别为一个或两个质量属性的质量值下降。 与此同时，它假装发现监控工具对服务质量的负面影响是导致冲突的主要原因。我们在Web服务PatientService中选择了两个操作，即getPatientName（）和getPatients（）。我们的研究问题如下：RQ1：单独衡量的性能和准确性质量水平是什么？RQ2：当与性能并行监控时，准确性质量水平是否会降低？RQ3：与准确性并行监测时，性能质量水平是否降低120J. Zela Ruiz，C.M.Rubira/Electronic Notes in Theoretical Computer Science 321（2016）113见图4。PatientService的WSDL段。第一个问题分别涉及质量属性的测量;通过回答这个问题，我们可以知道Web服务的质量水平，这将作为我们实验的比较基础。第二个和第三个问题涉及性能和准确性质量水平的并行测量;通过回答这些问题，我们将能够识别监测期间这些质量属性之间的潜在冲突4.3质量属性在这个案例研究中，我们提出了两个质量属性，性能和准确性。性能与服务请求完成的速度有关，而准确性则与服务响应是否正确有关。但是，正确的答案并不总是很快产生4.3.1性能Web服务的性能表示服务请求可以多快完成[13]。性能可以通过吞吐量、响应时间、延迟、执行时间和事务时间来衡量。之所以选择响应时间来完成这项工作，是因为它是服务使用者和服务提供者的主要关注点。这是一个关键的质量属性，因为如果服务消费者在向服务发送请求后发现长时间的延迟，消费者可能会更改为另一个更快的Web服务[22]。J. Zela Ruiz，C.M.Rubira/Electronic Notes in Theoretical Computer Science 321（2016）113121响应时间是完成Web服务请求所需的时间[19][13];发送请求到Web服务和接收响应之间的时间。响应时间主要取决于两个因素：网络延迟和服务器端延迟。响应时间通过以下公式测量(1)响应时间=T响应-T请求其中，Trequest是服务请求被发送到Tresponse是从Web服务接收到服务响应的时间（时间戳）。4.3.2精度准确性是Web服务可以提供给服务请求的准确结果的水平[23]。它通过一段时间内Web服务产生的错误数量（错误率）来衡量[9] [13]。准确性关注的是服务响应的正确性，当准确性值接近1时，它被认为是准确的，如果它接近零，Web服务是不准确的;因此它失去了服务消费者的可信度。通过以下公式测量准确度：（二）n故障准确度= 1−totalRequest其中nFaults是为Web服务返回的错误数，totalRequest是发送到Web服务的服务请求数。4.4第三代两个产品（监视器）是使用FlexPencorWS工具生成的，具有不同的功能集。第一个名为“PerfMonitor”的监视器• 目标：Service（操作：getPatients（））• 质量属性：性能• 操作模式：调用• 频率：30秒• 通知模式：WriteLogFile第二个监视器名为• 目标：服务（操作：getPatientName（））• 质量属性：准确度• 操作模式：调用• 频率：30秒• 通知模式：WriteLogFile122J. Zela Ruiz，C.M.Rubira/Electronic Notes in Theoretical Computer Science 321（2016）113PerfMonitor准确度（%）42.54241.5140120100418040.560404039.520391 2 3 4 5 6 7 8 9 101112小时（h）01 2 3 4 5 6 7 8 9 10 11 12小时（h）(a)执行“PerfMonitor”的性能质量级别（b）仅执行“AccMonitor”的准确性质量水平图五. 他被单独处决了。4.5实验执行和结果讨论实验在以下环境中执行：Intel（R）Core（TM）2 Duo CPU 2.66 GHz处理器，具有4.00 GB主存储器，Windows 7 + SP1系统操作，以及JDK 1.7。监视器托管在此环境中，而Web服务托管在安装在具有以下配置的机器上的Apache Tomcat 7.0服务器中：AMD Phenom（tm）II P920四核1.60 GHz处理器，6，00 GB主内存，Windows 7 + SP1作为系统操作，使用JDK1.8。为了回答我们的研究问题，实验在以下三种不同的情况下进行：(i) “PerfMonitor” monitoring performance quality level over(ii) “AccMonitor” monitoring accuracy quality level over(iii) “PerfMonitor” monitoring performance and “AccMonitor” monitoring accu-racy over4.5.1PerfMonitor执行“PerfMonitor”图5（a）显示了Web服务响应来自服务使用者的请求所花费的平均时间（按监控小时计算）。在回答我们的研究问题RQ 1时，我们注意到响应时间从40毫秒增加到42毫秒，平均为41.467毫秒。4.5.2AccMonitor执行“AccMonitor” was executed over 图5（b）显示了按监测小时计算的平均准确率精度AccMonitor响应时间（ms）J. Zela Ruiz，C.M.Rubira/Electronic Notes in Theoretical Computer Science 321（2016）113123PerfMonitor和AccMonitor准确度（%）4314042.51204210041.580416040.540402039.51 2 3 4 5 6 7 8 9 101112小时（h）01 2 3 4 5 6 7 8 9 10 11 12小时（h）(a)性能质量水平。（b）准确性质量水平。见图6。 “PerfMonitor” and “AccMonitor” executed in在整个时间内保持100%准确，没有任何错误，回答了我们的问题RQ1。4.5.3PerfMonitor和AccMonitor：并行执行“PerfMonitor” and “AccMonitor” were executed over 图6显示了响应请求的平均时间和按小时计算的平均准确率百分比，同时监视响应时间和准确率。据观察，响应时间属性相对于先前的执行而增加。反应时间在40.4和42.5毫秒之间针对我们的研究问题RQ 2，可以认为在隔离监测和并行性能监测期间，准确性质量水平保持不变。在这两种情况下，Web服务都是100%准确的。这保证了它的正确运行。另一方面，当它与精度监视器并行执行时，性能质量水平被检测。在回答我们的研究问题RQ3时，我们发现性能中的质量值在0.259毫秒内下降。图7显示了这两个执行之间按小时的比较。为了支持结果的差异，我们通过每查询配对t检验评估了“PerfMonitor”单独与“PerfMonitor”与“AccMonitor”结果之间的统计学显著性，置信度为95%。配对t检验的结果证实，性能差异具有统计学显著性。当仅对Web服务进行“PerfMonitor”监控时，Web服务在统计上表现出更好的性能4.5.4带故障注入的AccMonitor： PerfMonitor和AccFaultMonitor为了执行一些可靠性措施并收集我们关于患者服务的高准确性假设的证据，使用故障注入生成第三个监视器，“AccFaultMonitor”。XML注入[24]用于生成接口故障[5]。我们使用了两种注入：参数AccMonitor和PerfMonitor响应时间（ms）124J. Zela Ruiz，C.M.Rubira/Electronic Notes in Theoretical Computer Science 321（2016）1134342.54241.54140.54039.5391 2 3 4 5 6 7 8 9 10 11 12小时（h）图第七章性能质量水平比较。腐败注入和结构腐败注入。例如，我们已经损坏了发送到getPatientName（）操作的患者代码，如下所示：故障一：PAT-0239/arg 0>至9320-TAP/arg 0>我们还破坏了请求的XML结构，颠倒了XML的开始和结束标记，如下所示：故障二：<参数0>PAT-0239/参数0>至PAT-0239参数0>“AccFaultMonitor”与“PerfMonitor”并行执行12小时。参数损坏注入在前4小时执行，结构损坏注入在接下来的4小时执行，而在最后4小时，参数和结构损坏注入都被执行。图8（a）显示了与“Acc- FaultMonitor”并行执行的每小时平均时间。性能继续保持其质量水平的下降，如在先前的实验中一样。在95%置信度下，“PerfMonitor”单独与“PerfMonitor”和“AccFaultMonitor”之间的配对t检验证实，当性能被单独监控时，Web服务在统计上表现出更好的性能。这是因为Web服务在尝试解释损坏的请求时会花费更多的时间，从而占用处理器更多的时间。这种情况可以减少“PerfMonitor”所需的资源量，因此需要更长的响应时间。图8（b）显示了所有测试场景中准确性质量水平的比较。故障注入的准确度计算百分比也按监测小时显示。参数值损坏产生java.lang.NullPointerException。这可能是合理的行为，因为向Web服务发送了无效数据，但另一方面，PerfMonitorPerfMonitor和AccMonitor响应时间（ms）J. Zela Ruiz，C.M.Rubira/Electronic Notes in Theoretical Computer Science 321（2016）11312544.54443.54342.54241.54140.54039.514012010080604020391 2 3 4 5 6 7 8 9 10 11 12小时（h）01 2 3 4 5 6 7 8 9 10 11 12小时（h）(a) 所有场景下的性能质量水平（b）所有情况下的准确性质量水平图八、所有场景下的性能和准确性质量水平响应，因为它不是对服务消费者的充分响应Web服务检测到所有结构损坏故障，并立即将拒绝作为格式错误的SOAP消息进行响应。5结论服务的质量不受任何使用服务的人的控制，并且Web服务的行为可以在运行时改变。服务消费者无法感知这些变化。监控工具成为Web服务中感知质量和功能变化的重要机制同时，监控工具可以成为Web服务质量的入侵代理。当它假装要监控一个Web服务时，我们需要确定：我们的监控目标是什么？我们需要监控什么？如何监控？多久监测一次？如何通报监测结果？对于Web服务监控来说，监控器的配置是很有必要的，因为它可能是导致Web服务质量下降的主要原因。工具化方法对服务质量的负面影响更大，而代理人方法对服务质量的负面影响较小。另一方面，主动监控（调用）是一种操作模式，它会导致Web服务的质量水平下降。研究表明，响应时间和准确性之间存在着一定的关系，同时对这两个质量属性进行监测时，两者之间存在着矛盾。性能是最受关注的质量属性，因为当准确性被监视的同时，Web服务服务器接收到更多的请求时，需要更多的时间来响应服务请求。统计检验证实了这一假设。另一方面，准确性并没有受到影响，在两种情况下，无论是单独监视还是与性能监视器并行监视，准确性始终保持不变。将注射故障添加到准确性监测器中，以确认PatientService的准确性。Web服务不接受参数和结构损坏注入，尽管异常响应不足以满足服务要求PerfMonitorPerfMonitor和AccMonitorPerfMonitor和AccFaultMonitorAccMonitorAccMonitor和PerfMonitorAccFaultMonitor和PerfMonitor响应时间（ms）准确度（%）126J. Zela Ruiz，C.M.Rubira/Electronic Notes in Theoretical Computer Science 321（2016）113消费者，这表明我们的案例研究是高度准确的。然而，性能需要更多的时间来响应每个请求，从而进一步降低了其质量水平。引用[1] Ameller，D.和X. French，[2] Apache Software Fundation，http://axis.apache.org[3] Balfagih，Z.和M. F. Hassan，[4] 巴雷西湖和S. Guinea，ICSOC 05（2005），269[5] Bessayah，F.，A. Cavalli，W. Maja，E. Martins和A. Valenti，[6] 卡布雷拉岛和X. Franch，[7] 崔角，澳-地R. 和H.Y. Jeong，根据用户的QoS偏好进行服务选择的基于代理的质量评估系统，信息科学277（2014），553[8] Delgado，N.，A. Gates和S. Roach，A taxonomy and catalog of runtime software-fault monitoringtools，IEEE Transactions on Software Engineering30（2004），859[9] 弗兰科河J.，“FlexiburistorWS：uma sol u c browsao para monitorora browsao de servi c browsos Web com f o co em atributos de QoS” ， Masters thesis ， Institute of Computing ， University ofCampinas，Campinas，Sao Paulo，Brazil，2014.[10] 弗兰科河J.，C. M. Rubira和A. S. Nascime nto，“FlexibiorWS：umasolucaoparamonitororafunctionaiodeservicosWebcomfocoematributosdeQoS”，CongressoBrasileirodeSoftware：TeoriaePratica，CBSoft2014，21thSessaodeFerramentas2（2014），101-108.[11] Goldberg，W.， 网址：http://www.webinject.org。[12] Ladan，M.一、“Web services metrics: A survey and a classification,”, 2011 International Conferenceon Network[13] 李，K.，J. Jeon，W.李，S.-H. Jeong和S.-W.PossibleApproacheshttp://www.w3c.or.kr/kr-office/TR/2003/ws-qos/[14] 路德维希，H.，A. Dan和R. Kearney， ser. ICSOC 04（2004），65[15] Mairiza，D.，D. Zowghi和N. Nurmuliani，[16] Metzger，A.，S. 本贝尔努湾Carro，M.Driss，G.埃斯凯梅蒂河卡扎米亚金湾Krytikos，A.莫奇，E. 迪尼托湾Wetzstein和F.Silvestri，[17] Moreira A.，拉希德·A和J. Araujo，[18] Neustar Webmetrics，http://www.webmetrics.com[19] Oriol，M.，J. Marco和X.French，Quality models for web services：A systematic mapping，Information and Software Technology56（2014），1167J. Zela Ruiz，C.M.Rubira/Electronic Notes in Theoretical Computer Science 321（2016）113127[20] Oskooei，M. A.和S. M. Daud，[21] Oskooei，M.一、S. B. M. Daud和F. F. Chua，[22] 拉贾莫尼河和M. Elnozahy，[23] Rajendran，T.和P. Balasubramanie，Analysis on the study of qos-aware web services discovery，Journal of Computing1（2009），119[24] 萨拉斯湾I. P.和E. Martins，Security testing methodology for vulnerabilities detection of xss in webservices and ws-security，Electronic Notes in Theoretical Computer Science302（2014），133[25] 王建奎，Y. Liu，M. Li和H. Mei，31st Annual International1（2007），335[26] 郑志，Y. Zhang和M.吕，研究现实世界的Web服务的QoS，IEEE服务计算学报。7（1959），32