T Hese德博士学位L’UNIVERSITÉ DE RENNES和科尔 D八角形第601章数学与信息与通信科学与技术通过"伊曼·泰比"基于Web的数据驱动网络监控：从性能定时到异常检测论文于2022年9月19日在雷恩发表并答辩研究单位：因里亚雷恩-布列塔尼大西洋中心（因里亚-雷恩）答辩前的报告员：Pascal Lorenz上阿尔萨斯大学教授Abdelhamid MELLOUK巴黎东克雷泰伊大学教授评审团组成：主席：纪尧姆·尤沃伊-凯勒法国里维埃拉大学教授检查员：伊莎贝尔·克里斯门特·亚辛·哈吉-奥尔·帕斯卡尔·洛伦茨·阿卜杜勒哈米德·梅洛克雷恩大学Nancy电信教授1上阿尔萨斯大学教授巴黎东克雷泰伊大学教授Dir.论文：杰拉尔多·鲁比诺雷恩第一共同导演。论文：Chadi BarakatInria Côte d'Azur研究总监一个知识分子3首先，也是最重要的，我感谢上帝的祝福，感谢上帝给我力量去承担这项工作，并成功地完成它。一切都归于安拉。我谨向我的主管Chadi Barakat博士和Yassine Hadjadj-Aoul教授表示深切和衷心的感谢，感谢他们的支持、指导和鼓励。在我挣扎的时候，他们对我很有耐心，帮助我克服困难。没有他们的帮助，我今天无法我感谢Gerardo Rubino博士的宝贵建议，感谢评审团花时间审阅我的论文。我谢谢你，爸爸妈妈。谢谢你的耐心和对我的信任，直到最后。我衷心感谢我亲爱的祖母法蒂玛。我想向我心爱的姐妹欣德和法蒂玛-伊扎雷以及我亲密的朋友们表示衷心的感谢，感谢他们在整个论文过程中的支持和鼓励。最后，在这个博士学位期间，我学到了很多东西，特别是关于我自己的东西，并成长了很多。我意识到有时候你最重要的成就是永远不要失去希望。ABSTRACT5Web浏览是Internet上最广泛的应用程序之一，它允许访问大量的服务。它的加速和持续增长增加了互联网基础设施的压力，并导致意外和不想要的性能行为，对交付给最终客户的服务质量产生负面影响。因此，网络运营商和服务提供商需要确保其服务的质量得到保证。对于终端用户来说，了解其网络访问的真实性也很重要，尤其是当其感兴趣的服务质量下降时。这些挑战的解决方案是提出网络监控解决方案，这些解决方案可以评估底层网络的性能，检测异常和瓶颈，并确定性能下降的根源。最近已经提出了许多网络监视和故障排除工具，特别是基于Web浏览器的工具（例如，Speedtest、Netalyzr、HMN、Fathom等）;这些工具能够以便携和简单的方式从终端用户的观点监控互联网性能，并进行有代表性的端到端网络测量。然而，已知这些解决方案会产生高计算成本或过度消耗数据。实际上，现有的工具通常遵循所谓的主动测量方法，其包括将分组探测器注入到网络中以实现准确和精确的网络测量，例如延迟和带宽。这种额外的流量在一个方面肯定是不可忽略的，限制了工具的使用频率，而在另一个方面，它很可能会干扰工具试图测量的正常网络条件。本文的主要目的是利用浏览器中免费提供的被动测量和深度学习技术，在不增加新的测量开销的情况下降低网络性能。为此，我们需要（i）了解Web浏览和底层网络之间的联系，（ii）确定影响Web体验质量（QDOE）的Web指标，以及（iii）提出尽可能准确地从这些Web指标推断网络状态的解决方案我们从地狱网络的主要属性开始（特别是摘要6延迟、带宽和丢失率），来自Web性能度量（例如，连接开始，页面加载时间，[11][20]）使用从浏览器内部获得的被动测量。我们使用机器学习来校准允许这种推理的算法。通过将深度学习算法与随机森林等经典机器学习（ML）算法进行比较，我们强调了任务的可行性和复杂性，并强调了对复杂深度学习算法的需求，如卷积神经网络（CNN）。然后，我们研究并检验了Web复杂性对估计两个特定指标（延迟和下载带宽）的影响。此外，出于对现有基于Web的监控解决方案的公平比较的关注，我们提出了一个集成框架，在该框架中，我们在完全受控的环境中实现我们的解决方案并模仿其他解决方案的行为。本文提出了一个基于贝叶斯高斯混合模型（BGMM）的网络监控框架，并结合了一种实时检测网络异常发生的算法。所有这些贡献共同导致了一个高效的、轻量级的、基于Web的和数据驱动的网络监控和故障排除解决方案，该解决方案作为插件在最终用户的浏览器中运行关键词：网络测量、网络性能、Web浏览、Web性能、受控实验、被动测量、服务质量、预测、深度学习、CNN、聚类、异常检测。R总结在F Rancaise7Web浏览是Internet上最广泛的应用程序之一，它提供了对大量服务的它的加速和持续增长给互联网基础设施带来了更大的压力，并导致了意想不到的和不受欢迎的性能，对向消费者提供的服务质量产生了负面影响因此，网络运营商和服务提供商必须确保同样重要的是，用户被告知他们接入网络的现实情况，特别是当他们的服务质量下降时。这些挑战的解决方案是提供网络监控解决方案，这些解决方案可以最近已经提出了许多网络监视和故障排除工具Speedtest、Netalyzr、HMN、Fathom等）;这些工具能够以简单和便携的方式从最终用户的角度监控互联网性能，并执行代表性然而，这些解决方案以其高计算成本或过度的数据消耗而闻名事实上，现有的工具通常遵循所谓的主动测量方法，即将数据包注入网络以获得准确的网络测量值这种额外的测量流量是显著的，限制了工具类型的使用频率L’objectif为此，我们需要（i）了解Web浏览和底层网络之间的关系，（ii）确定影响Web体验质量（QDOE）的Web度量，以及（iii）提出推断网络状态的解决方案。法文摘要8尽可能精确地从这些Web测量论文贡献论文最重要的贡献是：1. 我们建议从Web性能度量中推断底层网络的关键属性（例如，连接开始，页面加载时间[11]，[20]）基于浏览器中免费提供的被动测量。我们使用 通过将深度学习算法与随机森林等经典ML算法进行比较，我们强调了任务的可行性及其复杂性，因此需要复杂的深度学习算法，如卷积神经网络（CNN）。这种方法使我们能够实现两个主要目标：（i）将主动测量的成本降低到零，以及（ii）推断到我们选择的Web服务器的路径特征，而无需部署专用测量服务器，就像目前使用现有工具所做的那样。我们的深度学习模型我们通过执行敏感性分析来了解Web性能和网络性能之间的依赖关系，从而为这种建模奠定了基础。更详细地说，我们设计了一种方法来收集一个大型数据集，该数据集将Web性能指标与底层网络条件联系起来，并以三个网络指标为例，即往返时间（RTT）、下载带宽和丢失率。我们证明了我们可以仅使用从浏览器被动获得的测量值以良好的精度估计它们，特别是CNN模型，它优于传统的机器学习（ML）技术2. 考虑到法文摘要9我们研究并检查了这对我们的估计模型的影响为此，我们捕获特定于网络的测量值，以及有关所访问网页的特征的信息（例如，网页大小、对象数量等）。以及支持的协议（例如HTTP/1.1、HTTP/2、HTTPS等）。然后，我们应用卷积神经网络（CNN）建模来从这些阶跃测量估计网络的状态。此外，为了与现有的在线监控解决方案进行比较，我们提供了一个集成的框架，在该框架中，我们实施了我们的解决方案，并复制了其他解决方案的行为，以确保在完全受控的环境中对不同的方法进行公平的我们的研究结果表明，网页的特征会影响网络性能指标的估计，因此，它们可以让我们知道如何选择网页，此外，我们的方法能够提供对底层网络性能的非常好的估计，有时优于一些现有的解决方案，特别是当网络参数是大值时。3. 我们提供了一个轻量级的解决方案来监控网络性能，该解决方案基于我们之前引入的解决方案的整合，以区分用户访问的我们的贡献包括（i）基于贝叶斯高斯混合模型（BGMM）的原始网络监控框架，该框架能够为用户访问的不同网页提供关于网络的潜在状态的信息，以及（ii）用于实时检测异常的发生并识别受其影响的网页的算法，从而导致有效的论文组织本论文组织如下：1. 在第2章中，我们将介绍接下来，我们将重新审视质量建模的主题法文摘要10基于Web性能指标的网络，重点介绍研究人员使用的主要方法，以及不同的Web和网络指标。最后，我们回顾了有关网络监控和异常检测的文档，以及可用的测量工具2. 在第3章中，我们详细描述了我们从Web性能指标和数据收集过程中估计底层网络指标的方法。 为此，我们设计了一种方法来收集一个大型数据集，该数据集将Web性能指标与底层网络指标相关联。然后，我们提出了卷积神经网络（CNN）模型，以校准算法，允许推断网络的状态，尽可能准确然后，我们验证了我们的解决方案，并通过将其与两种已知的ML技术（神经网络和随机森林模型）进行比较来研究其有效性，并讨论了我们的实验结果。3. 在第4章中，考虑到Web复杂性对网络性能的影响，我们研究并检验了这种对网络性能估计的影响。 我们提出捕获更具体的测量值，并使用有关访问的网页特征以及支持的协议的信息进行扩展，我们应用基于CNN的深度学习算法从这些被动测量值中估计网络状态。然后，我们分析了 此外，为了与现有的Web监控解决方案进行比较，我们提供了一个集成框架，在该框架中，我们实现了我们的解决方案，并复制了其他解决方案的行为。最后，我们展示了我们的方法如何能够提供对底层网络性能的非常好的估计，有时甚至超过了一些现有的解决方案。4. 在第5章中，我们首先提出了一个基于贝叶斯高斯混合模型（BGMM）的原始网络矛监控框架，该框架能够为用户访问的不同网页提供底层网络状态信息然后，我们验证我们的解决方案并研究其有效性。最后，我们提出了一种算法，可以监控网络并检测异常的出现。法文摘要11实时，从而获得有效的Web浏览故障排除解决方案5. 在第六章中，我们结束了论文，并说明了未来工作的一些前景。13TABLE来自C组确认3摘要5法文摘要7图17列表表列表19缩写211引言231.1一般背景231.2挑战和动机251.2.1基于Web的网络监控251.2.2Web和网络性能关系261.2.3网络性能异常检测271.3论文贡献271.4论文路线图292最新技术水平312.1网络概述312.1.1Web基础知识322.1.2Web演进342.1.2.1Web内容演进352.1.2.2传输协议演进362.1.3网页加载过程382.1.4Web性能392.2网络性能监控412.2.1网络测量方法4214内容表2.2.2故障排除平台和工具。 . . . . . . . . . . . . ...432.2.2.1故障排除平台。... ... ... ... ... ... ... ... ... ... ... ... ... ...432.2.2.2基于Web的故障排除工具。 . . . . . . . . . ...442.2.3网络监控和异常检测。 . . . . . . . . ...462.3基于Web的网络状态推断。 . . . . . . . . . . . . . . . . . ...472.3.1数据收集。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...482.3.1.1众包技术。... ... ... ... ... ... ... ... ... ... ... ... ... ...482.3.1.2受控实验。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...492.3.2Web性能指标。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...502.3.2.1网络体验质量。... ... ... ... ... ... ... ... ... ... ... ... ... ...502.3.2.2感知性能指标。 . . . . . . . . . . ...502.3.2.3网站目标指标。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...512.3.3网络QoS指标。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...533网络性能下降在浏览器553.1引言。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...... ... ...553.2通过Web性能测量估计网络状态。... ...573.2.1方法论。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...572.2灵敏度分析。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...593.2.3基于CNN的网络性能估算。... ... ... ... ... ... ... ... ...633.3绩效评估。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...653.3.1平台实施。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...653.3.2结果。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...663.4结论。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...... ... ... ...694网页复杂性对网络性能下降的影响714.1引言。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...7115... ... ...4.2延迟和带宽不足。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...734.2.1数据收集阶段。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...734.2.2评估阶段。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...744.2.3特征重要性研究。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...764.3绩效评估。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...784.3.1网页大小和对象数量的。... ... ... ... ... ... ... ...784.3.2协议对估计的影响：HTTP/1.1与HTTP/2。. . ...794.4我们与其他基于Web的监控解决方案的比较方法。 . . . ...8215内容表4.4.1集成平台实施824.4.2结果844.5结论905利用Web浏览性能数据进行网络监控915.1导言915.2使用数据聚类的监控925.2.1数据收集935.2.2数据驱动的网络估计945.2.3数据聚类955.2.4聚类验证965.2.5实时异常检测985.2.6异常检测分析995.3绩效评估995.3.1框架设置995.3.2BGMM调谐1015.3.3结果1025.3.4与其他聚类方法的5.3.5异常检测确认1065.4结论1076结论和展望1096.1结论1096.2前景1106.2.1扩展到其他上下文1106.2.2众包和联合学习（FL）1126.2.3异常位置113出版物115参考书目117ISTF.伊古尔斯171.1互联网发展时间表231.2Feldmann等人认为，COVID19爆发期间互联网流量的变化具有多个优势。 [28].............................................................................................................242.1基本Web概念322.2Web演进时间线342.3网络技术时间表352.4根据W3Techs.com，目前使用HTTP、HTTP/2、QUIC和SPDY的网站百分比2.5如何加载和显示网页382.6故障排除工具432.7从Web性能到网络质量482.8根据W3C规范的Web浏览主事件和相关指标3.1实验方法583.2DNS对网络QoS60的敏感性3.3将启动敏感性连接到网络QoS603.4对网络QoS61的请求敏感性3.5对网络QoS61的响应灵敏度3.6DOM对网络QoS61的敏感性3.7FCP对网络QoS61的敏感性3.8第一种油漆对网络QoS63的敏感性3.9>>3.10 使用不同数量的神经元比较NN和CNN3.11 射频性能与损耗率的树数3.12 CNN对NN和随机森林684.1数据收集和处理阶段744.2第75阶段评估18图列表4.3使用Random Forest77的功能重要性4.4热图相关性特征矩阵784.5前500名网页的RTT和带宽估计误差4.6RTT和下载带宽估计误差作为数字的函数不同网页大小的对象数量804.7HTTP/1.1和HTTP/2在不同范围内的估计误差延迟和带宽814.8RTT和下载带宽误差取决于对象数量对于HTTP/1.1版本HTTP/2824.9集成平台实现844.10 实施的故障排除技术的RTT错误854.11 下载已实现故障排除技术的854.12 根据RTT86实现的技术错误4.13 在下载带宽方面实现的技术错误864.14 估计RTT和带宽的性能比较-我们知道的两页和新页4.15 RTT和下载带宽误差取决于页面大小874.16 作为对象数量函数的RTT和下载带宽误差5.1我们的评估在三个阶段5.2BGMM网络监控分析流程图965.3框架实现1005.4500个网页的BGMM聚类准确性1035.5查找正确簇数的准确性1035.6聚类准确性与页数1035.7实现85%聚类准确度所需的最小页数热图1045.8不同规模的聚类准确性与页数之间的关系必须在网络条件之间1055.9不同百分比网页的延迟增加和带宽下降的准确检测
