T HASHASEDEDOCTORAT DEL’UNIVERSITÉ DE RENNES公司简介 D八角NO601信息与通信专业的数学与科学与技术Par« Imane TAIBI »基于Web的数据驱动的网络监控：从性能评估到异常检测Thèse présentée et soutenue à Rennes，le « 19 Septembre 2022 »Unité de recherche：Centre Inria Rennes-Bretagne Escherantique（Inria-Rennes）报告员准备：Pascal LORENZ高级阿尔萨斯大学教授评审团组成：主席：纪尧姆·乌尔沃伊-凯勒蓝色海岸大学审查员：IsabelleCHRISMENTYassineHADJADJ-AOUL Pascal LorenzAbdelhamid MELLOUKNancy Mrsseur，Rennes 1 Mrsseur，Haute Alsace Mrsseur，Paris-EstCréteilDir. de thèse：赫拉尔多·鲁比诺雷恩Inria大学研究主任共同导演。dethèse：Chadi BARAKATDirecteur de recherche，Inria Côte一个小问题3首先，我感谢上帝的祝福，感谢他给我力量来承担这项工作，并成功地完成它。一切赞颂全归真主。我要向我的导师Chadi BARAKAT博士和Yassine HADJADJ-AOUL教授表示深切和诚挚的感谢，感谢他们的大力支持、指导和鼓励。在我挣扎的时候，他们对我非常耐心，帮助我克服困难。没有他们的帮助，我我感谢Gerardo RUBINO博士的宝贵建议，感谢评委会花时间审查我的论文。我太感谢你们了，爸爸妈妈谢谢你的耐心和对我的信任，直到最后。感谢我亲爱的祖母法蒂玛。我衷心感谢我亲爱的姐妹欣德和法蒂玛-伊扎赫以及我的亲密朋友们在整个论文中给予我的支持和鼓励最后，在读博士期间，我学到了很多东西，尤其是关于我自己的，也成长了很多。我意识到，有时候你最重要的成就就是永远不要失去希望。A抽象5Web浏览是互联网上最广泛的应用之一，它允许访问大量的服务。它的加速和持续增长增加了对互联网基础设施的压力，并导致意外和不必要的性能行为，对交付给最终客户的服务质量产生负面影响。因此，网络运营商和服务提供商需要确保其服务质量得到保证。让最终用户了解其网络接入的实际情况也很重要，特别是当他们感兴趣的服务质量下降时。这些挑战的解决方案通过提出能够评估底层网络的性能、检测异常和瓶颈以及识别性能下降的根本原因的网络监控解决方案来实现。最近已经提出了许多网络监视和故障排除工具，特别是基于Web浏览器的工具（例如，Speedtest、Netalyzr、HMN、Fathom等）; 这些工具能够从终端用户的角度以便携和简单的方式监视因特网性能，并进行代表性的端到端网络测量。然而，已知这些解决方案会导致高计算成本或过度消耗数据。事实上，现有的工具通常遵循所谓的主动测量方法，即在网络内部注入数据包探测器，以实现准确和精确的网络测量，例如延迟和带宽。这种额外的测量流量一方面是不可忽略的，限制了工具的使用频率，另一方面它很可能干扰工具试图测量的正常网络条件。本论文的主要目的是利用浏览器中免费提供的被动测量和深度学习技术来推断网络性能，而无需增加新的测量开销。为此，我们需要（i）了解Web浏览和底层网络之间的联系，（ii）确定影响Web体验质量（QoE）的Web指标，以及（iii）提出解决方案，以尽可能精确地从这些Web指标推断网络状态我们首先推断底层网络的主要属性（特别是），摘要6从Web性能度量（例如，连接开始，页面加载时间，[11]，[20]）使用从浏览器中我们使用机器学习来校准允许这种推断的算法通过将深度学习算法与随机森林等经典机器学习（ML）算法进行比较，我们强调了任务的可行性及其复杂性，因此需要复杂的深度学习算法，如卷积神经网络（CNN）。然后，我们研究和检查的影响，估计两个具体的指标，延迟和下载带宽的Web复杂性。此外，出于与现有基于Web的监控解决方案进行公平比较的考虑，我们提出了一个集成框架，在该框架中，我们实现了我们的解决方案，并在完全受控的环境中模仿其他解决方案的行为。之后，我们提出了一个原始的网络监控框架的基础上贝叶斯高斯混合模型（BGMM）加上一个算法来实时检测网络异常的发生。所有这些贡献加在一起，形成了一个高效、轻量级、基于Web和数据驱动的网络监控和故障排除解决方案，该解决方案作为插件在最终用户的浏览器中运行保留字：网络测量，网络性能，Web浏览，Web性能，受控实验，被动测量，服务质量，预测，深度学习，CNN，聚类，异常检测。雷苏姆ENF RANDENAIS7La navigation Web est随着互联网基础设施的不断发展，越来越多的人开始关注和关注不合格的产品，这对消费者的服务质量产生了负面影响。因此，网络运营商和服务四人组必须确保服务质量Il est également important que les utilisa-soient informés de la réalité de Euclas accès au réseau，en particulier lorsque laqualité de leurs services se dériore.这种情况的解决办法是通过提出能够评估次级电网性能、检测异常和堵塞以及确定性能退化的深层原因的电网监测解决办法De nombreux outils de surveillance et de dépannage du réseau ont récementété proposés ， en particulier les outils basés sur le navigateur Web （ e.g. ，Speedtest、Netalyzr、HMN、Fathom等）;ces outils sont capables de surveillerles performance然而，这些解决方案都是为了提高计算效率或降低消费者的负担而设计的。实际上，存在着一般称为主动测量方法的装置，它包括用于获得精确测量方法的网内注射器，包括潜伏期和有效期这种测量辅助流量是不可忽略的，限制了使用类型outils的频率，并且可能会干扰测量设备的网络条件L’objectif最后，我们将（i）理解导航网络和底层网络之间的关系，（ii）确定影响网络体验质量（QoE）的网络测量方法，以及（iii）提出解决方案，以降低网络的访问量法语简历8通过这些措施，我们可以做到更加精确。Contributions de la thèse：对这一主题的贡献最重要的是：1. Nous proposons de deduire les principales propriétés du réseau sous-journalà partir des mesures de performance web（e.g.，Connect Start，Page Load Time [11] ， [20] ） en se basant sur des mesures passiveslibrement disponibles dans le navigateur.我们利用 通过与随机森林算法ML分类的深度学习算法进行比较，我们可以发现，深度学习算法的复杂性和复杂性与神经元卷积网络（CNN）相似。这一点使我们有两个主要目标：（一）确定零活动测量的概念，（二）确定化学品对我们选择的服务网络的特性，而不需要重新部署现有的测量服务，就像现在的情况一样。NosmodèlesNouspreéparonsleterrainpourcettemodélisationeneffectuant une analysis de sensi-bilité pour comprendre la dependance entrela performance au niveau du web et celle du réseau.此外，我们还考虑了一种方法，用于收集一个大的数据集，该数据集在一个三个网络测量条件下的网络性能测 量 ，包括RTT、téléchargement 和 taux de perte 。 Nous montrons quenous pouvons les estimer avec une bonne précision en utilisant estimationdes mesures passivement obtenues à partir du navigateur，en particulieravec le CNN qui surpasse les techniques2. 我们对网页收费过程的影响程度法语简历9这些研究和考试对我们的估计模式、注意事项、数据和传输带产生了影响Pour ce faire，nous capturons des mesures spécifiques au web，avec de因为这些协议是收费的（par ex. HTTP/1.1、HTTP/2、HTTPS等）。然后，我们应用神经元卷积网络（CNN）模型来估计神经元卷积网络的部分参数。此外，为了与现有的监测解决方案进行比较，我们建议在我们的解决方案和其他解决方案的执行过程中建立一个完整的框架，以确保在整个控制过程中对不同方法进行公平的比较Nos résultats montrent que les caractéristiques desweb influences sur此外，我们的方法学是一种测量方法，它提供了一种非常好的地下管网性能估计，有一些解决办法，特别是有很大价值的地下管网参数。3. Nous proposons une solution légère pour surveiller la performance duréseau basée sur la consolidation de notre solution introduite plus tôt afinde dif- férencier entre les différentes conditions du réseau qui font face auxpages web visitées par我们的贡献包括：（i）一个基于贝叶斯混合模型的网络监测框架，能够为用户访问不同网页的网络底层提供信息;以及（ii）一个算法，用于检测异常现象和识别不受影响的网页，这是一个降低导航网络效率的解决方案Organisation de la Thèse：这是按照我的要求组织的。1. 在第2章中，我们介绍了网络上不同方面的艺术接着我们重新审视了质量改进的主题法语简历10des réseaux à partir de metriques de performance web en mettant en avantles principales approches utilisées par les chercheurs ， ainsi que lesdifférentes metriques web et réseaux.然后，我们检查了有关网络监视和异常检测的文件，这些异常与可用的测量方法有关。2. 在第3章中，我们详细介绍了评估网络性能测量方法的方法，包括收集数据的过程。为此，我们考虑了一种方法，用于收集一个大的数据集，该数据集依赖于网络性能的测量值，这些测量值用于网络的测量值。此外，我们提出了我们的卷积神经元网络模型（CNN），以校准允许网络影响的算法，并尽可能精确然后，我们验证了我们的 解决方案，并研究了ML连接的两种技术：神经元网络和aléatoires模型的比较效果，并讨论了我们的经验结果。3. 在第4章中，我们研究并检验了网络复杂性对网络性能的影响。 Nous proposonsde capturer des mesures plus spé-cifiques que nous étendons avec desinformations sur les caractéristiques des pages Web visitées ainsi que lesprotocols pris en charge，et nous appliquons l'algorithmd'approximationprofondàbasedeCNNpourestimerl'étatduréseauàpartirdecesmesurespassives. 接着，我们分析了网络复杂性对估计的 此外，aux fins de comparaison avec les solutionsde surveillance Web existantes ， nous présentons notre framework in-tégrédans lequel nous mettons en Üuvre notre solution et reproduisons le-portement d'autres solutions.最后，我们的montrons评论我们的方法是能够提供一个非常好的估计的性能的réseau sous-jumps，超越parfois certaines解决方案存在。4. 在第5章中，我们提出了一个基于贝叶斯混合模型（BGMM）的原始网络监控框架，能够提供关于网络底层不同页面Web访问的信息我们要验证我们的解决方案并研究其效果。最后，我们提出了一种能够监测网络和检测异常现象的算法法语简历11在目前，我们正在寻求一种解决方案，以提高导航网络的效率。5. 在第六章中，我们总结了这一点，并通过阐明未来工作的一些观点来完成。13没能附件鸣谢3摘要5Résuméen Français7图17表一览表. 19缩略语. 211一.导言. 231.1一般情况.231.2挑战与动力251.2.1基于Web的网络监控251.2.2Web和网络性能关系261.2.3网络性能异常检测271.3论文的贡献271.4路线图292最新技术312.1网站概览312.1.1Web基础知识322.1.2Web演化342.1.2.1Web内容的演变352.1.2.2传输协议的演变362.1.3网页加载过程382.1.4Web性能392.2网络性能监控412.2.1网络测量方法14目录2.2.2平台和工具。 . . . . . . . . . . . . .432.2.2.1平台故障排除。. . . . . . . . . . . . . .432.2.2.2基于Web的故障排除工具。 . . . . . . . . . .442.2.3网络监控和异常检测。 . . . . . . . . .462.3基于Web的网络状态推断。 . . . . . . . . . . . . . . . . . .472.3.1数据收集。. . . . . . . . . . . . . . . . . . . . . . . . .482.3.1.1www.example.com . . . . . . . . . . . . . .482.3.1.2受控实验. . . . . . . . . . . . . . . .492.3.2Web性能指标。. . . . . . . . . . . . . . . . . . .502.3.2.1 Web体验质量。. . . . . . . . . . . . . .502.3.2.2感知性能指标。 . . . . . . . . . . .502.3.2.3 Web客观指标。. . . . . . . . . . . . . . . .512.3.3网络QoS度量。. . . . . . . . . . . . . . . . . . . . . .533浏览器中的网络性能推断表单553.1导言。. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .553.2从Web性能测量中估计网络状态。. .573.2.1方法。. . . . . . . . . . . . . . . . . . . . . . . . . .573.2.2敏感性分析。. . . . . . . . . . . . . . . . . . . . . . .593.2.3基于CNN的网络性能估计。. . . . . . . . .633.3业绩评价。. . . . . . . . . . . . . . . . . . . . . . . . .653.3.1平台实施。. . . . . . . . . . . . . . . . . . . .653.3.2结果。. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .663.4结论。. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .694网页复杂度对网络性能推断的影响714.1导言。. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .714.2延迟和带宽推断。. . . . . . . . . . . . . . . . . . . .734.2.1数据收集阶段。. . . . . . . . . . . . . . . . . . . . . .734.2.2估算阶段。. . . . . . . . . . . . . . . . . . . . . . . .744.2.3特征重要性研究。. . . . . . . . . . . . . . . . . . .764.3业绩评价。. . . . . . . . . . . . . . . . . . . . . . . . .784.3.1网页大小和对象数量的。. . . . . . . .784.3.2协议对估计的影响：HTTP/1.1 vs HTTP/2。. . .794.4我们的方法与其他基于网络的监控解决方案。 . . . .8215目录4.4.1综合平台的实施4.4.2结果844.5结论.905利用Web浏览性能数据进行网络监控915.1一、导言. 915.2使用数据聚类的5.2.1数据收集5.2.2数据驱动的网络估算945.2.3数据聚类5.2.4聚类验证965.2.5实时异常检测985.2.6异常检测分析995.3业绩评价5.3.1框架设置995.3.2BGMM调谐1015.3.3结果1025.3.4与其他聚类方法的1055.3.5异常检测确认1065.4结论1076结论和展望1096.1结论1096.2观点1106.2.1对其他背景的1106.2.2众包和联邦学习（FL）1126.2.3异常的定位113出版物115参考书目117L IST F IGURES171.1Internetevolution时间轴231.2根据Feldmann等人的研究，在COVID 19爆发期间，互联网流量在多个有利位置发生变化。 [28].....................................................................................第二十四章2.1Web基本概念322.2Web演化时间轴342.3网络技术的时间轴2.4根据W3Techs.com，使用HTTP、HTTP/2、QUIC和SPDY的网站的分类362.5如何加载和显示网页382.6故障排除工具432.7从Web性能到网络质量2.8根据W3C规范的Web浏览主要事件和相关指标3.1实验方法3.2DNS对网络QoS的603.3Connect Start sensitivity tonetwork QoS603.4请求对网络QoS的613.5对网络QoS的响应灵敏度613.6DOM对网络QoS的613.7FCP对网络QoS的613.8First Paint对网络QoS的633.9PLT对网络QoS的633.10 使用不同数量神经元的NN和CNN之间的比较673.11 射频性能与树数的关系，损失率683.12 CNN与NN和Random Forest68的对比4.1数据收集和处理阶段4.2估计阶段7518图目录4.3使用随机森林的特征重要性774.4特征的热图相关矩阵784.5前500个网页的RTT和带宽估计误差794.6RTT和下载带宽估计误差是数量的函数不同网页大小的对象的BER804.7HTTP/1.1和HTTP/2对不同范围的估计错误延迟和带宽814.8RTT和下载带宽误差与对象数量有关对于HTTP/1.1版本HTTP/2824.9综合平台的实施4.10 实施故障排除技术的RTT错误854.11 下载已实施故障排除技术854.12 实施技术的误差（RTT86）4.13 在下载带宽方面实施技术的错误864.14 估计RTT和带宽的性能比较-我们知道的页面和新页面之间864.15 RTT和下载带宽错误在页面大小的函数874.16 RTT和下载带宽误差与对象数量的函数关系885.1我们的评估分三个阶段925.2BGMM网络监测分析流程图965.3框架实施1005.4500个网页的BGMM聚类精度1035.5找到正确数量的聚类的准确性1035.6聚类准确性与页数1035.7实现85%聚类准确度所需的最少页面数的热图1045.8网络条件之间不同平衡的聚类准确度与页面数量的关系1055.9针对不同百分比的网页的延迟增加和带宽下降的准确性检测106L IST关于TABLES192.1主要的网络故障排除工具及其方法2.2常见的Web性能即时指标522.3一些网络性能时间积分指标534.1Web和网络性能指标764.2实施的技术845.1Web性能指标945.2聚类模型之间的比较105
