虚拟化环境中的恢复能力和规模调整——硬件架构[cs.AR]研究总结2020

虚拟化环境中的恢复能力和规模调整Barbe Thystere Mvondo Djob引用此版本：Barbe Thystere Mvondo Djob.虚拟化环境中的恢复能力和规模调整。硬件架构[cs.AR]。格勒诺布尔阿尔卑斯大学[2020-..]，2020.英语NNT：2020GRALM 074。电话：03324559HAL Id：tel-03324559https://theses.hal.science/tel-033245592021年8月23日提交HAL是一个多学科的开放获取档案馆，用于存放和传播科学研究文件，无论它们是否已这些文件可能来自法国或国外的教学和研究机构，或来自公共或私人研究中心。L’archive ouverte pluridisciplinaireTHAPOSE为了获得等级格勒诺布尔阿尔卑斯大学博士专业：信息Arrêtée ministériel：25 mai 2016Présentée parBarbe Thystere MVONDO DJOBThèse dirigée parNoël DE PALMAAlain TCHANA的著作Grenoble信息学院的筹备工作信息科学与技术学院信息科学与技术学院Résilience et dimensionnement dansdes Acknements virtualisés.Thèse soutenue publiquement le18 Décembre2020，devant le jury composé de：M.帕斯卡尔·费尔伯纳沙泰尔大学，特别报告员，校长M.威利·茨韦内普尔EPFL悉尼大学，特别报告员M.马克·夏皮罗Sorbonne Université-LIP6 Inria，ExaminateurM.雷诺·拉谢兹格勒诺布尔-阿尔卑斯大学M.丹尼尔·哈吉蒙因维特·INPT/ENSEEIHTM.阿兰·查纳ENS Lyon，Co-Directeur de thèseM.诺埃尔·德帕尔马Université de Grenoble Alpes，Director de thèse“致我的祖父和同名同姓的已故MVONDO Barthélemy，致我的祖母非政府组织NDJOCK ELIZABETH”致谢i致谢公平地说，我承认许多人对这篇论文做出了贡献。如果我忘了提到在我读博士期间帮助过我的人的名字，我想向你道歉。这是无心之过。首先，我要感谢我的顾问阿兰·查纳和诺埃尔·德帕尔马。通过他们坚定不移的完美主义和热情，他们教会了我如何做重要的研究。他们牺牲了很多时间来正确地跟随和支持我（和他们的其他学生）。我希望我能成为其他人的灵感来源，就像你对我一样。我要感谢Daniel Hagimont、Pascal Felber、Marc Shapiro、Renaud Lachaize和WillyZwaenepoel成为我的陪审团。很荣幸能得到这样的世界级专家的评审我我要感谢LIG实验室的ERODS团队、LIP实验室的AVALON团队、I3S实验室的SCALE团队和IRIT实验室的SEPIA团队的所有成员在这些团队的所有不同的逗留期间，我对每个人的善良感到惊讶。每一次相遇都是朝着实现这一目标迈出的真正一步。我要特别感谢ERODS的行政助理 Muriel Paturel，感谢他接受了我的多次请求;你缓解了我的我要感谢我在博士期间工作过的特别小组，Bao Bui、Boris Teabe、GregoireTodeschi 、 Kevin Jiokeng 、 Kevin Nguetchouang 、 Kouam Josiane 、 LavoisierWapet、Lucien Arnaud、Mathieu Bacou、Mohamed Karaoui、Stella Bitchebe、TuDinh Ngoc和Yuhala Peterson。很高兴与你们每个人交流。祝大家在各自的工作中有好的延续。我要感谢我的家人，特别是我的父亲Mvondo Mvondo Barthelemy，我的母亲Ndjock Fleur Nadine，我的弟弟Zoua Mvondo和我的妹妹Lingom Mvondo，感谢他们在这段奇妙旅程中的所有支持。我你对我是个很好的支持。最后，我想感谢所有支持我度过这段美好经历的朋友。我很幸运有这么多人在我身边支持我。谢谢大家简历iii简历Les systèmes de virtualisations ou hyperviseurs jouent un role critical dans la pilelogicielle des platformes de cloud computing.Leur concept and extensive oeuvre ont unimpact significatif sur la performance，la sécurité et la robustesse des applications desutilisa-du cloud.I型的管理者具有更高的功效，提供与II型相似的更好的隔离和更好的性能。Pour la majorité des hyperviseurs de Type-I actuel（ex.，Xen ou Hyper-V），l'hyperviseur s'appuie sur une machine virtuelle privilégiee（pVM）. La pVMaccomplit des tâches à la fois pour l'hyperviseur（ex.，l'administration des VMs）etpour les VMs（gestion des entrées/sorties）.在基于pVM的存储器一致性和非一致性架构（UMA NUMA）中，这种架构提出了两个问题• (1)pVM资源的尺寸和位置（CPU+备忘录）— 实际上，pVM的资源的尺寸和位置会影响VM应用程序的性能问题很复杂，因为pVM的需求和VM的活动之间存在着一种强相关性。现有的解决方案都是静态方法，这些方法在一个特定的维度上展开，或者不包括在一个架构NUMA中放置资源。• (2)la tolérance aux pannes de la pVM- La pVM étant un composant central，ellereprésente un élément criticism dont la zone de dommage en cas de défação esttrès large. Les approches existantes to amélibrary la tolérance aux pannes de lapVM offrent des faibles guaranties de résilience ou génèrent des degradationsimportantly.Cette thèse proposed plusieurs modifications à la pVM d'un point de vuearchitectural et logique afin de traiter les problèmes summentionnés.具体地说，这是一个介绍：1. Closer ， un principe directeur pour la concept d'un OS adapté aux besoins depVM。Closer consiste respectivement à ordonnancer et allouer les tâches et lamemémoire de la pVM au plus près des VMs cible.重要的是一种动态的方法，它掩盖了pVM的维度，将资源放置在一个具有本地化策略的架构NUMA上。2. 两种新的机制，它们减少了“翻页”的退化（在E/S网络虚拟化中使用的协议），它们在一个架构NUMA上使用在选择pVM的页面时，pVM的页面将使用“页面翻转”来实现虚拟化，这些机制具有实际虚拟化协议的最佳性能。简历iv3. Un ensemble de trois principes directional （ désagrégation ， spécialisation etproac- tivité）et des techniques我们将这些原理应用于所有的实验中Nous validons这些结果得到了最好的表演，因为艺术的发展完全是在观察表演的不合理性这一点证明了pVM在虚拟化中的重要性，也证明了它需要科学界的重视Mots-clés：Virtualisation，NUMA，hyperviseur，pVM，dimensionnement，résilience.摘要v摘要虚拟机监视器（VMM）或管理程序在云计算平台的软件栈中起着至关重要的作用。它们的设计和实现会显著影响云租户应用程序的性能、安全性和健壮性分类为类型I的管理程序在当今的大多数I型虚拟化系统中（例如，Xen或Hyper-V），hypervisor依赖于特权虚拟机（pVM）。pVM实现对管理程序（例如，VM生命周期管理）和客户端VM（I/O管理）。在统一和非统一存储器访问（UMANUMA）架构上，这种基于pVM的架构提出了两个具有挑战性的问题：• (1)pVM适当的pVM大小和资源放置会影响客户的应用程序性能。这是一个棘手的问题，因为pVM的需求和客户活动之间存在紧密的相关性。现有的解决方案要么提出导致过度/不足供应的静态方法，要么不考虑NUMA架构中的资源放置• (2)pVM用于改进pVM的容错性的现有方法本文从体系结构和逻辑的角度提出了几个对pVM的设计修改，以解决这些问题。具体而言，本文介绍了：1. Closer是为pVM设计合适的操作系统的原则。Closer包括分别调度和分配pVM的任务和内存，尽可能接近目标客户机。Closer是一种动态方法，它消除了调整pVM大小的需要，并使用其局部性策略处理NUMA体系结构中的资源放置。2. 在NUMA体系结构上使用时，两种新的机制可以减少页面翻转（网络I/O虚拟化中使用的一种有效方案）的开销通过根据pVM页面的位置仔细选择pVM页面进行页面翻转，后一种机制实现了比当前网络虚拟化协议更好的性能3. 一组三个设计原则（分解，专业化和主动性）和优化的实现技术，用于构建弹性pVM，而不会使客户机应用程序性能下降。我们构建了基于pVM的虚拟机管理程序的原型（依赖于Xen虚拟机管理程序），它实现了上述所有原则我们通过以下方式验证原型的有效性：vi摘要利用一系列基准进行若干评价。所获得的结果显示出更好的性能比国家的最先进的方法和低开销。本文强调了pVM在虚拟化环境中的关键作用，并表明它需要更多的关注，从研究界。关键词：虚拟化、NUMA、虚拟机管理程序、pVM、规模调整、恢复能力。科学出版物vii科学出版物在我的论文中，我成功地发表了以下论文。然而，本论文主要是建立在出版物中提出的想法。I NTERNATIONALP职位空缺• 用于弹性虚拟机的细粒度容错技术？？Djob Mvondo，Alain Tchana，Renaud Lachaize，Daniel Hagimont，Noel DePalma IEEE/IFIP独立系统和网络国际会议-DSN 2020• Closer：A new design principle for the privileged virtual machineOS<$Djob Mvondo，Boris Teabe，Alain Tchana，Daniel Hagimont，Noel De PalmaIEEE计算机和电信系统建模、分析与仿真国际研讨会-MASCOTS 2019• 内存翻转：对云中NUMA虚拟机的威胁†Djob Mvondo，Boris Teabe，Alain Tchana，Daniel Hagimont，Noel De PalmaIEEE计算机通信国际会议-INFOCOM 2019• 扩展虚拟化（XPV）与NUMA相遇时的情景<$Vo Quoc Bao Bui ， Djob Mvondo ， Boris Teabe ， Kevin Jiokeng ， PatrickLavoisier Wapet ， Alain Tchana ， Gaël Thomas ， Daniel Hagimont ， GillesMuller，Noel De Palma欧洲计算机系统会议-Eurosys 2019国家P职位空缺• FaaSCache：Systeme de cache memoire opportuniste et sans surcoquittspourle FaaS.Kevin Nguetchouang ， Lucien Ngale ， Stephane Pouget ， Djob Mvondo ，Mathieu Ba- cou，Renaud Lachaize -Journées Cloud 2020• 硬件辅助的虚拟机页面跟踪Stella Bitchebe，Djob Mvondo，Alain Tchana，Laurent Réveillère，Noel De Palma— COMPAS 2019• 使用智能函数配置算法提高SGX性能Eric Mugnier、Barbe Thystère Mvondo Djob和Alain Tchana-COMPAS 2019• 内存翻转：NUMA如何影响虚拟机？†Djob Mvondo，Boris Teabe，Daniel Hagimont，Noel De Palma-COMPAS 2018VIII目录致谢。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .我简历三摘要v科学出版物vii目录viii介绍11背景与动机71.1关键概念. 81.1.1服务器虚拟化81.1.2类型I和类型II虚拟机管理程序91.1.3NUMA虚拟化121.1.4I/O虚拟化131.2pVM-centric architecture problems151.2.1pVM15的资源调整放置1.2.1.1第1季度- pVM规模调整161.2.1.2Q2- pVM资源放置171.2.1.3Q3- pVM资源计费181.2.2pVM资源放置对内存翻转的191.2.3pVM容错212解决UMA-NUMA架构问题252.1设计原则272.1.1资源管理2.1.1.1主容器的资源管理292.1.1.2二级容器29的资源管理2.1.2SC中的I/O调度292.1.2.1数据包接收30科学出版物ix2.1.2.2数据包发射32目录2.1.3SC中的uVM销毁和迁移调度322.1.3.1uVM销毁322.1.3.2uVM实时迁移332.2Closer：评价332.2.1实验装置和方法332.2.2分配给部长级会议的342.2.3地方利益352.2.3.1改善行政工作2.2.3.2I/O任务改进352.2.4按使用付费的有效性2.2.5共392.3与最新技术的2.3.1pVM管理任务412.3.1.1擦洗412.3.1.2实时移徙412.3.2I/O虚拟化422.3.3pVM资源计费422.4摘要423减轻pVM资源放置对零拷贝方法的443.1用于内存翻转的463.1.1poolSize46的静态值3.1.2poolSize47的动态值3.2异步内存迁移483.2.1定期内存迁移483.2.2基于远程存储器48的量3.3评价493.3.1实验设置和方法3.3.2结果分析513.4与最新方法的3.4.1I/O虚拟化（再次）523.4.2NUMA虚拟化533.4.3我们的方法533.5摘要534提高pVM容错能力55VIII4.1Xen pVM4.2PpVMM设计594.2.1基本理念594.2.2一般故障型号59目录4.3执行情况604.3.1XenStore_uk FT解决方案614.3.1.1故障模型.............................................................................614.3.1.2FT溶液。............................................................................ 614.3.2net_uk FT solution644.3.2.1故障模型.............................................................................644.3.2.2FT溶液。............................................................................ 644.3.3tool_uk FT solution664.3.3.1故障模型.............................................................................664.3.3.2FT溶液。............................................................................ 674.3.4全局反馈回路674.3.5调度优化684.4评价694.4.1XenStore_uks704.4.1.1稳健性704.4.1.2间接费用4.4.2net_uk714.4.2.1稳健性714.4.2.2间接费用734.4.2.3CPU使用率744.4.3tool_uk744.4.4全球失败754.4.5调度优化754.5相关工作764.5.1pVM弹性。.........................................................................................764.5.2虚拟机管理程序恢复能力。............................................................. 774.6摘要77结论80参考资料一图表科学出版物xi表15VIII介绍1介绍上下文C 云计算的公司采用不断增长，并代表高达90%[1，35]。毫不奇怪，考虑到这一系列带来的众多优势，副模特。其中一些优点是没有财产成本，增强的可扩展性和高可用性率[22]。云计算允许公司专注于业务逻辑，将维护负担留给云提供商。为了确保为众多客户提供服务，同时保证完整性、机密性和性能，云提供商依赖虚拟化。真正的基石，虚拟化支持物理服务器硬件的多路复用（例如，存储器），同时确保它们之间的隔离云提供商通过虚拟化系统（通常称为虚拟机管理程序）的帮助实现虚拟化。虚拟机管理程序是一种软件，它支持在称为虚拟机（以下简称VM）的多个实体之间共享物理服务器硬件资源因此，它在确保VM内运行的应用程序的性能和安全性方面起着至关重要的此外，它必须是健壮的，以确保虚拟机的高可用性被分类为类型I的管理程序（例如，Xen [11]、Hyper-V [63]等）直接在硬件层之后运行因此，它们提供了比那些被归类为依赖于主机操作系统的类型II（例如，OracleVM VirtualBox [95] 、 VMWare Fusion [99] 等 ） 。 为 了 保 持 其 可 信 计 算 基 础（TCB）尽可能小，类型I虚拟机管理程序通常依赖于具有比其他虚拟机更多特权的特定虚拟机。我们将其称为pVM（特权VM）。pVM负责托管管理/监督VM的工具，并在VM的多路复用I/O设备中发挥作用。问题由于pVM在虚拟化环境中的核心作用，管理pVM是一项棘手的任务。这是由于其任务与其他VM的任务之间存在很强的相关性。简单地说，介绍2pVM的管理可以分为两个部分。第一个是根据硬件资源（CPU+内存）调整pVM的大小第二个是pVM的弹性关于pVM大小，主要问题是pVM需要多少资源（CPU+内存）？.静态策略将导致规模过大（浪费资源）或规模过小（缺乏资源）。这是因为pVM需要随着VM施加的负载而不断变化此外，在CPU和内存之间的接近度影响延迟的非统一内存访问（NUMA）架构上，必须考虑一个新的维度：pVM资源的放置 这个新的维度提出了第二个问题：是否应该放置pVM资源来优化其和VM任务？在谈到零拷贝方法（I/O虚拟化中使用的最佳技术之一）时，pVM资源的放置再次变得重要。零拷贝包括在pVM和给定VM之间交换一组存储器页面上的所有权权利，这些所有权权利稍后由管理程序映射到它们各自的地址空间中。这允许VM访问针对它的数据（例如，输入的网络分组）而不从一个地址空间复制到另一个地址空间。本文揭示了在NUMA架构上使用零拷贝方法的副作用实际上，由于NUMA架构上的默认pVM资源放置（其将整个套接字专用于pVM），重复的零复制操作导致NUMA节点之间的透明且不期望的VM存储器页面迁移。这导致VM应用程序的透明远程内存访问关于弹性，pVM的核心作用使其成为具有大爆炸半径的单点故障（VM，虚拟机管理程序，I/O设备等）。以防出现安全漏洞或故障。因此，需要有效的策略来在pVM发生故障的情况下做出反应。令人惊讶的是，很少有研究工作探讨这个问题，这不是无关紧要的。本文详细介绍了三个重要的贡献，旨在提出潜在的解决方案，上述问题，同时开放一些讨论。贡献本文的第一个贡献是解决pVM资源的大小和放置问题。[80]等现有方法提出了静态解决方案，介绍3在pVM上施加变化的负载我们通过提出更接近来解决这个问题。Closer是为pVM实现合适的OS的设计原则Closer提升了与VM的接近度和VM资源的利用率。基于Closer：• 我们提出了一个架构，pVM被认为是两个逻辑实体。第一个负责资源需求是静态的任务（例如，VM监视），第二个负责专用于VM执行的任务，例如I/O设备的多路复用。第二实体的每个任务尽可能靠近目标VM运行，并使用后者的资源（目标VM的资源）。• 我们重新访问Linux来为pVM构建操作系统• 我们使用Xen虚拟化系统证明了它的效率，Xen虚拟化系统是一个流行的开源虚拟机管理程序（由Amazon AWS使用）。• 我们报告的结果与微观和宏观基准。这些结果表明(1)没有pVM资源的资源浪费，因为我们按需提供pVM资源与用作pVM操作系统的标准Linux和用作hypervisor的Xen相比。我们将虚拟机关闭和迁移时间缩短了33%。• 对于密集型I/O工作负载，我们提高了在VM中运行的应用程序的性能，网络数据包延迟接收高达36.5%，网络数据包延迟发射高达42.33%，磁盘操作高达22%。本文在写这篇论文的时候，没有任何工作揭示或纠正这个问题。我们提出了两种方法来减少零拷贝的副作用，同时为虚拟机提供更好的性能。具体而言：• 第一种方法包括在VM中维护一个内存页面池，这些内存页面严格保留用于零拷贝操作。因此，只有这些页面可以透明地远程访问，这避免了VM中应用程序的不必要的远程访问。• 第二种方法由一个任务组成，该任务周期性地带回由于零拷贝而变得远程的VM存储器页面，以返回到初始存储器拓扑。• 我们对Xen虚拟化系统的评估表明，零拷贝的副作用几乎被消除，同时保证了在VM中运行的应用程序的性能。最后，本文的第三个贡献是攻击pVM的弹性问题。尽管这个问题很重要，但它很少受到社会的关注。[41]专注于pVM中托管的网络设备驱动程序的可靠性。然而，他们没有考虑与其他pVM服务的依赖性[20]建议