图卢兹INP网络、电信系统与体系结构专业博士论文：使用软件解决方案

为了获得的目的图卢兹大学博士学位发布人：图卢兹国立理工学院（图卢兹INP）学科或专业：网络、电信、系统和体系结构提交人和支持人：M. VO QUOC BAO BUI于2020年9月29日星期二标题：使用软件解决方案博士学校：图卢兹数学、计算机科学、电信（MITT）研究单位：图卢兹计算机科学研究所（IRIT）论文主任：M. 丹尼尔·哈根蒙特M.阿兰·查纳报告员：M. JALIL BOUKHOBZA，西布列塔尼大学Fabienne BOYER女士，格勒诺布尔阿尔卑斯大学评审团成员：M. Fabrice Huet，尼斯索菲亚安提波利斯大学，校长M. Alain Tchana，里昂高等师范学校，成员M. DANIEL HAGIMONT，图卢兹INP，成员致我的家人...是硬件使机器速度更快。是软件使克雷格·布鲁斯。iv确认文件我谨向里昂高等师范学校教授Alain Tchana先生和Daniel Hagimont，图卢兹国立理工学院教授，在我攻读博士学位的三年里，他们对我进行了监督他们的建议对本文的工作非常有价值和重要。我还要感谢所有花了宝贵时间评价我工作的评审团成员。我非常感谢在有益的工作-相关的讨论，他们的幽默和欢迎让我感到高兴和快乐的一部分，团队。我想对法国驻越南大使馆在我在法国的三年里给予我的奖学金表示感谢。最后，我感谢vi摘要由于云计算在资源共享和管理方面的灵活性和效率，它已成为新兴技术行业的主导计算范式支持云计算的关键技术是虚拟化。在同一台物理机上运行多个虚拟机（VM）的虚拟化系统中，关键要求包括性能隔离和可预测性。为了强制执行这些属性，虚拟化软件（称为虚拟机管理程序）必须找到一种方法来划分物理资源（例如，系统的物理内存（处理器时间），并根据为每个VM定义的虚拟资源量将其然而，现代硬件具有复杂的体系结构和一些微体系结构级别的资源，例如处理器高速缓存、内存控制器、互连，这些资源不能被分割并分配给VM。它们在全球范围内共享给所有争夺其使用权的虚拟机，从而导致竞争。因此，性能隔离和可预测性会受到影响。在本文中，我们提出了软件解决方案，以防止由于微架构组件造成的性能不可预测性。第一个贡献被称为京都议定书，这是一个受污染者付费原则启发的缓存争用问题的解决方案。如果虚拟机导致显著的缓存替换，从而影响其他虚拟机的性能，则该虚拟机被认为污染了缓存。使用京都系统，云提供商可以鼓励云用户为其虚拟机预订污染许可证第二个贡献解决了有效虚拟化NUM机器的问题主要的挑战来自于虚拟机管理程序定期重新配置虚拟机在NUMA拓扑上的位置这一事实。无论如何，既没有来宾操作系统（OS），也没有系统运行时库（例如，HotSpot）旨在考虑运行时的NUMA拓扑更改，从而使最终用户应用程序的性能不可预测。我们提出了扩展准虚拟化（XPV），这是一种高效虚拟化NUMA架构的新原则。XPV包括重新访问虚拟机管理程序和客户机操作系统之间以及客户机操作系统和系统运行时库之间的接口，以便它们可以动态地考虑NUM拓扑的变化。viii摘要云计算因其在资源共享和管理方面的灵活性和效率而成为IT行业的主导范式支持云计算的关键技术是虚拟化。L’isolation et la prédictibilité deperformance sont des 为了实现这些属性，虚拟化软件（称为虚拟机管理程序）必须找到一种方法来划分系统的物理资源（例如，物理内存、处理器时间），并根据为每个VM定义的虚拟资源量将然而，现代机器具有复杂的体系结构，并且一些微体系结构级别的资源（例如处理器高速缓存、存储器控制器、互连）不能被分割和分配给VM。它们在全球范围内由所有竞争使用它们的MV共享，这导致了竞争。因此，隔离性和性能可在本文中，我们提出了软件解决方案，以防止由于微架构组件的性能不可预测性。第一个贡献如果一个MV导致大量的高速缓存行替换，从而影响其他MV的性能，则该MV是坏的现在，通过使用京都系统，供应商可以鼓励云用户为他们的MV预订污染许可证。第二个贡献解决了NUMA机器的有效虚拟化问题。主要的挑战来自于虚拟机管理程序定期重新配置虚拟机在NUMA拓扑上的放置。但是，无论是来宾操作系统（OS）还是运行时环境库（例如HotSpot）都没有设计为在运行时考虑NUM拓扑更改，从而导致最终用户应用程序的性能不可预测。我们介绍了扩展准虚拟化（XPV），这是一种高效虚拟化NUMA架构的新原则。XPV涉及重新访问虚拟机管理程序和来宾操作系统之间的接口，以及来宾操作系统和运行时库之间的接口，以便它们可以动态地x内容物1引言12背景42.1虚拟化52.1.1定义52.1.2CPU虚拟化72.1.3内存虚拟化112.1.4I/O虚拟化2.2处理器缓存182.2.1定义182.2.2操作原理202.2.3关联性212.3非均匀内存访问（NUM）222.3.1硬件视图222.3.2Linux内核视图232.4微体系结构组件的虚拟化2.5合成283京都：对虚拟机的缓存使用3.1动机303.1.1问题陈述303.1.2问题评估313.1.2.1实验环境313.1.2.2基准313.1.2.3指标323.1.2.4评估方案323.1.2.5评估结果333.2京都原则343.2.1基本理念：3.2.2Xen 36中的京都3.2.3LLC_CAP法案37的计算3.3评估383.3.1处理器是一个很好的杠杆。十一3.3.2公式3.1与LLC损失（LLCM）：指标为LLC_CAP？................................................................................393.3.3KS4Xen3.3.4与现有系统的比较423.3.5京都3.4讨论463.5相关工作473.6合成494当扩展4.1动机514.1.1描述524.1.2限制524.1.3合成564.1.4热-（一个）插头作为解决方案？............................................ 564.2扩展的准虚拟化574.2.1原则574.2.2使遗留系统XPV感知的方法584.3技术集成614.3.1Xen修正案624.3.2Linux修改634.3.3应用程序级更改：Javavir热点机器使用案例644.4评估654.4.1实验设置654.4.2XPV实施效率664.4.3VNUMA与黑匣子解决方案684.4.4XPV寻址拓扑更改704.4.4.1由vCPU负载平衡71引起的4.4.4.2由mem引起的XPV寻址拓扑变化奥利气球724.4.5自动数字平衡（ANB）限制734.4.6XPV内部744.5相关工作754.5.1工业解决方案754.5.2学术解决方案764.5.3我们的工作定位764.6合成775结论和展望785.1结论78xii5.2前景79参考书目81第一章引言如今，许多组织倾向于将其物理基础架构的管理外包给托管中心。通过这种方式，公司希望通过只支付他们真正需要的费用来降低成本。这一趋势通常被称为云计算，是一个普遍的趋势，涉及信息技术的所有领域值得注意的是，近年来，HPC应用程序开发人员和行业都在考虑将其应用程序迁移到云。在这种情况下，大多数平台都实施了基础架构即服务（IaaS）云模型，客户使用一组保留资源购买虚拟机（VM）虚拟化的一个基本特性是它在同一台物理机上运行的虚拟机之间提供隔离。隔离采取不同的形式，包括安全性（沙箱）和性能。虚拟机之间的安全隔离意味着在虚拟机中运行的操作系统（及其应用程序）在单独的地址空间中运行，从而防止来自其他虚拟机的非法（错误或恶意）访问。就性能而言，隔离意味着一个虚拟机中的应用程序的性能不应受到或依赖于在同一物理机上运行的其他虚拟机的行为。由于现代硬件的复杂体系结构，在虚拟化环境中很难实现性能隔离和可预测性。 一些微体系结构组件（如最后一级高速缓存（LLC））无法适当和/或有效地进行划分和虚拟化，从而导致争用导致的性能干扰。此外，计算机已经发展到NUMA多核架构，其中存在用于连接NUMA节点的复杂互连，每个节点包含存储体和多个核。承诺的性能2第一章。简介在具有将进程的内存和线程放置在节点上的启发式的裸金属系统中，努马体系结构的最新版本已经接近完成[75，53，52，56]。然而，在虚拟化系统中，客户操作系统不能实现这样的启发式，因为虚拟机管理程序可以盲目地改变客户虚拟机的NUMA拓扑，以平衡底层硬件中的工作负载在本文中，我们提出以下两点贡献：京都：有限责任公司诉讼后的软件解决方案。 这是受污染者付费原则的启发。 如果虚拟机导致显著的缓存替换，从而影响其他虚拟机的性能，则该虚拟机被认为污染了缓存。我们依靠硬件计数器来监控每个虚拟机的缓存活动并测量每个虚拟机的缓存污染级别。在运行时超过其允许污染的虚拟机会相应地降低其CPU容量。扩展准虚拟化（XPV）：高效虚拟化NUMA体系结构的新原则。XPV包括重新访问虚拟机管理程序和客户机操作系统之间以及客户机操作系统和系统运行时库（SRL）之间的接口，以便在虚拟机的NUM拓扑发生变化时动态调整客户机操作系统和SRL中使用的NUM策略。通过这样做，XPV允许虚拟化堆栈中的每个层简单地做它最擅长的事情：优化虚拟机管理程序的资源利用率，以及客户机操作系统和SRL的NUM资源放置构成本论文的出版物：1. 阿兰·查纳、鲍贝、鲍里斯·蒂贝、弗拉德·尼图、丹尼尔·哈吉蒙特。Miti使用京都原则在IaaS中实现不可预测的性能。中间件2016：第17届ACM/IFIP/USENIX国际中间件大会，2016年12月，意大利特伦托。pp.1-10。2. Bao Bui 、 Djob Mvondo、 Boris Teabe 、 Kevin Jiokeng、 LavoisierWapet等人。当扩展准虚拟化（XPV）遇到NUMA时。EU-ROSYS2019：第14届欧洲计算机系统大会，2019年3月，德国德累斯顿。第7页。3第一章。简介其他出版物：1. Tu Dinh Ngoc、Bao Bui、Stella Bitchebe、Alain Tchana、ValerioSchi-avoni、Pascal Felber和Daniel Hagimont。关于 英特尔SGX在虚拟化系统上的性能，您应该了解的一切。ACM Meas程序。肛门。计算 。 系 统 3 ， 1 ， 第 5 条 （ 2019 年 3 月 ） ， 21 页 。 DOI ：https://doi.org/10.1145/3322205.3311076。本论文的其余部分组织如下。第2章介绍了我们工作的背景，包括虚拟化、处理器缓存和NUMA，并讨论了几个微体系结构组件的虚拟化。第3章和第4章详细介绍了我们的两个贡献：分别是《京都议定书》和《XPV》，以及它们的实施和评价。最后，第5章结束了我们的工作，并讨论了未来的工作。第二章背景内容物2.1虚拟化52.1.1定义52.1.2CPU虚拟化72.1.3内存虚拟化112.1.4I/O虚拟化2.2处理器缓存182.2.1定义182.2.2操作原理202.2.3关联性212.3非均匀内存访问（NUM）222.3.1硬件视图222.3.2Linux内核视图232.4微体系结构组件的虚拟化2.5合成28本文介绍了本文的背景：第2.1节中的虚拟化和虚拟化技术，第2.2节中的处理器缓存，第2.3节中的NUMA架构，以及第2.4节中针对不同微架构组件的虚拟化解决方案概述。第2.2节和第2.3节涵盖了微体系结构组件，这些组件是我们在本工作中解决的性能不可预测性的来源。2.1. 虚拟化52.1虚拟化2.1.1定义虚拟化它的根源可以追溯到20世纪60年代末 后来，它被认为是一种具有成本效益的技术，用于"组织计算机系统资源，为某些独特的应用程序提供非凡的系统灵活性和支持"。一个流行的用例是允许多个开发人员共享昂贵的计算机系统。然而，到了20世纪80年代，随着个人计算机的出现和操作系统（OS）的成熟虚拟化并没有得到计算机系统研究人员的太多随着硬件的功能日益强大，学术界和行业对虚拟化的兴趣再次高涨。虽然虚拟化仍然被视为共享计算资源的一种有效而灵活的方式，但它可以帮助解决当前系统架构的一些限制，如安全性、可靠性和操作系统迁移。它正迅速成为软件和硬件行业创新的驱动力。在操作系统、系统管理和硬件设计方面进行了大量改进，以实现更好的虚拟化。由于虚拟化技术的灵活性，一种称为云计算的新计算范式已被广泛采用，其中计算资源按需提供给用户虚拟化是指创建某种东西的虚拟表示的过程，如CPU、内存、网卡、磁盘存储。虚拟机（VM）是虚拟化CPU、内存和I/O设备的组合，可形成完整且隔离的计算环境。后者由称为虚拟机管理程序或虚拟机监视器（VMM）的系统软件创建和管理，并可以运行其自己的独立操作系统实例（称为来宾操作系统）。但是，并非所有创建和管理虚拟机的软件都被视为虚拟机管理程序。根据Popek和Goldberg的说法，虚拟机管理程序有三个基本特征：等效性、性能和安全性。等效性：在虚拟机管理程序创建的虚拟环境中运行的程序与其在硬件上的执行相同。由时间依赖性和资源可用性引起的执行差异是可以接受的。性能："静态显著"数量的程序指令必须由硬件直接执行，而无需硬件的··