T Hesa德博士学位L’UNIVERSITÉ DE RENNES和科尔 D八角形第601章数学与信息与通信科学与技术由Mulugeta Ayalew Tamiru自动资源管理地理分布多集群环境论文于2021年9月20日在雷恩提交并答辩研究单位：IRISA（UMR6074）答辩前的报告员：Ivona Brandic教授，维也纳理工大学AlexandruIOSUP教授，阿姆斯特丹自由大学评审团组成：主席：奥利维尔·巴拉斯雷恩第一检查员：伊冯娜·布兰迪奇维也纳理工大学教授亚历山德鲁·约苏普阿姆斯特丹自由大学教授刘玲佐治亚理工学院教授Prashant Shenoy马萨诸塞大学阿默斯特分校教授Dir.论文：纪尧姆·皮埃尔雷恩第一共同导演。论文：埃里克·埃尔姆罗斯于默奥大学约翰·托德森于默奥大学高级讲师本研究是根据Marie Skłodowska-Curie资助协议（编号765452）从欧盟Horizon2020研究和创新计划获得资助的项目的一部分本出版物中提供的信息和观点是作者的信息和观点，不一定反映欧盟的官方观点欧盟机构和团体或对其行为负责的任何个人均不对其中所含信息的使用负责。本论文第5章和第6章中介绍的实验是使用Grid'5000测试床进行的，该测试床得到了Inria主办的科学兴趣小组的支持，该小组包括CNRS、RENATER和几所大学以及其他组织//www.grid5000.fr）。致我已故的父亲AlekaAyalew Tamiru。为信仰、真理和正义而战。一个知识分子首先，我要感谢我的主管Guillaume Pierre、Johan Tordsson和Erik Elmroth，感谢他们在我的整个职业生涯中对我的持续指导、反馈和鼓励。 Johan和Erik，感谢你们在我在Elastisys的15个月里花了很多时间提供反馈和讨论，这极大地帮助我理解了我的论文主题，并确定了重要的问题。Guillaume，感谢您对本论文的启发、指导和持续反馈能得到像你们这样伟大的研究人员的指导对我来说是一种巨大的荣誉。接 下 来 ， 我 要 感 谢 评 审 团 成员：Olivier Barais 、Ivona Brandic 、Alexan-druIosup、Prashant Shenoy和Ling Liu，感谢他们同意审查我的论文。非常感谢CSID委员会成员Anne-Cécile Orgerie和Etienne Rivière多年来的反馈和建议。我要感谢Robert、Henrik和Linda在Elastisys创造了一个很好的工作氛围。此外，我还要感谢Elastisys的所有同事，感谢他们让我在Elastisys的逗留在办公室和户外都很有趣。感谢我在于默奥结交的朋友：尤内图、塞洛梅、艾米罗、桑拉维和阿贝尔。我还要感谢我在FogGuru项目中的同事：Lilly、Davaa、Mozhdeh、哈米德、费利佩、保罗、迪米、朱莉和内娜。我特别喜欢在于默奥与莉莉、哈米德和费利佩在一起，在瓦伦西亚与莉莉、达瓦和莫日德在一起。致我的三个朋友：塞缪尔、乌尔、汤姆、海鲁、赛义德、纳西姆、黛布、拉维什、维基、纳吉布、梅斯芬、温德穆、吉鲁姆和所罗门，感谢你们是如此伟大的朋友我非常感谢我已故的父母AlekaAyalew Tamiru和Rebeka Lisanework，因为我是今天我感谢你们的爱、养育和牺牲的人。你将永远活在我心中。谢谢你!我的兄弟姐妹塞姆雷特、塞内塞海、齐翁、保洛斯、罗曼、弗雷希沃特、哈巴塔穆、迈克尔、约纳坦、伯利恒、马希莱、亚的斯亚贝巴和纳撒尼尔一直是爱、友谊、希望和力量的源泉谢谢你在我需要你支持的时候一直在我身边。我也要感谢我所有的侄女和侄子。我非常爱你。非常特别地感谢我心爱的妻子Tigiste。言语不足以表达我对你的爱、支持和鼓励的感激之情。我非常爱你。7R总结9云计算平台由大量虚拟化计算、网络和存储资源组成这使他们因此，各种规模的公司都在越来越多地将其服务转移到云数据中心。不同行业的云应用程序必须满足一个或多个非功能性要求，如邻近性、高可用性、容错、可扩展性、隐私和区域法规合规性以及供应商中立性例如，在线社交网络、视频流和在线游戏应用程序需要保持低端到端延迟，以满足最终用户的期望类似地，认知辅助、虚拟现实和增强现实等延迟感知应用需要低于10-20毫秒的超低端到端延迟。家庭、智能城市和工业中的物联网应用会生成大量数据，这些数据传输到远程云数据中心进行处理既 此外，在私有云数据中心中运行的应用程序可能需要从公共云数据中心获取额外的资源，以管理私有云数据中心无法满足的临时资源高峰最后，企业可以选择为了满足这些要求，云应用程序必须部署在地理位置合理分散的IT资源，这些资源位于世界各地的战略位置一些应用甚至需要在城市、社区和设施级别进行更多的传播因此，出现了地理分布式部署模型来满足这些需求。10根据分布程度的增加，这些地理分布式计算环境可以分为三种主要的架构，即混合云、多云和雾计算。混合云聚合了私有云和公共云数据中心的资源。多云部署跨越一个或多个公共云服务提供商的多个区域中雾计算将大量的计算、网络和存储资源放置在网络的边缘，以覆盖更广泛的地理区域尽管地理分布式计算具有优势这些挑战导致了不希望的情况，从而影响了最终用户体验的质量在本文中，我们将讨论在地理分布式计算环境中部署应用程序和管理资源的三个挑战首先，异构负载的资源需求可能导致配置不足或过度配置，具体取决于自动扩展系统的配置第二，与不良条件相关的静态配置设置地理分布计算环境中的网络故障可能导致故障检测中的延迟和不准确。这反过来会导致应用程序在大规模部署时不稳定、不可用和性能下降。第三，计算资源的大规模地理分布可能导致资源碎片化，其中一些负载集群被过度分配，而其他负载集群几乎没有被利用。这会导致过度分配的群集的性能下降，而几乎未使用的群集则利用不足。尽管存在这些资源管理挑战，但地理分布式计算环境的资源管理器必须通过对资源供应和应用程序放置的时间和位置以及应用程序数量做出最佳决策来满足应用程序的QoS要求11分配给应用程序的资源此外，它还必须提供适当的应用程序模型，考虑到手动管理将是耗时的、容易出错的或昂贵的。因此，采用自主资源管理和优化资源管理的原则非常重要我们提出三项贡献，以应对上述挑战 虽然我们已经使用Kubernetes及其生态系统来验证我们的贡献，但我们认为我们的贡献也可以推广到其他当前和未来的容器编排框架。贡献1：评估Kubernetes集群自动缩放器的性能弹性是云基础架构的一个关键特性，它允许在用户流量波动的情况下保持可接受的性能水平。云的弹性是通过动态资源配置或自动扩展实现的，在这种情况下，分配给应用程序的计算资源量会根据不断变化的需求进行调整。在Kubernetes等先进的容器编排平台中，可以在容器和虚拟机级别执行自动扩展。但是，负载的异构性（如任务工期和所需资源的数量）可能会导致配置不足或过度，具体取决于自动扩展系统的配置、资源可用性以及容器和虚拟机级别之间的协调程度。供应不足会导致性能下降因此，深入了解这些自动缩放系统在不同配置、应用和负载下的工作原理非常重要。在第一篇文章中，我们使用货币成本和标准的自动扩展性能指标深入分析了Kubernetes集群自动扩展器的性能。我们在确定节点大小的两种配置下评估群集自动缩放器。我们评估了不同应用程序和负载对成本和自动扩展性能的影响，并定量地证明了这些指标受应用程序性质的影响。此外，我们还展示了12可以通过调整更多配置参数来获得性能提升的机会贡献2：提高地理分布式在地理分布的IT环境中，集群间网络延迟和数据包丢失概率比单个云数据中心高出几个数量级。 结果，在这些环境中的故障检测可能遭受延迟和不精确。这会影响反过来，这可能导致不稳定、不可用和性能下降。在本文中，使用Kubernetes Federation，我们首先分析了然后，我们确定影响最大的单个参数然后，我们确定了导致不稳定的不准确故障检测和检测延迟之间的相互作用。我们还展示了不断变化最后，我们设计、实现和评估了一种动态调整相关配置参数的比例控制器。我们的控制器将系统稳定性从非受控情况下的83-92%提高到使用控制器时的99.5 - 100%贡献3：用于地理分布多集群环境最先进的容器编排框架无法满足地理分布式计算环境中的所有应用程序部署和资源管理要求，因为它们仅限于单个数据中心中的单个集群。专门为地理分布式计算环境提出的策略也有几个限制，例如（1）有限或手动的放置策略;（2）当本地集群耗尽资源时，自动扩展策略不考虑相邻集群中的资源可用性;（3）应用程序的网络路由工作有限。13（4）缺乏用额外资源（例如公共云）为了应对这些挑战，我们的第三个贡献是一个用于地理分布式多集群部署的容器编排平台 我们的贡献建立在Kubernetes Federation的基础上，并对其进行了扩展，以支持网络和资源感知放置策略、多集群自动扩展、集群间网络路由、云集群的透明配置、取消配置和自动扩展。我们提出的系统旨在成为一个完整的容器编排平台，支持雾云连续体上多个用例的应用程序。我们的平台通过将挂起Pod的百分比从Kubernetes Federation在相同负载下的65%降低到6%，从而提高了 地 理 分 布 式 系 统 的 整 体 资 源 利 用 率 。15ABSTRACT云计算平台由大量虚拟化计算、网络和存储资源组成，这些资源分布在非常广泛但集中的数据中心（DC）中。这使他们能够为其用户提供经济实惠且可扩展的按需因此，各种规模的企业都在不断地将其服务迁移到云数据中心。不同行业的云应用程序必须满足一项或多项非功能要求，例如邻近性、性能、高可用性、容错、可扩展性、成本效率、隐私和区域法规合规性以及供应商中立性。例如，实时游戏、视频会议、可穿戴设备和流量监控等应用需要低于100毫秒的低端到端延迟，以满足最终用户的类似地，诸如认知辅助、虚拟现实和增强现实之类的延迟关键型应用需要低于10-20 ms的超低端到端延迟家庭、智能城市和行业中的物联网（IoT）应用正在生成大量数据，这些数据传输到远程云数据中心进行处理既慢又昂贵。另一方面，医疗保健和金融领域对隐私敏感的应用程序需要遵守地区法规，这些法规要求应用程序和数据在具有特定法律的国家或地区运行。此外，在私有云DC中运行的应用程序可能需要从公共云DC获取额外的资源，以处理私有云DC无法满足的资源需求的临时峰值。最终，企业可能会选择避免供应商锁定，这种锁定可能源于仅使用单个云提供商的资源。为了满足这些要求，云应用程序应部署在地理上充分分布在世界不同地区战略位置的计算资源上一些应用程序甚至需要在城市、社区和设施级别进行更多的分发。 因此，出现了地理分布部署模型来 解 决 这 些 需求。这些地理分布式计算环境可以分为三种主要的体系结构，即混合云、多云和雾计算，以及不断增长的分布式计算风险。 混合云聚合来自私有云和公共云DC的资源。多云部署跨越单个或多个受众的多个区域的DC16云服务提供商（CSP）。雾计算将大量的计算、网络工作和存储资源置于网络的边缘，以覆盖更广泛的地理区域。尽管地理分布式计算具有优势，但在这些环境中，应用程序部署和资源管理仍然很困难，因为存在许多挑战，如大量资源、广泛的地理分布、异构网络、较差的网络条件、工作负载的异构性和资源的异构性。这些挑战导致了不理想的情况，影响了最终用户的体验质量（QDOE）和服务提供商的盈利能力在本文中，我们解决了地理分布式计算环境中的三个应用部署和资源管理挑战。首先，异构工作负载重新源代码请求可能导致供应不足或过度，这取决于自动扩展系统的配置以及容器和虚拟机（VM）级别之间的协调程度。其次，静态配置参数与地理分布式计算环境中较差的网络条件相结合，可能导致延迟和不准确的故障检测。当应用程序大规模部署时，这将反过来导致不稳定、不可用和性能下降。第三，计算资源的大规模地理分布可能导致资源碎片化，其中一些工作负载集群被过度分配，而其他工作负载集群几乎没有被使用。这会导致过度分配的群集的性能下降，而其他群集却未得到充分利用。尽管存在这些资源管理挑战，但地理分布式计算环境的此外，资源管理器需要提供合适的应用程序模型，以便开发人员能够高效地部署其应用程序考虑到地理分布环境的规模和分布水平，手动管理它们将是耗时的、容易出错的或昂贵的。因此，采用自主资源管理和优化原则进行管理非常重要。我们提出三项贡献，以应对上述挑战。我们使用流行的Kubernetes生态系统中的工具来验证我们的贡献，以及17他们认为，它们可以推广到其他当前和未来的容器编排框架。贡献1：Kubernetes集群自动扩展器弹性是云基础架构的一个关键特性，它允许在需求波动的情况下保持可接受的性能水平。云的弹性是通过动态资源配置或自动扩展来实现的，其中分配给应用程序的资源量会根据不断变化的需求进行调整。在最先进的容器编排平台（如Kubernetes）中，可以在容器和主机（VM）级别执行自动扩展。但是，工作负载的异构性（如任务持续时间和所需资源量）可能会导致配置不足或过度，具体取决于自动扩展系统的配置、资源的可用性以及容器和VM级自动扩展之间的协调程度。在不正确的资源分配上，配置不足会导致性能下降，而过度配置会导致不必要的费用。还应避免两者之间的快速波动，因为这可能影响应用程序的鲁棒性。因此，深入了解这些自动缩放系统在不同配置、应用程序和工作负载下的性能非常重要。在第一篇文章 中，我们根据货币成本和标准自动扩展性能指标深入分析了Kubernetes集群Au- toscaler（CA）的性能。我们在两种配置下评估CA，这两种配置确定工作节点的大小我们评估了不同应用程序和工作负载对成本和自动扩展性能的影响，并定量显示了这些指标受应用程序性质影响的程度。此外，我们还展示了通过调整更多自动缩放参数可以实现的性能提升贡献2：提高地理分布多集群环境中的稳定性在地理分布式计算环境中，集群间网络延迟和数据包丢失的概率比单个云DC大几个数量级。因此，这些环境中的故障检测可能会受到延迟和18不准确。 这会影响系统的其他部分，如运行状况检查、部署和扩展应用程序。反过来，这可能会导致不稳定、不可用和性能下降。在本文中，我们使用Kubernetes Federation，首先分析了不同配置参数对系统稳定性的影响然后，我们确定了影响最大的单一参数接下来，我们确定了不准确的故障检测（导致不稳定）和检测延迟（可能导致停机）之间的权衡。 我们还展示了不断变化的工作负载和网络条件对参数值选择的影响。最后，我们设计、简化并评估了一个比例控制器，该控制器在运行时动态调整相关的配置参数。我们的控制器将系统稳定性从非受控情况下的83贡献3：用于地理分布式多群集环境的容器编排最先进的容器编排框架不能满足地理分布式计算环境中应用程序部署和资源管理的所有要求，因为它们被限制为单个DC中的单个集群这些专门为地理分布式计算环境提出的建议也有几个限制，例如：（1）有限的或手动的放置策略;（2）当本地集群耗尽资源时，不考虑相邻集群中资源可用性的自动缩放策略;（3）对于跨越多个集群的应用程序，在网络路由上的工作有限;以及（4）缺乏用额外资源（例如来自公共云的资源）补充饱和集群的机制。为了应对这些挑战，我们的第三个贡献是为地理分布式多集群部署提供一个容器编排平台我们的贡献建立在KU-Bernetes Federation之上，并对其进行扩展，以支持网络和资源感知的放置策略、多集群自动扩展、集群间网络路由以及云集群的透明证明、取消配置和自动扩展我们提出的系统旨在成为一个全面的容器编排平台，支持雾到云连续体上的多用途应用程序。我们的平台通过将挂起的pods的百分比降低到6%来提高地理分布式系统的总体资源利用率，而Kubernetes Federation在相同工作负载下的挂起pods的百分比为65%。19TABLE来自C组图25列表表列表261导言271.1捐款341.2已发表论文371.3论文组织372背景392.1云计算402.1.1云部署模型412.1.2云服务模型432.1.3云架构442.2地理分布式计算模型442.2.1混合云472.2.2多云482.2.3雾计算492.3从虚拟机到容器502.4自动资源管理532.5Kubernetes572.5.1Kubernetes58的动机2.5.2在Kubernetes59中规划2.5.3Kubernetes60中的自动缩放2.5.4自定义资源定义（CRD）622.5.5Kubernetes联盟622.5.6Kubernetes和Kubernetes联盟2.5.7自定义Kubernetes控制器662.5.8集群API672.5.9纤毛簇网68202.5.10 普罗米修斯702.5.11 农奴702.6走向地理分布式多集群环境中的容器编排-ments712.6.1自动缩放性能712.6.2自动配置调整722.6.3地理分布式多集群环境的容器编排-ments732.7结论743最新技术水平753.1自动缩放系统的评估753.1.1自动缩放系统753.1.2自动缩放评估方法和指标753.1.3自动缩放评估结果773.2自动配置调整813.2.1错误配置和负面后果问题813.2.2高维参数空间中的采样方法823.2.3自动配置调整系统和方法833.2.4用于改进故障检测和恢复的3.3地理分布环境中的容器编排893.3.1容器编排框架903.3.2容器放置923.3.3容器化应用程序的自动缩放和爆发3.3.4虚拟化网络流量路由3.3.5群集VM的动态配置和取消配置964Kubernetes集群自动扩展99的实验评估4.1导言994.2实验设置1004.2.1应用程序和工作负载1004.2.2测试床设置1024.2.3评估指标1044.3结果104内容表4.4结论1125提高地理分布多集群环境中的性1155.1导言115
我的内容管理
展开
