云科学工作流能源感知管理

云科学工作流的能源感知管理：以云提供商为中心的愿景埃米尔·卡多雷尔引用此版本：埃米尔·卡多雷尔。云科学工作流的能源感知管理：云提供商以愿景为中心。分布式、并行和集群计算[cs.DC]国家矿业高等学校英语。NNT编号：2020IMTA0195。电话号码：03248178HAL ID：电话：03248178https://theses.hal.science/tel-03248178提交日期：2021年HAL是一个多学科的开放存取档案馆，用于存放和传播科学研究论文，无论它们是否被公开。论文可以来自法国或国外的教学和研究机构，也可以来自公共或私人研究中心。L’archive ouverte pluridisciplinaireT Hesa德博士学位l’École Nationale SupérieureMines-Télécom布列塔尼卢瓦尔河地区- IMT Atlantique和科尔 D八角形第601章数学与信息与通信科学与技术由埃米尔·卡多雷尔云科学工作流的能源感知管理：以云提供商为中心的愿景论文于2020年10月21日在南特发表并答辩研究单位：南特数字科学实验室（LS2N）论文编号：2020IMTA0195答辩前的报告员：Romain ROUVOY里尔大学教授（HDR）Patricia STOLF图卢兹大学Jean-Jaurès高级讲师（HDR）评审团组成：检查员：弗雷德里克·德斯普雷斯Inria Grenoble Rhones Alpes斯蒂芬·热诺斯特拉斯堡大学教授（HDR）罗曼·鲁沃伊里尔大学教授（HDR）帕特里夏·斯托夫图卢兹大学Jean-Jaurès高级讲师（HDR）Dir.论文：让-马克·梅诺大西洋IMT教授（HDR）论文共同导师：海伦·库隆IMT Atlantic客人：Georges DA COSTA图卢兹大学Paul Sabatier高级讲师（HDR）REMERCIENTS3首先，我要感谢如果没有他们的宝贵建议和评论，这份手稿中的所有工作都是不可能的。我感谢他们在科学和教育问题上的明智监督，这给 了 我 一 种 有 效 和 开 明 的 工作 方 法 ， 我 将 努 力 在 今 后 保 持 这 种 方 法 。我还要感谢这份手稿的编辑罗曼·鲁沃伊和帕特里夏·斯托夫，感谢他们耐心的校对工作。由于他们的相关和准确的评论，本文件的可读性和质量得到了我还要感谢弗雷德里克·德普雷兹（Frédéric Desprez）、斯特凡·热诺（Stéphane Genaud）和乔治·达科斯塔（GeorgesDa在这三年的论文中，我有机会与一些杰出的我想对整个STACK团队的热烈欢迎和友好表示衷心的感谢特别感谢所有有机会与我坐下来喝一杯、谈论计算机科学或其他主题的人我还要感谢我的整个家庭，特别是我的祖母、叔叔阿姨，当然还有我的两个兄弟伯努瓦和保罗以及我的父母，他们不断的支持和4ABSTRACT基于计算机的科学模拟和实验通常非常复杂，并且由许多并行过程组成 为了更容易地突出这些应用程序的可并行部分，并允许高效的执行，许多科学家选择将他们的应用程序定义为科学工作流。 科学工作流以一组单元处理任务（例如，数据格式化、执行分析等），按依赖关系链接如今，由于其低成本、灵活性和按需方面，云计算服务被广泛用于执行科学工作流。在此环境中运行工作流的用户使用IaaS（基础架构即服务）等标准服务，将其工作流的执行管理到所需的资源。由于云计算服务并不特定于要运行的应用程序的性质，因此资源使用并没有得到应有的优化。在本文中，我们建议将科学工作流的管理和执行转移到云计算提供商端，以便提供一种致力于科学工作流的新型 这种新方法通过提供有关要运行的应用程序性质的附加信息，有助于改进云提供商的资源管理。 这种改进导致能源消耗的减少，从而导致分布式基础设施对环境的影响的减少。在此上下文中，提出了两个问题，即调度问题的解决和计算调度的执行。为了解决调度问题，我们引入了两种算法。这些算法解决了在分布式基础设施中调度由多个用户提交的多个科学工作流的问题。我们通过对实际基础设施的实验表明，它们在能源消耗方面提供了显著的收益另一方面，为了能够执行由调度算法计算的调度，我们提出了一种称为WaaS（工作流即服务）的新云计算服务。该服务被设计为云计算提供商的关键解决方案，允许管理虚拟化机制的可扩展性、调度策略的可扩展性以及可扩展性问题的考虑。R总结5许多在计算机上进行模拟或实验的科学家已经习惯于以所谓的科学工作流的形式开发他们的应用程序工作流可以被看作是一种工具，用于将复杂操作的不同步骤分离成更简单和相互关联的任务，例如从测量仪器检索数据、格式化数据或对采集的数据执行分析。因此，科学的工作流将应用程序的拓扑描述为一组通过依赖关系链接在一起的任务，这些依赖关系定义了每个任务的执行顺序。通过将应用程序的处理工作流可能由大量任务和依赖关系组成为了分布式基础架构似乎是解决这一问题的理想选择 它们利用通过网络进行通信的一组物理机的组合来获得比单个物理机所能提供的更多的计算能力。分布式基础设施可能很难管理，开发科学工作流的科学家通常不是IT、硬件管理或软件依赖关系管理方面的专家。事实上，为了能够运行工作流，科学家通常依赖于称为工作流引擎的工具。 这些引擎支持在具有计算资源的环境中执行科学工作流。这些工作流引擎除了允许自动执行工作流之外，还可以提高实验的重用性，因为它们隐藏了基础架构的复杂性，并且能够复制执行。这种改进的重用和重新执行同样有助于如今6计算作为执行环境。近年来，云计算已经成为一种非常流行的环境，它提供了低成本、按需的计算和存储资源。云计算可以定义不同类型的服务，提供不同类型的可用资源抽象。这些服务利用 这种在云环境管理资源的方式在这种情况下，以在云计算环境中执行为目标的工作流引擎- 并将此问题留给云提供商不幸的是，这导致了软件现实和硬件现实之间的脱节一方面，云提供商不知道在其资源上运行的应用程序类型，因此无法有效优化其物理基础架构的管理。另一方面，工作流引擎即使知道要运行的应用程序的形式，也无法为物理基础架构的管理提供优化，因为这完全由云提供商负责。本文介绍了一种管理和执行科学工作流的新方法，将资源分配决策置于云提供商端，为科学工作流提供新型云服务。 通过这种方法，云提供商可以更好地了解其基础架构上运行的应用程序，从而在如何管理其资源方面做出更明智的决策。贡献本文介绍了一种新的物理资源管理方法，致力于科学工作流。与使用现有云服务相比，新方法旨在更高效地管理物理基础架构。为了能够在分布式基础架构上运行科学工作流，7通过将工作流管理置于云提供商端，我们建议将重点放在工作流执行的两个阶段：解决调度L’exécution de la planification, outre la mise à disposition et la libération desressources, 实际上，科学工作流中的每个任务都将文件作为输入并生成文件，这些文件本文的主要贡献如下：— 用于云计算环境中能源优化的静态科学工作流调度算法。-此调度算法该算法旨在最大限度地减少在任何给定时间在云环境中运行用户提交的一组科学工作流所需的物理机数量这是因为云提供商的主要运营成本之一是能耗 可以通过限制未充分利用的物理机的数量来减少这种消耗[43，79]。为此，在本文中讨论的问题中，每个工作流都有一个截止日期所提出的算法基于启发式函数，该函数在调度工作流中的任务时仅考虑已经使用的物理机，只要满足最后期限（按优先级排序的一个接一个工作流的调度）。当最后期限无法再满足时，这项工作发表在2019年国际会议Green- Com上。— 用于优化用户公平性和能源优化的动态科学工作流调度算法该算法可以定义为云计算提供商的科学工作流调度算法，旨在降低其基础设施的能源消耗，同时确保用户与我们的第一个贡献一样，每个工作流都是8有一个截止日期该算法是在用户提交在不确定时间进行的上下文中提出的，必须考虑到这一点以确保由于新的提交可以在任何时间到达这是因为新提交的工作流可能比已调度的工作流具有更高的优先级（更短的时间）。 这项工作已发表在CCGrid 2020国际会议上。-WaaS：工作流即服务，一种用于执行科学工作流的云计算服务专门致力于执行科学工作流的ING 我们表明，这种概念选择加强了最终用户（提交工作流以供执行的参与者）和云提供商（管理物理基础架构并向最终用户提供资源的参与者）之间的关注点分离。从云提供商的角度来看，这一概念还改善了资源管理。为了促进本文中的所有贡献都是通过在实际基础设施上进行的实验进行评估的这些实验是在实验平台Grid'5000上进行的，实验中使用的源代码可在公共存储库中获得，1. https://gitlab.inria.fr/ecadorel/workflowplatform2. https://gitlab.inria.fr/ecadorel/waas/9TABLE来自C组1引言191.1研究问题191.2捐款211.3出版物231.4论文组织232上下文252.1科学工作流程：概述和挑战2.2物理基础设施272.3操作系统和虚拟化282.3.1虚拟机292.3.2容器312.4基础架构管理范例322.4.1网格计算322.4.2云计算332.4.3云服务模型352.5科学工作流程的规划362.5.1计划简单任务372.5.2调度异构应用程序382.5.3利用时间知识进行392.5.4工作流调度402.6能源效率和整合412.6.1数据中心能耗422.6.2物理机器能耗432.6.3节能技术452.7结论463相关工作473.1科学工作流调度47103.1.1利息标准483.1.2算法分类493.1.3网格计算中的调度523.1.4云计算上的调度583.1.5讨论643.2科学工作流程执行673.2.1利息标准673.2.2科学工作流执行系统693.2.3讨论70云提供商的工作流调度算法4OnlyUsedNodes：一种基于截止日期的能源优化4.1导言764.2问题建模774.2.1应用程序和执行环境774.2.2软件和硬件限制784.2.3时间依赖性约束794.2.4通信804.2.5成本建模804.2.6目标814.3ONLYUSED N个节点算法824.3.1优先事项和最后期限834.3.2回溯调度算法854.3.3资源选择874.3.4复杂性884.4结论895NearDeadline：用于公平和能源优化动态多用户工作流调度算法5.1导言925.2建模和问题公式935.2.1工作流定义93内容表5.2.2基础设施定义945.2.3计划问题945.2.4公平目标97115.2.5能源目标975.3基于截止日期的动态算法995.3.1优先事项和最后期限995.3.2接近截止日期1005.3.3恐慌模式1055.3.4健身功能1075.4结论1086调度算法的评估1096.1模拟1106.1.1简单工作负载调度1106.1.2复杂的工作负载调度1156.2在实际基础架构上执行-环境描述1186.2.1基础设施1196.2.2执行平台1196.2.3工作流1206.3在实际基础架构上执行-我们是否已收到N个节点评估1206.3.1场景和性能指标1216.3.2评估结果1226.4在实际基础设施上执行-N耳 D截止日期评估1246.4.1场景和性能指标1246.4.2小型工作流调度1256.4.3可扩展性评估1326.4.4α参数134的分析6.5结论137II科学工作流1397WaaS：工作流即服务用于科学工作流执行的云服务1417.1引言1417.2WaaS：工作流即服务1427.2.1最终用户关注1427.2.2云提供商关注点和Waas体系结构7.3评估1497.4结论154128结论1558.1成就1558.2前景1598.2.1与能源优化1598.2.2与服务导向执行的潜在客户160参考书目161内容表132.1科学工作流程示例262.2虚拟机管理程序30的两种类型2.3容器系统322.4先进先出算法示例372.5循环算法示例382.6来自非弹性储备的412.72006年至2015年94个数据中心的平均能耗分布[98]422.8物理机功耗的分布[83]432.9具有可变CPU负载的生态型机器的功耗443.1具有同步任务64的工作流示例3.2通过与online（1）同步引入的延迟表示使用预测（2）算法654.1表示在虚拟机上完成的通信之间的增益（1）在节点上（2）814.2第4.2节模型的符号表824.3科学工作流程示例845.1第5.2节模型符号表985.2计划接近拥有免费资源的最后期限1015.3用低资源调度以获得免费资源1015.4在具有4个CPU的服务器上增加虚拟机容量时发生冲突。1045.5增加具有4个CPU的服务器上的VM长度时发生冲突6.1编辑工作流的拓扑1106.2编辑工作流111计算的结果示例6.3比较V-HEFT和ONLY USED N个具有四个不同截止日期的节点之间使用的节点数D11214图列表6.4具有五个不同截止日期的V-HEFT和ONLY USED N节点之间的瞬时功耗比较6.5V-HEFT和ONLY USED N个节点之间的执行时间比较有五个不同的截止日期D1156.6表6.3中不同模拟场景之间随时间变化的功耗比较1186.7通过与HEFT算法1236.8不同场景执行的权力使用1286.9违反时间不同的场景处决1296.10 在截止日期前成功执行的数量1306.11 在不同方案执行期间实例化的虚拟机数量1316.12 与工作流执行截止日期的距离1336.13 到具有变量α参数135的每个工作流的截止日期的距离6.14 违反时间总和（等式 5.10）和之前的时间总和（等式5.12）变量α参数1366.15 使用变量α参数137执行N耳 DEADLINE T请求和N耳 DEADLINE VCPU的功耗和虚拟机数量7.1工作流描述文件143的元语法7.2使用云特定语法的两个任务的工作流示例从元语法中构建。..................................................................................................1457.3员工描述文件1467.4在Scala AKKA中实现KVM Worker147的命令示例7.5比较每个提交的工作流的制造时间。..............................................................................15215IST T型台2.1亚马逊EC2 IaaS服务目录的一部分-2020年4月-https://aws.amazon.com/ec2/pri需付款/353.1网格计算环境相关工作的算法类573.2本文贡献的兴趣标准考虑到了网格调度算法583.3云调度算法对本文贡献的兴趣标准633.4云计算环境相关工作的算法类643.5文献中面向云的工作流引擎的功能........................................................................714.1图4.34.2图4.3示例工作流中任务的截止日期，总截止日期为100秒856.1模拟节点112的描述6.2由100个组件组成的完整工作负载的调度结果工作流，其中百分比基于V-HEFT计算结果。......................................................................................................................1136.3组成simu综合延迟的工作负载1166.4不同模拟场景的调度结果，其中百分比是根据V-HEFT执行的结果计算的。1166.5评估中使用的实际基础设施的PM说明1196.6组成时间轴31的31个任务的描述-即长度的平均值和偏差、可执行文件的大小和文件的大小输入和输出数据1206.7组成时间轴619的619个任务的说明--即长度的平均值和偏差、可执行文件的大小和输入和输出数据12116表列表6.8电源使用和NB使用（参见 6.3.1），与比较中计算的增益到V-HEFT结果1226.9NEARDEADLINE评估的不同场景描述小型工作流1266.10 电源使用（参见 6.4.1）在第二次评估期间，计算增益与V-HEFT结果1327.1所用基础设施的说明1517.2实验期间提供的虚拟资源数量1537.3跨群集的工作负载分布15317IST 一个光荣的人1HAEFT算法842ONLYUSED N个节点算法843我们没有提到单一工作流程排程854ONLYUSED NODES回溯时间表865您是否已选择N个节点资源选择6N耳D提示行算法1007接近截止日期的单个工作流调度1018在截止日期前安排单任务任务1029在单个节点103上计划接近截止日期的单个任务10在一个VM103上计划接近截止日期的单个任务11在一个VM106上尽最大努力进行单任务调度19C型HAPTER1一、引言内容。1.1研究问题191.2捐款211.3出版物231.4论文组织.................................................................................................. 231.1研究问题执行基于计算机的模拟或实验的科学家已经变得习惯于以科学工作流的形式开发他们的应用程序工作流可以被视为一种工具，用于将复杂操作的不同步骤分离为几个简单的相互依赖的任务，例如从特定仪器检索数据、格式化数据或对采集的数据进行分析。一种科学的工作流，它将应用程序的拓扑描述为一组通过关系链接在一起的任务，这些依赖关系定义了每个任务的执行顺序，以及要从任务传输到其后续任务的文件。通过将应用程序处理分离为一组简单的任务，可以突出显示可以并行执行的进程。工作流可能由大量的任务和依赖关系组成，因此变得非常复杂。为了实现合理的计算时间，必须使用提供大量计算资源的基础设施来利用并行性并减少获得结果之前的等待时间。分布式基础架构似乎是解决这一问题的最佳选择。尽管如此，他们还是利用了大量通过网络通信的物理机器的池化，以获得比单个物理机器可能提供的更多的计算能力。分布式基础架构的管理可能很复杂，科学家们正在开发