强化学习的云数据中心的绿色资源分配框架

沙特国王大学学报基于强化学习的云数据中心Thandar Theina，Myint Myat Myoa，Sazia Parvinb，Amjad Gawanmehc，缅甸Maubin计算机研究大学澳大利亚维多利亚州墨尔本理工大学阿拉伯联合酋长国哈利法大学阿提奇莱因福奥文章历史记录：2018年6月24日收到2018年9月25日修订2018年11月11日接受在线发售2018年关键词：强化学习资源分配能源效率绿色云云数据中心A B S T R A C T高能效的云基础设施资源分配框架越来越受欢迎，因为它有效地该基础设施可以鼓励云提供商和用户分配云基础设施资源，以不仅满足在功率使用效率（PUE）和数据中心基础设施效率（DCiE）中测量的良好能量效率，而且还满足高CPU利用率。因此，在本文中，我们提出了一个框架，可以显示出有效的性能，实现高数据中心的能源效率和防止违反服务水平协议（SLA）分别与绿色云资源部署的目的。该框架基于强化学习机制和模糊逻辑实现云基础设施资源的绿色分配。在PlanetLab虚拟化环境的痕迹上进行了节能资源分配的评估，以获得良好的PUE和CPU利用率。©2018作者制作和主办：Elsevier B.V.代表沙特国王大学这是一CC BY-NC-ND许可下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍美国国家标准与技术研究院（NIST）将该术语定义为“云计算是一种用于实现对可配置计算资源的共享池（例如，网络、服务器、存储、应用程序和服务），只需最少的管理工作或服务提供商交互即可快速调配和发布Armbrust等人（2010）将云计算定义为通过互联网提供服务的应用程序，这些服务由数据中心的硬件和系统软件提供;而数据中心的硬件和软件称为云。云计算是信息和通信技术（ICT）*通讯作者。电 子 邮 件 地 址 ： saziaparvin@melbournepolytechnic.edu.au （ S. Parvin ） ，amajd. gawanmeh@ku.ac.ae（A. Gawanmeh）。沙特国王大学负责同行审查制作和主办：Elsevier在这种模式下，业务应用程序的复杂服务可以通过网络公开和访问。因此，云计算是软件即服务（SaaS）和效用计算的集成系统，其不包括小型或中型数据中心，而是依赖于虚拟化进行管理。云计算通常由拥有数千台强大计算机的大型数据中心提供支持。这些数据中心可以存在于一个专门的设施中，该设施托管属于云服务器的所有硬件和软件。另一方面，数据中心也可以共享，所有者可以将云服务作为设施的一部分出租给服务提供商。在这种情况下，数据中心将旨在托管尽可能多的客户，因此托管许多不同的应用程序。为了实现这一点，采用了虚拟化，其中用户被授予虚拟平台，而不是物理平台，以解决数据中心中的几个操作和维护问题。虚拟化被认为是在云计算中实现按需资源分配和供应的基本管理工具（Adnan等人，2012年）。虚拟化的目标是向用户隐藏物理和低级别的系统组件。这将实现资源的有效配置和利用，其中多个应用程序可以同时托管和运行。最后，这种范例允许快速恢复并为系统提供容错。https://doi.org/10.1016/j.jksuci.2018.11.0051319-1578/©2018作者。制作和主办：Elsevier B.V.代表沙特国王大学这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表沙特国王大学学报杂志首页：www.sciencedirect.com小行星1128Thein等人 /沙特国王大学学报-计算机与信息科学32（2020）1127- 1139因此，虚拟化是云计算的强大后端技术，它实现了云计算的高层次可扩展性、灵活性和可用性。 借助这些关键使能技术，云数据中心中的云基础设施资源（即主机、存储和网络容量）被虚拟化，并作为虚拟机（VM）交付给云用户。由此，针对该环境的资源分配与应当为传入VM指派和分配什么基础设施资源（主机）相关联。服务器整合通常用于最大化数据中心中的物理资源利用率。该资源管理方案找到了虚拟机到可用硬件资源的良好映射。该方案执行多维映射，满足几个约束，包括可用的CPU核数，所需的存储硬盘空间，物理内存，最后分配的网络带宽。具体来说，它是一种资源分配的形式，以优化利用云物理资源。也就是说，虚拟化技术是提供云计算平台上动态资源管理解决方案的有效途径。通过将服务封装在虚拟机中并映射到每台物理服务器上，可以较好地解决云计算中用户需求的异构性和平台无关性问题。虽然云技术被广泛接受为提供多种服务的技术，但它遭受与资源管理、功耗、安全性、服务质量和大数据相关的各种挑战性问题。普遍存在的缺点是数据中心相对较高的运营成本和功耗由于这一缺点因素，随着能源需求的增加和对高计算能力的需求，提供节能解决方案已成为优先事项之一。因此，需要付出很大的努力来寻找有效的解决方案，以保持降低数据中心的功耗与所提供的服务的性能和质量为了降低云数据中心的能源消耗和碳排放，研究了当前云资源管理活动。云数据中心中的若干资源（诸如硬件、功率管理单元、数据存储单元和冷却器系统）在涉及功率消耗时难以控制，因为后端管理策略不考虑功率分配的能量和环境影响此外，计算资源应有效利用，以减少能源浪费。如果主机以功率有效的方式被分配用于轻工作负载，则其对于主机级而言似乎是能量有效的，但是对于数据中心而言由于CPU利用率的供应不足而因此，这两个因素：能源效率和CPU利用率需要引入绿色数据中心解决方案。本文提出了一种节能的云基础设施资源分配框架之间的云后端数据中心。该框架将资源利用率和数据中心能效标准作为优化目标，产生满足绿色云计算所有目标的最优分配决策。节能解决方案的新颖性在于研究基于强化学习的节能资源分配机制，用于动态分配云基础设施资源。该机制嵌入了模糊逻辑的考虑能源效率和利用率的权衡。通过使用CloudSim工具包在动态云负载场景云计算提供对托管在数据中心的共享资源和服务的按需访问。利用其底层资源池的力量，共享资源和服务对于云计算的服务交付至关重要这里，云资源管理是以寻求满足基础设施提供商和云用户的目标的方式将诸如CPU、存储器、存储、网络和间接能量资源的计算资源分配给一组传入需求的过程因此，云资源管理需要复杂的决策，以实现多目标优化。大规模、多租户环境和异构资源为云中的管理和监控任务带来了挑战。资源管理的挑战范围从处理异构资源的有效分配，以及调度映射到给定资源的作业，以处理与工作负载和系统相关的不确定性在实现这一目标之前会遇到一些困难，包括：服务水平协议、可扩展性、能源效率和动态性。此外，对多个数据中心的需求还带来了一些问题，如负载平衡、调度、多层次抽象和可持续性挑战。这项研究工作旨在为云基础设施提供商在SLA承诺和节能方式方面尽最大努力管理其资源由于云计算的核心技术是虚拟化，每个物理资源都可以作为多个虚拟机（VM）来使用，因此本研究致力于以节能的方式将VM资源分配给物理机。在这项研究中考虑的SLA指标是CPU利用率。云计算中的资源需求模式是动态的，因此在本研究中进行资源预测，以实现有效的资源分配。云环境可以被看作是一组分配到一组资源上的作业。本研究的问题主要有三个方面。首先，决定哪些作业应该分配给哪些资源对于确保每个作业获得足够的资源至关重要换句话说，需要预先知道虚拟化云环境中的动态资源需求行为，以检查并避免需求的SLA违规发生。为了满足这些需求，云基础设施资源需求预测模型采用随机森林（RF）集成算法来预测实际高性能下不同任务的先验资源使用情况、CPU消耗情况计算（HPC）工作负载（Adnan等人， 2012年）。第二，提出了云数据中心实现绿色化方向的有效动态资源分配决策的需求。这一方向可以实现与模糊逻辑为基础的决策支持系统在本研究的援助。该系统保持跟踪功率使用效率（PUE）的所有组合（Chen等人，2011）和资源利用率作为其相应的绿色度的数据中心，并使贸易-能源效率（PUE）和CPU利用率之间的决策。最后，分析各种资源分配模式对利用率和能耗的影响，并选择最佳的资源分配决策。为了实现这些目标，SLA保证，能源效率的资源分配框架提出了四个组件，即能源效率的资源分配器，服务水平协议（SLA）管理器，数据中心能源分析器和云基础设施资源监控。主控制器是应用强化学习的节能资源分配器然后，提出了资源分配机制在强化学习和模糊逻辑的整体帮助下。该SLA保证的节能资源分配框架在CloudSim中建立（Calheiros等人，2011），其是用于云计算系统的建模和性能分析的公知环境。该研究机制作为扩展层嵌入CloudSimFramework中，以支持数据中心能量水平的有效性。在这项工作中，节能的解决方案在于研究人工T. Thein et al./Journal of King Saud University- Computer and Information Sciences 32（2020）1127-11391129基于智能的高能效资源分配策略，用于动态分配资源和提供额外的最后，在CloudSim平台上对所提方法的性能进行了验证。云计算环境中的资源管理过程有几个方面需要考虑，包括SAL、可扩展性、能源效率和动态性。接下来，我们将讨论每一个在云资源管理中的角色。1.1. 服务水平协议（SLA）在云IaaS上下文中，提供商执行虚拟基础设施资源的供应，以满足用户和云提供商之间的SLASLA是云提供商和云用户之间的正式协议，以量化的方式定义所提供服务的功能和非功能方面。SLA通常描述关于要提供给用户的服务水平的若干问题，诸如可用性、性能、保证、动作、违规和补救，以及最后的计费（Alhamad等人，2010年）。SLA管理包括SLA合同定义、SLA协商、SLA监控和SLA实施。云服务的SLA侧重于数据中心的特征。云服务提供商的最终目标不仅是最大化它的利润，但也最大限度地减少违反SLA的数量。在影响数据中心总拥有成本（TCO）的各种成本中，美国环境保护署（EPA）指出，能源成本是影响TCO的最重要因素，并且由于电力成本的增加，这种影响在不久的将来还会增加。在Koutitas和Demestichas（2010）中，数据中心的计算物理资源（IT设备）的能耗排名最高。因此，可以通过降低运营成本来减少数据中心的物理资源所吸收的能量。因此，在云基础设施提供商的资源分配问题中必须考虑SLA约束，这通常被描述为优化问题。从功能的角度来看，数据中心拥有处理基本云操作（如数据）的关键另一方面，处理其他非IT操作的非关键设备云数据中心包括数百或数千个互连的高性能关键设备，例如CPU、存储器以及关键和非关键设备。在整个数据中心设备中，制冷机消耗的电力开销最大，通常占IT负载的30接下来是计算机房空调（CRAC）单元，消耗10-30%的IT负载，其次是UPS系统，通过AC-DC-AC转换损耗消耗7-12%的关键功率。其他设施元件（加湿器、配电单元（PDU）、照明）进一步贡献更少的功耗。本研究工作着重于云数据中心IT设备的能耗，可以观察到CPU的能耗（40%）是数据中心IT设备成本中影响最大的因素。因此，本研究的SLA指标是云数据中心的CPU利用率1.2. 可扩展的管理机制需要具有可伸缩性属性的管理机制来允许资源监控，其中可以管理诸如系统扩展或系统缩减之类的操作。 由于云计算需求随着时间的推移而增加，因此自动化机制必须处理该需求。这一机制的责任是在不同的时间间隔跨越云的多个层来积累云环境的信息。因此，资源分配方法，特别是用于虚拟化服务的资源分配方法，必须跨多个需求的规模工作。此外，资源供应和调度也必须满足这些需求。本研究的可扩展性是通过监测CPU利用率指标和确定云环境是过载还是欠载来实现的。然后在此阈值的基础上，通过在满足SLA的同时利用有效的资源使用和低成本来执行系统的可扩展性。该系统使用强化学习（RL）来学习云环境的行为，同时自动扩展到该环境的资源。该系统提供了基于模糊逻辑的强化学习公式，可以自动缩放云数据中心的虚拟机数量以满足SLA，并设计基于Q学习的有效资源分配。1.3. 能效提供云服务的大型数据中心不仅促进了基础设施资源的能源消耗成本，而且还大幅增加了环境成本。这些问题是降低云系统能源成本和碳足迹的重要前提。为了最小化能耗，需要智能机制来跨多个异构机器进行管理，并且跨硬件和软件层协调策略以平衡性能和能量，以及有效地利用多个资源。基于强化学习机制与模糊逻辑推理的集成的能量效率用于获得云减少未使用资源消耗的能力。由于中央管理，能源消耗以及碳排放的额外成本可以更好地控制比不合作的情况下。1.4. 活力云数据中心始终处理巨大且快速变化的需求。由于工作负载不断到达和离开，数据中心内的分配、迁移和整合过程的管理定期进行，此外，每个服务的工作负载通常会随着时间的推移而变化，并且每个服务的性质及其能源消耗和环境影响不断增加，因此管理方案需要通过避免经济处罚来满足绿色云解决方案的要求。由于云计算资源在多个独立的需求之间动态地、不可预测地共享，并且这些资源可能分布在全球范围内，因此本研究通过预先引入资源预测机制来保证资源管理技术的性能，旨在解决云计算系统的复杂性它还支持监视和分析必须处理过去行为的有限知识以推断云环境的操作状态在本文中，节能资源分配框架的目的是使资源分配的方式，以降低总拥有成本（TCO）的云基础设施提供商。这是通过减少云平台消耗的能量来实现的，同时控制SLA中云计算提供商使用的现有解决方案具有高成本，并且不提供最佳功耗策略。1130吨Thein等人 /沙特国王大学学报-计算机与信息科学32（2020）1127- 1139在本研究中，为绿色云数据中心环境设计资源分配时，考虑了以下几个方面：多个基础设施资源必须动态虚拟化，并在云用户之间共享，以满足多个独立的需求。虚拟化基础设施资源必须在云物理资源之间动态分配。数据中心的能源效率必须通过控制物理基础设施消耗的能源来保持。SLA必须在时变需求的存在下得到保证，虚拟机分配必须进行监控和重新配置以避免性能下降。数据中心的资源利用率必须在利用不足和过度利用标准之间得到改善这项工作依赖于强化学习（RL）提供的机制，使云基础设施提供商能够在考虑所有方面的可变和不可预测的工作负载下优化分配资源。由于资源需求的动态性和云环境的复杂性，很难建立一个数学模型，以节能的资源分配策略。无模型强化学习方法的帮助下，解决了缺乏有效的资源强化学习的独特之处在于它可以自动感知环境状况，并在没有特定领域知识的情况下执行最佳的管理策略因此，在云环境中，用户的请求是动态的，提供者是非常复杂的实时处理这些请求的资源分配问题，它授予最好的努力2. 文献综述云计算系统面临着与安全性、QoS、虚拟化、标准化和电源管理相关的若干挑战。此外，云计算中的能量感知管理和调度问题近来也受到越来越多的关注。本节概述了与绿色云计算相关的最新技术和研究，从云计算系统的各个角度减少了大部分能耗。研究了当前云资源管理活动在降低云数据中心能耗和碳排放方面的作用，以建立绿色云。许多研究人员强调了云计算的各种节能创新，这些创新不仅考虑了云架构，而且还考虑了云数据传输。 Beloglazov和Buyya（2010）介绍了节能计算的最新进展。作者认为，云系统需要新的架构概念来满足能效要求。在资源分配方法中，服务质量应当被维持和解决，特别是在解决设备的功率使用特性的同时。提出了一种基于虚拟机动态特性Baliga等人（2011）研究了公共和私有云系统中的能耗问题，特别是在数据处理和数据存储单元中。该分析考虑了公共云和私有云。作者测量了三种不同云服务的能耗他们得出结论，公共云消耗的电力是私有云的四倍他们还表明，即使采用优化方法，基于云的系统也比传统计算模式消耗更多的能源。Moreno和Xu（2011年）讨论了在不降低云计算性能的情况下节约能源的重要性，这代表了客户优先考虑的商业模式在方法论上提出了绩效保持的概念，引入了绩效保持的政策和评价引入了一些额外的变量，如工作负载和硬件异构性，工作负载网络和服务器作者指出，云系统在保持向用户提供的服务水平的同时，仍有能源优化的空间。荷兰的GreenClouds项目研究了一种系统级方法，以实现绿色高性能计算（HPC）基础设施和云。 Chen等人（2011）构建了一个线性功率模型，该模型表示单个工作节点的行为，并包括各个组件的贡献，即CPU、内存和HDD，与单个工作节点的总功耗之比。在针对不同的高性能计算工作负载分析虚拟机时，考虑了三个功率指标，即功率、功率 效 率 和 能 量 。 Nathuji 和 Schwan （ 2007 ） 的 工 作 提 出 了 一 个VirtualPower基础设施，可以为用户提供配备了一组丰富的“软”电源状态的虚拟机，这些状态这些状态可用于制定虚拟化级别管理的策略。Beloglazov和Buyya（2010，2012）提出并评估了虚拟化云数据中心的高效资源管理策略。他们提出了一种基于算法的方法，以最小化使用QoS作为约束的VM分配中的能耗。他们表明，通过利用虚拟机的动态重新分配来关闭空闲服务器可以降低云数据中心的能耗。Zhang等人（2011）提出了一种资源管理方法，该方法可以动态调整供应和价格，以最大化供应商他们将他们的方法应用于单个提供商场景，并使用Amazon EC2进行评估。该机制基于约束离散时间有限时域最优控制公式，并使用模型预测控制（MPC）来找到其解决方案，以设计其动态算法。Xiao等人（2013）提出了一种资源管理方案，该方案利用不断变化的需求来自适应地复用虚拟和物理资源。引入“偏斜度”的概念通过最小化偏斜，不同类型的工作负载被很好地组合在一起，提高了服务器资源的整体利用率。他们开发了一套有效防止系统过载同时节省能源的方法。基于博弈论的资源分配用于多媒体云的虚拟机资源分配（Hassan和Alamri，2014）以及用于在异构动态云联合平台中分配资源分配（Hassan等人，2011，2014; Gao等人，2017年）。Beloglazov等人（2012）提出了一种用于云计算中数据中心Youn等人（2017）、Shojafar等人（2015）以及Zhou等人（2017）提出了一种类似的基于移动的云系统工作流调度方法，用于云数据中心的调度。伊斯兰教等人（2018）提出了一种基于启发式的节能任务调度算法，用于网格计算。在叶等人的工作。（2016）提出了一种用于无线网状网络的流量工程方法，该方法在每个转发路由器处使用链路信道对的联合选择。他们使用这种方法来分配所需的功率，以提高整体网络吞吐量。Gai等人（0000）解决了5G超密集网络中的能效调度问题。智能资源分配方法●●●●●T. Thein et al./Journal of King Saud University- Computer and Information Sciences 32（2020）1127-11391131针对不同的应用提出了使用强化学习的方法，例如Cyber-PhysicalSystems（Gai等人， 2018）、异构云计算（Mao et al.，2016）、分布式系统资源管理（Ye和Li，2017）、V2V通信中的资源分配（Salahuddin等人， 2016），最后是车载云基础设施（Koutitas和Demestichas，2010）。一个自动化资源管理系统的设计与实现，涉及到资源分配、资源复用、资源预测、调度、负载均衡、迁移等诸多技术。除了虚拟化技术，云计算的另一个关键使能技术是面向服务的架构（SOA），出现了严格强调服务水平协议（SLA）的资源分配形式，系统的总IT基础设施由数据中心提供，必须满足与客户建立的各种SLA。SLA包括计算能力、存储空间、网络带宽、可用性和安全性、支付等。Vasile等人（2018）的工作提出了一种针对不同类型计算请求的调度算法，例如独立任务，任务包（BoT）和依赖性任务。调度是使用现有的机器学习工具箱进行的，名为MLBox，以找到应该为某个请求使用什么算法。 在Cioara等人的工作。（2018）研究了非电气冷却设备（如用于废热再利用的热存储和热泵）与联合数据中心中的IT工作负载执行时间转移和空间重新定位之间的折衷。其目的是发现DC在满足各种网络级目标方面的潜在电力和热能灵活性，并评估定义的业务场景的财务可行性。Orhean等人（2018）的工作提出了一种强化学习算法，通过考虑节点的异构性，它们在网格中的分布以及任务的安排来解决分布式系统中的调度问题，目的是确定更好的执行时间的调度策略。Goudarzi（2011）考虑了云计算系统中基于SLA的多维资源分配问题。SLA是基于效用函数定义的，当请求的平均响应时间增加时，效用函数减小建立了基于不同服务器和集群的资源分配的响应时间模型，并将这些模型应用于利润优化问题。基于广义处理器共享将问题形式化，并采用一种多阶段启发式算法求解。对系统进行了建模，以证明基于比例份额分配的修改版本的最终解的质量和基于枚举的最优结果。Buyya等人（2011年，2010年）指出，在解决数据中心中实现面向SLA的资源分配以满足计算服务的竞争应用需求的问题时存在他们提出的体系结构支持基于市场的配置策略和虚拟化技术的集成，他们还展示了如何使用Aneka平台有效实施拟议的框架。其性能评估结果表明了基于SLA的云资源配置的可行性和有效性Yousafzai等人在最近的调查中讨论了更多的相关工作。（2017年）。3. 拟议的研究方法尽管云在操作、技术和经济方面提供了许多优势，但高效用于数据中心的资源分配仍然需要改进。在这项工作中提出的方法强调了云基础设施提供商所面临的根本性的重要挑战，即对基础设施托管的物理资源的有效管理。为了有效地进行资源管理，资源管理应该考虑几个因素，突出动态资源需求模式，服务水平协议和资源利用率。在这项工作中，我们考虑了几个云资源中的人，企业概况。这包括：CPU计算能力，网络带宽和内存。资源管理系统处理的问题，有效地分配可用资源的需求，从用户。资源管理系统预计将在云用户设置的预定义SLA要求下运行。该管理方案既要满足用户对SLA的需求，又要满足系统的效率要求云物理机的计算能力被定义为具有可用带宽的CPU核心、存储器、本地I/O和网络接口的数量。另一方面，云计算背后的虚拟化技术将PM部署为托管在PM上的多个虚拟机（VM），VM彼此隔离，并且可以运行不同的操作系统、平台和应用。根据云的动态性质，随着需求和供应两者随时间的显著变化，存在VM分配决策以确定将需要频繁管理的VM分配到何处。下一节介绍云资源管理的资源分配框架。本研究追求与其数据中心基础设施和能源效率管理特别相关的目标，从而以执行给定工作负载所需的能源量最小化的方式分配数据中心资源。3.1. 高能效资源分配框架图1描述了云资源提供商以节能方式分发满足云用户SLA的任何云服务的节能资源分配框架。1.一、云IaaS提供商还试图满足特定的IaaSSLA指标，包括CPU资源、内存量、渗透存储、系统可用性和执行时间方面的系统性能在这项工作中，基础设施资源需求也是透明的，因为CPU利用率是所有IaaS提供商的首要SLA指标高效节能的资源分配器是该框架最重要的组成部分。该方法综合考虑当前数据中心的利用率和能耗信息，根据用户的请求选择最优主机进行虚拟机分配，实现低能耗、高利用率的资源分配决策。服务水平协议（SLA）管理器跟踪云用户的需求作为SLA度量，称为CPU利用率，并检查当前分配决策是否违反云资源提供商和用户之间的SLA。数据中心能源分析仪不仅监控云基础设施资源（主机、虚拟机）的电力使用情况，还监控数据中心的能源消耗。为资源优化配置决策提供核心信息支持Cloud Infrastructure Resource Monitor收集云基础设施资源的CPU利用率模式的历史记录，以向PM提供节能的VM分配它还监测资源Ss;s.- 是 的.小行星1132Thein等人 /沙特国王大学学报-计算机与信息科学32（2020）1127- 1139Fig. 1.高能效的资源分配框架。3.2. 基于RL的节能资源分配强化学习（Reinforcement Learning，RL）是一种通过与动态环境的交互来学习的过程，它不需要环境的领域知识，就能针对给定的状态集生成最优控制策略。强化学习是将系统的状态映射到动作的自适应过程，以最大化结果，表示为数字奖励。动作通过系统的学习过程不断影响获得的奖励。此外，强化学习基于两个基本操作：试错搜索和延迟奖励。与常规的问题解决技术相反，RL不是由学习算法定义的，而是通过表征学习问题来定义的。RL基于探索和开发之间的权衡在强化学习中，问题通常被看作是通过处理未知环境的智能体来实现的目标在众多的无模型强化学习中，本文的工作是基于Q-学习，非策略时间差（TD）方法。在云数据中心环境中的资源分配问题的制定，这是打算解决与RL，可以描述为一种优化问题的马尔可夫决策过程。目标是制定资源分配问题的各个方面，同时与云数据中心环境交互以实现最优决策。节能资源分配器作为驻留云数据中心环境的控制器执行，在一定程度上感测云数据中心环境的状态，并采取动作以探索动作对当前状态的影响水平。3.2.1. 状态空间在云数据中心环境中，有N个物理机器（主机）用作云用户的基础设施资源，并且每个主机被公式化为一个或多个状态的组件，并且环境的状态集合为S = {s 1，s 2，s 3，. . ，sN}，一般地计及所有主机。时间t的每个状态（si）是候选主机的状态，其中i = 1，2，..，N有四个维度：当前数据中心的能量消耗（ET）、数据中心中的候选主机（HT）、以每秒百万指令（UT）为单位的候选主机的利用率、以及以每秒百万指令（VT）为单位的虚拟机的CPU需求。3.2.2. 动作空间根据数据中心能量和该主机的当前利用率的综合考虑的结果，任何候选主机的可能动作可以是ALLO-CATE或NOT-ALLOCATE高能效资源分配器在状态空间上穷尽地进行试错搜索。3.2.3. 奖励信号该调度方法是基于使用一个奖励函数，评估能源模型中指定的能源参数以及每个组件的利用率函数。模糊逻辑规则用于将这些参数映射到奖励值。奖励价值函数定义了长期目标，即预测未来的奖励。为了使奖励值公式化，我们需要建立环境的属性和参数。如由马尔可夫决策过程（MDP）定义的奖励函数是元组（S;A;P;R;c），其中S是状态的有限集合，A是动作的有限集合，P是在等式（1）中定义的状态转移概率矩阵（1），R是报酬函数Eq.（2）、c是贴现因子。Pa0<$PrSt1<$s0jSt <$s;At<$a1Ra<$Pr <$Rt1<$rjSt<$s;At<$a]2因此，当执行转换s！s0使用状态转换ion概率，其中st2S，at2A，rt2R，和ptt tajst1/4Prtaj st 1/4st，其中Pr在等式2中定义。（三）Prs0;rjs;a<$pst1<$s0;rt1<$rst <$s;at<$at3s因此，奖励值在下面的等式中定义（四）、X¼¼（c）¼;R2RωRj;;Prs0js;apuzzleT. Thein et al./Journal of King Saud University- Computer and Information Sciences 32（2020）1127-11391133rs;aE½rt1jst<$s;at<$a]<$Xr2RrPrs0;rjs;a4s02S下面的算法1。虽然数据中心CPU的高功耗导致了高昂的散热成本，对于状态转移概率，奖励值变为如等式2中所定义。（5）以下：忽略了这些值之间的依赖关系。此外，根据绿色网格联盟定义的PUE标准，实现了最优资源分配。r sas0XRP.rsas0Pr2RrωPr.s0;rjs;a数据中心的另一个指标是数据中心基础架构效率，5在每个时间步，节能资源分配器根据奖励函数的结果选择最优决策利用率函数的值越大，该候选主机中VM的资源分配越好使用下文中描述的优化标准来确定主机DCiEIT设备电源总设施电源3.3. 能量有效的资源分配算法ð8ÞVM分配。3.3.1.1. 空房的评估候选主机中的可用资源（CPU、内存和存储）以分配VM需求。3.3.1.2. 主机利用率。该标准旨在最大化候选主机3.3.1.3. 数据 中心 能效 。用于 测量 数据 中心 能效 的著 名指 标 PUE（Power Usage Effectiveness）对于云计算提供商来说是最有利的，以便管理其数据中心功耗。PUE由绿色网格定义（Armbrust等人，2010），其是由数据中心设施使用的总功率量与输送到计算设备的功率的比率，如在等式（1）中。（六）：第4.1节中讨论的框架的主要组件是节能资源分配器，并且该分配器的实现被描述为如算法1所示的节能资源分配算法。本文的工作是设计和实现一个决策支持系统，以保证资源分配过程中的由于在决策过程中需要考虑多个标准，因此在分配过程中嵌入了模糊逻辑为了提高数据中心的效率，将数据中心的PUE和资源利用率转化为模糊集，分析数据中心的潜在状态。此过程已在数据中心的所有主机上运行，同时输入VM需求以决定该VM的最佳位置。由于资源需求的动态性和云环境的复杂性，利用强化学习（RL）方法推荐最优分配策略。高能效云基础设施资源分配框架-已作为CloudSim工具包的扩展层实现。在执行分配时，此层测量电源使用效率（PUE）和数据中心基础架构效率PUE设施总功率IT设备电源ð6Þ（DCiE）和数据中心级别的CPU利用率另另一方面，CloudSim通过在主机级考虑能量来分配资源。连接强化学习机制和其中，总设施功率是完全输送到数据中心，而IT设备电力是指用于管理、处理、存储或路由数据中的数据的设备所消耗的能源设施。该结果强调了云数据中心IT设备的能耗，该设备占整个数据中心的30%（Koutitas和Demestichas，2010）。对于所有IT设备电源考虑，可以将此能源成本（30%）假设为100%。其中，可以观察到，数据中心中的IT设备成本的40%是CPU的能耗，剩余的10%是非CPU的成本。因此，PUE可以被重写为等式2。（七）：模糊逻辑，云基础设施资源分配执行高数据中心效率导致绿色数据中心。通过对Plane- tLab虚拟化研究数据集进行评估，分析了该框架的有效性，并通过良好的PUE和CPU利用率分析了所提出的资源分配机制在资源分配的情况下，根据模糊推理系统的排序值，回答PUE和CPU馈送的变量的参数值和每个模式的奖励值（zk）对于这些状态对中的每一个，定义奖励值的方便方式被描述为决策表，其在下面给出（参见表1）。PUENon IT非ITCPU非CPUCPUð7Þ4. 基于强化学习的资源分配实验研究为了计算PUE，绿色网格提供的数据中心场景（Chen等人，2011年），在这项研究中。非IT设备的功率值如下所述绿色网格，非CPU功率值提取为由网格提供的给定IT设备功率的10%。利用提出的节能资源分配算法进行资源分配，得到CPU消耗的能量所提出的资源分配算法被实现为CloudSim工具包中的新的资源分配优化启发（Calheiros等人，2011年）。为了评估的目的，建议框架中的组件被封装为扩展启发式的形式CloudSim是一个可扩展的仿真框架，它为基于虚拟化云的数据的表1使用两个输入和一个输出的秩的推理规则PUE/CPU非常有效高效平均低效非常低效欠载R0（90）R3（70）R6（30）R9（10）R12（0）公平R1（100）R4（80）R7（40）R10（10）R13（0）过载R2（60）R5（50）R8（20）R11（0）R14（0）Þ¼¼Ciency（DCiE），其是PUE的逆，如等式（1）中所描述（八）：2ðÞ ← [美国]¼I¼Xð ð ÞÞ; ¼; **：刘伟小行星1134Thein等人 /沙特国王大学学报-计算机与信息科学32（2020）1127- 1139中心环境和云管理服务，用于不同能力、配置和域下的VM、内存、存储和带宽CloudSim支持的功能是对大规模云计算环境进行建模和仿真，包括数据中心、服务代理、资源提供和分配策略、虚拟化引擎、网络连接、私有和公共提供商的联合云环境算法1.提出的能量有效的资源分配算法算法：节能资源分配算法输入：- host_list，数据中心中创建的主机总数，- vm_list，要在数据中心的主机中创建的VM的总数- 工作负载，云用户的CPU需求（以每秒百万条指令为单位），- c、贴现因子，- L，学习过程的特定片段输出：优化VM的分配。方法：1init（工作负载）//读取用户工作负载并初始化数据中心组件2主机（主机列表）//在数据中心中创建具有相应特征的3VM_list（vm_list）//在数据中心创建具有相应特征的4Environment（）//设置状态集S，动作集A，初始化Q值和R值5对于每个VM2VM_list6对于每个主机2host_list7s0 = {et，ht，ut，vt}//将数据中心能量、主机、VM需求分配给初始状态8对于每个时间步长k = 0，1，2，.. . ，L9ak = a马克斯;Q k（s k，&a '）//执行当前利用率能量的策略，并选择具有最大值的动作（主机）10applyak，measuresk+1//确定结果动作的值11reward rk+1//用模糊逻辑计算12Qk1sk;akrcmaxa0Q ksk1;a //更新保单价值13sk sk 1//分配下一个主机14端15端16returnhost; //选择最佳奖励主机17return（root，root）;18端19返回分配。嵌入CloudSim架构的节能资源分配服务。4.1. 资源分配本小节介绍了云资源分配的实验和评估以及CloudSim工具包。此外，模拟了7天内云数据中心环境的性质，目的是从云用户的角度检查违反了多少SLA，以及从云资源提供商的角度检查维持了多少数据中心能效以及数据中心中主机的总体资源利用率。4.1.1. 功耗创建了一个数据中心，其中包含200台异构主机，其中包含两种类型的HP ProLiant ML 110 G4（英特尔至强3040，2个核心-1810 MHz，4 GB）和HP ProLiant ML 110 G5（英特尔至强3075，2个核心-2110MHz，4 GB）。图3示出了所考虑的数据中心中的功耗特性。该图显示了两台计算机处于空闲状态时4.1.2. 传入资源请求云计算环境的真实工作负载跟踪目前还没有一个基于模拟的评估方法。因此，作为一个全球性的试验平台，PlanetLab（Park和Pai，2006）是研究人员在分布式存储、网络映射和服务方面的宝贵资源。PlanetLab目前由578个站点的1184个节点组成该社区授予虚拟化环境，因为每个研究项目都可以使用虚拟机访问节点的子集。本评估中使用了此虚拟化Plane- tLab研究项目提供的真实工作负载跟踪，其中使用通过CoMon收集的数据从世界各地的PlanetLab节点提取了虚拟机的CPU利用率（Park和Pai，2006年）。表2列出了2011年在PlanetLab节点上运行10天的虚拟机数量。在这些跟踪中，选择2011年3月3日至2011年9月4日7天内200个虚拟机的CPU利用率进行实验。4.2. 基于强化学习的资源分配性能分析SLA Manager在云环境的VM分配之前调查数据中心中主机的CPU利用率，以确保分配符合SLA指标。CPU利用率是时间的函数并且被表示为u（t），并且在可以针对主机i定义的时间段内的主机的能量消耗（被称为E）在等式（1）中描述，主机i的范围（9）下面。EZt1P u t dt i1 2N9的t0由于这些共同的功能，CloudSim可以被用来轻松地构建新的配置，以评估与资源管理策略中的服务交付和配置策略相关的性能瓶颈。CloudSim架构虽然支持云基础设施服务管理，但没有考虑数据中心级的能耗，特别是数据中心的PUE，忽视了数据