云数据中心虚拟机迁移与服务器整合技术研究

制作和主办：Elsevier沙特国王大学学报支持DVF的云数据中心中虚拟机迁移和服务器整合技术的调查研究：分类和挑战Mirsaeid Hosseini Shirvania，Amir Masoud Rahmania，b，Amir Sahafica伊朗德黑兰伊斯兰阿扎德大学计算机工程系科学和研究处b伊拉克苏莱曼尼亚人类发展大学计算机科学c伊朗德黑兰伊斯兰阿扎德大学南德黑兰分校计算机工程系阿提奇莱因福奥文章历史记录：收到2018年2018年6月23日修订2018年7月5日接受在线提供2018年保留字：云计算VM迁移服务器整合DVFS负载平衡电源管理A B S T R A C T与传统的信息技术方法相比，云计算是一种很有前途的范例，在传统的信息技术方法中，组织和企业采用按使用付费模式的弹性云服务，以降低成本。虚拟化是一种广泛应用于现代数据中心（DC）的技术，可最大限度地提高资源利用率，减少温室气体排放，并降低整体成本。虚拟机（VM）迁移在DC内和DC之间被广泛利用，以满足虚拟化云环境的各种需求。例如，服务器整合需要VM迁移以进行电源管理。此外，负载平衡、容错、系统维护以及最大限度地降低服务级别协议（SLA）违规率都需要实时VM迁移。虚拟机迁移过程非常占用资源，需要采用智能方法来避免网络带宽饱和，并将服务器停机时间降至最低。此外，在本质上异构的DC中的集群服务器中的动态电压频率缩放（DVFS）尽管在关于经济、隐私和安全问题等的文献显然缺乏对VM迁移、服务器合并和DVFS技术的为了填补这一空白，我们提出了不同的方案来分类的共性和差异的角度研究人员，从文献中获得的指标的基础上。最后，开放的问题，挑战和未来的方向进行了讨论，以改善现有的计划和方法。©2018作者制作和主办：Elsevier B.V.代表沙特国王大学这是一CC BY-NC-ND许可下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。内容1.导言. 2681.1.动机2691.2.论文的选择和研究过程2692.云计算的背景3.对几个概念的简要回顾2703.1.VM放置2703.2.VM迁移2713.3.服务器整合2723.4.动态电压频率缩放（DVFS）273*通讯作者：伊朗德黑兰伊斯兰阿扎德大学计算机工程系科学与研究处;伊拉克苏莱曼尼亚人类发展大学计算机科学。电子邮件地址：rahmani@srbiau.ac.ir（A.M.Rahmani）。沙特国王大学负责同行审查https://doi.org/10.1016/j.jksuci.2018.07.0011319-1578/©2018作者。制作和主办：Elsevier B.V.代表沙特国王大学这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表沙特国王大学学报杂志首页：www.sciencedirect.com268M. Hosseini Shirvani等人/沙特国王大学学报4.需要研究虚拟机迁移、服务器整合和DVFS技术2735.文献中VM迁移方案的分类5.1.文献中的VM迁移方案综述5.2.基于我们的主观分类比较文献中的VM迁移方案6.文献中服务器合并方案的分类6.1.文献中的服务器整合方案综述6.2.基于我们的主观分类的文献中服务器整合方案的比较7.文献280中DVFS方案的一种分类7.1.文献中DVFS方案的综述7.2.基于我们的主观分类的文献中DVFS方案的比较8.关于未决问题和挑战的讨论2829.结论和未来方向283参考文献2841. 介绍根据NIST的定义，与传统IT相比，云计算是一种有前途的范例（Mell和Grance，2009）。云是一种多方面的范例，其中它经由网络连接按需向其订户提供计算资源，而无需任何努力与提供商连接（Armbrust等人，2009年）。这个富矿是没有IT基础设施的初创公司和拥有现有IT基础设施的企业的机会，因此它缩短了业务进入的障碍。前者可以利用公共云，而后者可以利用混合云架构，甚至是来自不同提供商的联合云（Altmann和Kashef，2014）。采用云计算后，资本支出（ CAPEX ）被 省略 ，总拥 有成 本（TCO）仅 转换 为运营 支出（OPEX）（Perumal和Subbiah，2014）。由于近年来云服务的采用呈上升趋势，因此提供商在其DC上扩展服务需要降低OPEX。低效率的资源分配使发展中国家利用不足，增加了电力消耗、二氧化碳排放和气候变化（Khani等人，2016; Weber等人，2010年）。服务器蔓延是一种现象，其中云DC遭受未充分利用的分布式服务器。根据（Uddin等人，2013年），大约30%的云服务器仅从10到15%。为了防止低利用率导致的资源浪费，通过利用VM迁移将服务器的工作负载打包到最小数量的物理机器中来有效地应用服务器整合。它导致在休眠模式下切换不必要的服务器的情况，因此这是减少电力消耗的好方法（Gao等人，2013;Hiroufuchi等人，2011;Jian-ping例如，2014; Jeong等人，2013年）。Le（2015）在他的研究中预测，到2020年，发展中国家购买的全球电力量将超过300亿美元，碳足迹将超过2.6亿吨二氧化碳当量（百万公吨二氧化碳当量）。同一份报告指出，谷歌新兴技术利用云计算作为基础设施;因此，云与新技术物联网（IoT）联系在一起，而其目标是使一切都智能化，例如智能住宅，智能应用程序和智能设备（Botta等人，2016; Distefano 等 人 ， 2015 年 ） 。 云 服 务 利 用 面 向 服 务 的 架 构（SOA）向其订户提供技术和平台无关的Web服务;因此，Web服务的性能以SLA的形式在客户和提供商之间设置（Hosseini Shirvani等人，2017年）。此外，服务水平对象（SLO）是要满足的网络度量，这是由SLA中最喜欢的服务质量（QoS）确定的;在这方面，通常客户和提供商的目标存在冲突（Dechouniotis等人， 2015年）。此外，云计算与合作无线体域网（WBAN）服务于电子健康应用行业，而电子芯片植入衣服中或植入患者皮肤以监测患者的健康和实时查询以在紧急情况下抢救他/她（Diallo等人， 2014年）。上述实例仅是有限的示例，以显示云计算基础设施对于新兴技术的普遍使用。随着云技术在物联网、大数据管理、WBAN、车载自组织网络（VANET）等技术中的集成，在客户和提供者的观点中存在各种需要满足的冲突要求（Botta等人，2016年）。例如，VM迁移发生在网络间/网络内链路上，用于负载平衡，将过载的服务器卸载到未充分利用的服务器上，同时必须满足QoS密集型应用程序的需求（Alshaer，2015; Daraghmi和Yuan，2015; Gerofi等人，2010年）。此外，为了防止用于制造容错系统的一个故障点，经由实时VM迁移技术将VM映像从不健康节点转移到健康节点，使得其必须减少总体停机时间（Nagarajan等人，2007年）。这种方法还提高了可用性和系统可靠性。Jian-ping et al.，2014; Kusic等人， 2009）指出，空闲服务器消耗70%，大约三分之二的满负荷服务器;一些DC中的电源管理方案在动态时间间隔中监视服务器的利用率以触发VM迁移以合并未充分利用的服务器的原因（Jian-ping et al.， 2014年）。为了满足新兴技术的上述需求VM迁移是一个资源密集型过程，因为它持续消耗服务器的周期、带宽和内存（Deshpande等人，2012; Deshpande等人，2011年）;因此，智能方法将接管这个问题，因为DC内/跨DC的不及时/激进的VM迁移会导致性能下降并使LAN/WAN边界的链路饱和。为了解决这一问题，现代网络服务器利用局域网边界的存储但是，在WAN边界中，VM映像必须经由WAN链路连同VM存储器守护进程一起从存储器传输，因此它因此延长了执行时间并使WAN链路饱和（Deshpande等人，2012; Riteau等人，2011年）。另一方面，由于DC本质上是异构的，因此DVF使能的服务器可以帮助实现功率管理。这些类型的服务器可以根据工作负载量调整它们的频率-电压对以降低功耗（Wu等人，2014年）。此外，DVFS技术可以基于它们的利用带宽要求应用于除CPU之外的其他外围设备，诸如高速缓存、RAM、DISK（Deng等人，2011;Ghasemi等人，2011; Gurumurth等人，2003;Mittal和Zhang，2012）。为了提高DVFS方案的效率，M. Hosseini Shirvani等人/沙特国王大学学报269而由工作负载确定的资源消耗可以被记录，以便将来预测资源请求;在这方面，该方案可以基于负载预测来调整资源频率-电压对（Hotta等人，2006; Mittal和Zhang，2012）。尽管在关于经济、隐私和安全问题等的文献中已经提出了各种各样的云显然缺乏关于VM迁移、服务器合并和DVFS技术的调查研究（Ahmad等人，2015a，2015b; Ghojoghi和HosseiniShirvani，2016; Mokaripoor和Hosseini Shirvani，2016）。为了填补这一空白，我们提出了不同的方案来分类的共性和差异的角度研究人员，从文献中获得的指标的最后，讨论了改进现有方案和方法的开放问题、挑战和未来方向1.1. 动机效用计算在几十年前经历了从大型机时代、集群计算、网格计算到现在的云计算的几个时代。在云时代之前，每一种技术都有各种各样的问题和挑战，因此在新技术中出现了遗漏的缺点云计算也不例外，这虚拟化带来了各种机会，如虚拟机迁移和服务器整合，以满足移动计算、可用性、卸载过度使用的服务器以实现负载平衡等需求和电力需求DC中的电力管理（Khani等人，2016年）。此外，它还可以将上述技术与支持DVFS的服务器集成，以最大限度地减少CPU、RAM和高速缓存等资源的功耗。尽管文献中已经提出了几个单独的工作来涵盖虚拟化挑战，但除了DVFS之外，还没有少数调查研究因此，需要全面的分类法来深入了解虚拟化的机遇和未来研究的挑战。1.2. 论文的选择和研究过程本节提供了我们的研究过程，导致从文献中选择论文。我们设计了一些问题、目标和各种各样的关键词来搜索已发表的论文。诸如何时何地进行虚拟机迁移/服务器整合等问题？如何防止激进的虚拟机迁移/服务器整合/DVFS方法？我们可以在哪些资源中应用DVFS技术？VM迁移中的LAN/WAN边界迁移需要哪些先决条件？带宽优化需要哪些技术？如何确定实时VM迁移中的预拷贝终止轮次？我们能否利用分析和监控技术来改进方案？应用这些方案需要什么类型的QoS？实时虚拟机迁移的主要挑战是什么？等。在提出问题后，我们选择了几个关键词进行搜索查询，如虚拟机迁移、虚拟机放置、服务器整合、DVFS、挑战、问题，Fig. 1. 我们的研究过程。270M. Hosseini Shirvani等人/沙特国王大学学报利用率、带宽优化、移动计算、可用性、容错、负载平衡、功率管理以及它们的组合（如果需要）。在此基础上，对Springerlink、Elsevier、Wiley、ACM、IEEE等权威图书馆和数据库进行了检索查询。例如，我们在IEEEEx- plore（www.example.com）上执行了一个带有文本“server consolidation”的查询（“Basic Search”），限制了ieeexplore.ieee.org查询返回了542个文档，其中476个是会议出版物，46个是期刊和杂志，17个是抢先体验文章，3个是书籍和电子书。当然，不可能考虑所有的文件，所以应该做进一步的选择。进一步的选择是基于上述关键词和问题。因此，我们对2010年以后的最新论文进行了提炼和选择，既有新颖的论文，也有改进的老式论文，以不失去基本的方法。 我们的研究过程如图所示。1.一、本文的其余部分组织如下。第二部分介绍了云计算的背景。 第三部分简要介绍了虚拟机放置、虚拟机迁移、服务器整合和DVFS技术等概念。第四部分说明了当前调查的必要性。第5关于未决问题和挑战的讨论见第8节。最后，第9节是专门的结论和未来的方向。2. 云计算云DC包括与高性能网络互连的一组异构集群计算机，并以实用程序的形式提供共享的计算机资源池，例如软件、平台和基础结构（Alford和Morton，2009; Zhang等人，2010年）。具体来说，云计算对于没有准确资源需求预测或可变使用模式的企业和组织来说是一个很好的选择;否则，组织和企业应该主动提供传统的内部IT资源，直到接管高峰流量，以避免热点高峰。因此，TCO肯定会扩大（Khajeh-Hosseini等人，2012; Tak等人，2011年）。云计算包含了开放竞争市场中由不同提供商提供的各种多层服务。例如，Amazon EC2以基础设施即服务（IaaS）的形式提供虚拟服务器，数 据 传 输 和 存 储 的 带 宽 （ Amazon EC2 ， 2018 ） ， MicrosoftWindows Azure以平台即服务（PaaS）的形式提供集成开发环境（IDE）工具，供开发人员开发基于云的软件并在云环境中发布其产品（Microsoft Windows Azure，2018），Salesforce以软件即服务（ SaaS ）的形式为不同行业提供客户关系管理（ CRM ）软件（Salesforce，2018）。云DC中的TCO概念包含两大类：CAPEX和OPEX，其中前者表示一次性支出，例如提供商品集群服务器、网络设备等。而后者表示动态支出，如电子和非电子设备的电费、人力工资、房地产/抵押贷款等。（Altmann和Kashef，2014）。云计算提供商试图降低他们的OPEX，以达到最大的利益，而不是增加他们的服务资费。资源分配效率低下，使发展中国家的电力利用不足，电力消费量偏高。为了虚拟化环境中的云DC中的功率管理，服务器整合触发VM迁移以将最大数量的VM打包到最小数量的物理机（PM）中;然后它休眠不必要的PM（Leite等人，2016年）。此外，支持DVFS的服务器可以基于工作负载调整其操作频率-电压然而，而非实时VM迁移发生在DC内/DC之间，原因诸如管理员的系统维护、负载平衡、可用性等。此外，由于VM迁移发生在LAN/WAN边界中，因此不及时或激进的VM迁移对性能具有剧烈影响并使网络带宽饱和，因此其他网络敏感的应用受到性能降级的影响（Voorsluys等人， 2009年）。3. 对几个概念3.1. VM放置虚拟化是一种允许不同操作系统（OS）实例托管在同一物理服务器、物理机（PM）上的技术（Barham等人，2003; Forsman等人，2015年）。虚拟机管理程序是虚拟化环境的主要组件因此，VMM为其相关VM提取资源。云DC包含互连的集群服务器，即所谓的服务器场;在这方面，在PM上以VM的形式分配用户应用程序是所谓的VM放置（Gao等人， 2013年）。虚拟机布局属于NP难问题，因为要满足多个相互冲突的目标 图 2描述了虚拟化平台。Xen、VMWare、KVM、Hyper-V等是云DC中的典型虚拟器（Forsman等人，2015年）。此外，虚拟化也是最大化资源利用率和可移植性的最佳选择。在文献中，例如（Belaglazov和Buyya，2012; Feller等人，2012; Verm等人，2008），VM放置已经被公式化为具有可变箱大小和价格的装箱问题，其中，VM放置需要被包装在最小数量的可用PM中（Bekesi等人，2000年; Chekuri和Khanna，2004年）。这是因为用户需求通常以SLA的形式陈述，以尽可能低的运营成本来满足，VM分配在云DC中是一项具有挑战性的任务。VM放置发生在两种情况下。首先，当用户提出他/她的请求时，调度器（代理）模块在最近的DC上启动VM，其中该VM至少具有满足用户的QoS要求的资源图二. 虚拟化平台（Forsman等人， 2015年）。M. Hosseini Shirvani等人/沙特国王大学学报271因此VM放置必须尽可能快以保证响应时间（Jian-ping等人， 2014年）。其次，动态虚拟机放置方案通过服务器整合技术触发虚拟机迁移第二种类型的VM放置是动态的，并且直接取决于系统控制器方案。VM放置应用于实时和非实时VM迁移中，而目标机器必须在迁移之前确定并保留所需的资源;然后将VM页面迭代地复制到目标机器。通常，将n个VM映射到m个物理机器的问题属于NP难问题，其中对于大量的m，n确定性方法是不适用的，因此在文献中已经提出了不同的启发式算法来计算VM放置问题（Bobroff等人，2007; Gao等人，2013; Kavvadia等人， 2015年）。3.2. VM迁移虚拟化技术在现代数据中心中得到了广泛的应用，使数据中心具有移动计算、可移植性、独立平台和资源共享的特点，从而实现资源的最大化此外，DC内/跨DC的VM迁移是为了电源管理、负载平衡、可用性、降低SLA违规率而发生的。 为此，VM迁移过程将资源状态（如CPU寄存器内容、I/O状态）捆绑在一起，并在主机之间传输（Yao等人，2014年; Liu等人， 2011年）。迁移过程由虚拟机管理程序以实时和非实时方式执行实时VM迁移在VM页面传输期间向用户提供无中断服务，而在非实时VM迁移中，在VM图像被传输之前，用户的应用执行中断;当VM页面传输到目标机器完成时，执行被恢复（Hu等人，2013年）。然而，非实时VM迁移不适合于交互式Web应用，它会导致交互式应用的性能下降实时虚拟机迁移分为两种主要模式：复制前和复制后。实时VM迁移的主要目标是提高应用程序性能，最大限度地提高带宽利用率并最大限度地减少服务器停机时间（Gerofi等人，2011年）。此外，在文献中停机时间的概念意味着从暂停源VM的时间到在目标机器上恢复VM之后的时间之间的持续时间，并且总迁移时间是从迁移的开始发起到在目标机器上完成总VM迁移之间的持续时间。在这两种迁移模型中，VM页面应该从源机器迭代地复制到目标机器的内存中第一个模型，预复制方法在目的地机器恢复之前从源机器转移总VM内存;它分为六个步骤：（1）预迁移：选择目标节点，（2）预留：用于预留目标节点所需的资源，(3)迭代预复制：VM页面在有限的回合中传输，（4）停止并复制：它在源节点上挂起源VM，并通过生成ARP将剩余流量重定向和协调到目标节点，（5）提交：它从源节点设置空闲VM，以及（6）激活：VM通常在目标节点上开始（Clark，2005）。复制前迁移模型如图所示。3.第三章。开销，停机时间，从停止和复制阶段开始，直到提交阶段结束。此外，如果在预复制阶段和停止并复制阶段之前，某些页面变脏，则应将更新的页面重新发送到目标机器，以避免不一致。第二个示例，复制后方法捕获系统的最小状态，包括CPU寄存器然后，它首先将捕获的状态传送到目标节点，其次，在目标节点处恢复具有最小传送的VM状态的VM，并且第三，基于应用R/W请求将VM页面从源节点带到目标节点（Hirofuchi等人，2011; Jin等人，2014年）。复制后迁移模型如图所示。 四、开销，停机时间，从迁移过程的首次亮相开始，直到在目标节点恢复之前，在目标节点传输最小捕获状态它可能会遇到页面错误问题，因此需要转移具有高优先级的偶发可访问页面，以减少页面错误和停机时间。这两种模型都有停机时间的负担;因此，混合方法通过利用两种特征来确定停止和复制时间、最小VM状态以及通过发送高优先级页面来确定迭代轮的合适数量，从而利用预复制和后复制技术（Hu等人， 2013年）。VM迁移可以发生在LAN和WAN边界中。LAN域内的迁移易于管理，因为现代DC利用了SAN设备，其中LAN域内的所有服务器都可以通过SAN统一访问VM页面因此，在迁移过程中，只有VM内存守护程序在主机之间传输，而不需要从存储中传输VM映像，而跨WAN迁移需要从存储中传输VM映像以及内存守护程序。WAN边界上的VM迁移使得大量页面在网络带宽上传输，因此由于IP地址的变化，它增加了迁移时间持续时间、饱和网络链路并且需要IP管理（Xianqin等人，2009年）。激进的或不及时的迁移导致网络性能下降，因此应用重复数据删除、压缩等技术来避免发送重复页面并压缩页面或最小化内存页面图三. 复制前迁移模型（Clark，2005年）。272M. Hosseini Shirvani等人/沙特国王大学学报见图4。 复制后迁移模型（Ahmad等人，2 0 1 5 年a）。3.3. 服务器整合服务器整合是DC中一种有前途的技术，它可以有效利用;它是通过减少组织所需的使用中的物理服务器数量来实现的（Ho等人，2011年; Varasteh和Goudarzi，2015年）。服务器蔓延现象在DC中大量发生，这是由于低效的资源分配，其中多个未充分利用的服务器消耗高的资源容量，并且功率消耗不根据正在执行的工作负载而合理通过云环境中的应用整合将获得功耗管理的最佳财富（Jian-ping et al.，2014年）。资源利用率、整合的工作负载性能和系统功耗之间存在紧密的关系。例如，非操作的服务器功耗（但是开启的）大约是满载服务器的70%（Fan等人，2007; Jian-ping等人，2014; Kusic等人，2009年）。云DC通过利用虚拟化技术将多个VM有效地映射到同一物理服务器;它使服务器具有高利用率并潜在地降低运行时功耗。尽管服务器整合应用了VM迁移，但多项研究表明，服务器整合是专门用于最大限度地利用资源，通过将具有高亲和力的VM捆绑到特殊资源上进行电源管理，将具有高流量间通信的VM打包到同一PM上的共同主机，以及整合VM以供管理员进行系统维护（Strunk，2012）。VM迁移通常由于负载平衡、容错和可用性等多种原因而发生，但我们将服务器整合部分与虚拟机迁移分开。然而，整合方案应准确地考虑到使用模式的相关虚拟机共同托管在同一PM上，它导致性能下降避免和SLA违规率最小化。在这方面，不考虑迁移时间和应用程序对特定资源的亲和性的笨拙的整合算法将使服务器整合技术的好处化为乌有。如VM放置部分所述，用户通过识别处理量和内存需求方面的需求向资源代理提交请求;如果存在足够的请求资源，则接受用户的作业并进行主放置。这种静态策略造成资源浪费。之后，利用率监视框架周期性地检查资源利用率，并且如果有必要则触发服务器合并（Bobroff等人，2007年）。例如，文献中的大多数框架分别为未充分利用和过度利用的服务器定义了上限和下限阈值。在前一种情况下，触发服务器整合以避免不期望的服务器蔓延现象，而在后一种情况下，VM迁移发生以卸载过载的服务器。图图5和图6示出了服务器整合技术之前和之后的最佳VM放置结果（Gao等人，2013年）。此外，在执行合并之后，编号为4至7的服务器被设置为休眠模式或低功率状态模式。请注意，这些数字以百分比表示服务器利用率。图五. 在合并方案之前（Gao等人， 2013年）。M. Hosseini Shirvani等人/沙特国王大学学报273见图6。 在整合方案之后，得到最佳VM放置（Gao等人， 2013年）。3.4. 动态电压频率定标DVFS是在DC中的基础设施即服务（IaaS）级别中使用的技术，利用该技术，DVFS由硬件支持以节省能耗（Kimura等人，2008;Rizvandi等人，2011年;Wu等人， 2014年）。DVFS使服务器能够以多种频率和电压组合运行它本质上是根据用户应用对计算能力的各种需求，动态调整工作频率和电压。它需要硬件支持和高级配置和电源接口（ACPI）标准实施。根据Filani等人的研究，2008;Murugesan，2008），大规模DC在大多数时间是30 - 50%未充分利用的，因此DVFD技术有效地导致作为OPEX的大部分的功耗下降。DVFS的实现依赖于对服务器中处理任务数量及其执行时间的然而，在任务执行时间、能量消耗和处理器电压之间存在很多不确定性此外，时钟频率和电压在实时系统中不具有应考虑的此外，降低CPU时钟速率会导致性能下降。因此，不适当的频率-电压调整会降低处理器的性能。在大多数云环境中，预测任务数量是一项具有挑战性的工作。在文献中已经提出了许多研究以通过利用动态电压频率技术来解决在数据中心中保持功耗的问题（Kim等人， 2014; Lai等人，2015; Li 等 人 ， 2015; Guerout 等 人 ， 2013; Wang 等 人 ， 2010年）。同时，该技术也作为CPU的一部分应用于其它外围设备.4. 需要研究虚拟机迁移、服务器整合和DVFS技术虚拟化使同一台物理机能够托管多个操作系统实例;虚拟机管理程序将虚拟环境中虚拟机之间的物理资源抽象化，就好像每个虚拟机都是整个系统的持有者一样（Portnoy，2012）。如果利用率如果虚拟化物理服务器的数量高于预定的上限阈值，则存在违反SLA的风险;然后，出于负载平衡的原因，通过迁移过程将一堆VM卸载到稀疏服务器中以避免服务器尖峰（Liu et al.，2013年a）。为了使系统可靠地抵御故障和意外事件，迁移并备份虚拟机，以提供容错和灾难恢复系统（Couto，2015）。此外，在系统维护过程中，管理员通过利用hypervisor中的Vmotion工具定期将VM迁移到确定的站点（VMware.com，2017; Zhou等人，2013年）。 云数据中心功耗率高的主要原因是资源利用率低，资源分配效率低，因此合理的资源管理方案使节能和绿色计算朝着减少绿色气体排放的方向发展。为此，最好的方法之一是将服务器的工作负载整合到最少数量的运行服务器中，从而提高利用率（Gao 等人， 2013; Jian-pinget al. ，2014年）。然而，处理器DVFS和其他设备DVFS（诸如存储器、存储装置及其控制器DVFS）可以基于资源带宽利用率的当前要求而不是它们的主动使用尽可能低（Deng等人，2011; Ghasemi等人，2011;Mittal和Zhang，2012）。有时，一组VM具有相同的亲和性，例如共同的安全策略、执行依赖性和数据传输通信;这是它们被打包成包并共同托管在同一物理机上的原因;同样在迁移的情况下，VM在DC内/跨DC一起迁移以共同托管在同一物理机上的附近（Strunk，2012;Sudevalayam和Kulkarni，2013）。 这项工作会导致大量的VM页面通过LAN/WAN链路传输，这会导致其他网络密集型应用程序的总执行时间延长和带宽收紧（Gerofi等人，2011年）。然而，用于网络带宽利用和缩短迁移时间的技术将在接下来的章节中呈现（Deshpande等人，2012年，2011年）。在云DC内/跨云DC进行实时和非实时VM迁移有几个原因。根据对文献中已发表论文的调查，图1描述了当前推动虚拟机迁移、服务器整合和DVFS研究的主要原因。7.第一次会议。274M. Hosseini Shirvani等人/沙特国王大学学报图7.第一次会议。DC中VM迁移、服务器整合和DVFS的主要原因。5. 文献中虚拟机迁移方案的分类通过对已有文献中与虚拟机迁移相关概念的调研，从迁移样本、迁移模型、网络边界、带宽优化技术和典型QoS需求等方面对现有的虚拟机迁移方案进行了分类，并在此基础上对当前虚拟机迁移领域的研究进行了讨论。此外，在最近的章节中介绍了实时和非实时迁移、复制前和复制后的概念由于虚拟机迁移分别在局域网/广域网边界上的DC内/DC间进行，以实现本地和全局可用性，因此网络密集型应用程序会受到性能下降的影响，并遭受迁移时间延长的此外，网络带宽对于其他应用变得紧张，从而导致效率下降;因此，应用不同的带宽优化技术，例如重复数据删除，以避免在LAN链路上传输的内存页面和WAN链路上传输的存储图像中的重复;应用压缩技术以减少数据传输的大小最后，QoS目标主要围绕总迁移时间、停机时间、能耗和带宽利用率，因此提高总迁移时间、服务器停机时间的方案是有利的。主观提出的分类已显示在图。8.第八条。5.1. 文献中的VM迁移方案综述Dia- llo等人已经实现了一个实时VM迁移框架 以达到高可用性和针对异常云故障的弹性（Diallo等人， 2017年）。它被称为自动迁移。他们的框架开发了智能系统，可以监控和迁移与确定的服务相关的VM，以在前所未有的云中断情况下提供最大的可用性这个框架决定了什么服务在什么时候迁移到什么地方.这是通过在时间和DC的带宽约束下对VM 进行优先级排序来完成的（ Diallo等人， 2017年）。已经提出了能量性能模型来应对实时VM迁移成本预测的问题（Liu等人，2013年b）。该模型考虑无中断服务，以保持移动计算。VM迁移过程中的能耗和迁移时间与数据传输量密切相关;迁移时间根据工作负载特性和VM配置而变化;内存访问模式对总迁移时间和功耗也有很大影响;作者利用VMM级的线性回归技术来确定内存页面大小并根据其预测更新内存页面大小这项工作使网络流量，性能和节能改善高达90%的准确性。他们的结果表明，在服务器停机时间、延迟时间和网络流量方面，迁移性能的有效因素受到VM内存大小、网络速度和页面变脏率的影响（Liu等人，2013年b）。已经尝试使云服务在DC之间广泛可用和可扩展，因此它在跨数据中心级别中灵活部署VM，其中一群VM跨DC传输（简称VMFlock）（Al-Kiswany等人， 2011年）。为此，通过WAN链路在DC之间应用了非实时VM迁移，并通过实时VM迁移方式与负载放置的动态控制相配合。为了减少总的迁移时间，该算法缩短了数据传输量。在这方面，该算法具有两个步骤;在第一步骤，确定群中的VM的映像之间由于属于相同应用而具有的共同性此功能是通过内存见图8。 我们对VM迁移方案的主观分类。M. Hosseini Shirvani等人/沙特国王大学学报275页，以防止重复传输相同的页;这种方法称为去重。在第二步中，将基于从所观察到的访问模式导出的智能优先级来发送剩余的页面，该智能优先级是在目标DC中启动VM所需的;然后，通过使用目标DC中的 VM存储库来实例化VM第一步减少了数据传输量，提高了网络带宽，避免了迁移时间的延长第二步根据确定的优先级智能地对目标DC中的部分传输的存储器块进行加速实例化（Al-Kiswany等人，2011年）。云爆发是一种技术，公司通常使用本地服务器来运行应用程序，并动态地利用云服务器来提高工作负载高峰期间的容量。WAN链路上的实时VM迁移导致公司可以在峰值资源需求中将其单个数据中心工作负载卸载到多个云数据中心站点的情况（Wood等人，2015年）。为了扩展国家边界甚至大陆地区之外的DC之间的连接，以利用用户高峰需求的由于WAN边界中的实时VM迁移需要在有限的网络带宽上传输大量数据和VM存储映像，因此非智能迁移算法也会延长停机时间和总执行时间。因此，作者不约而同地应用多协议标签交换（MPLS）网络来处理带宽优化、IP更改管理和减少服务器停机时间以及重复数据删除技术。在这方面，他们的算法通过找到图像之间的共性来压缩VM页面以避免重复传输;它消除了所谓的内容基础冗余（CBR）方法的内容冗余（Anand等人， 2009年）。此外，MPLS网络提供虚拟专用网络（VPN）并抽象处理用户IP冲突的DC之间的建议的CloudNet在WAN边界上应用实时迁移，例如在LAN中进行预复制，但停止和复制阶段是智能完成的，它可以防止不必要的迭代轮，以减少停机时间。在有限的几轮之后停止减少停机时间，而执行更多的额外轮提高性能;因此，两种方法潜在地冲突，原因是它们建议的算法巧妙地利用了两个加分点之间的权衡（Wood等人， 2015年）。虽然预复制技术经常应用于实时虚拟机由于在DC内进行负载平衡、电源管理和系统维护的迁移，因此在低网络开销下传输内存页面的效率不高。因此，海进等人从虚拟机迁移方法中得到启发，提出了一种新的内存压缩算法（MECOM），以在性能和迁移成本之间取得平衡。他们提出的方法被命名为基于零感知特征的压缩（CBC），其源自页面特征;其将VM页面分为三类：（i）在页面中具有大量零字节的稀疏页面，（ii）高单词相似度页面和（iii）低单词相似度页面。在第一种和第二种情况下，这些页面被简单地转换为打包页面，而第三种页面类型具有弱压缩;在第三种情况下，他们的方法在低服务降级和在与Xen中实现的朴素预复制的兼容性中迁移期间传输的数据量较少方面表现出色（Jin等人，2014年）。尽管在大多数虚拟机管理程序（如Xen）中，实时VM迁移采用了典型的预复制方法，但复制后方法将VM页面迁移推迟到在目标计算机中发送最低捕获系统状态中的脏数据项总数处理器被定义为可写工作集（WWS），因此为了重新发送大量的WWS而过早地停止诸如在传统的预复制方法中的迭代轮使得性能下降。由Hines等人提出的提议的后复制改进了千兆LAN上的实时VM迁移（Hines等人，2009年）。他们的方法应用自适应预分页来最小化目标机器中不期望的页面错误现象。他们的算法的艺术是保证在页面错误之前传输环页面需求，并保证每个页面在网络链接上只传输一次。它分四个阶段完成;第一阶段是按需分页，它确保每个页面只传输一次，而不考虑预复制方法。第二阶段为主动推送，保证消除目标节点对源节点的残余依赖。第三个阶段是预分页阶段，通过利用VM页面访问模式的提示，最大限度地减少页面错误数量，减少恢复时间。最后，即第四，是动态自膨胀（DSB）阶段，以最大限度地减少迁移过程中的空闲页面传输，它导致带宽优化和性能。所提出的方法在带宽优化、迁移时间和恢复时间方面优于在诸如Xen的一些管理程序中应用的传统的朴素预复制（Hines等人，2009年）。已经基于混合存储器复制和增量压缩（HMCD）实现了实时VM迁移方法，以增强系统吞吐量和总迁移时间（Hu等人，2013年）。它通过确定同时捕获系统最小状态和停止并复制轮的适当时间来利用预复制和后复制过程。该算法结合了推送阶段和请求分页，实现了VM页面的快速传输。在脏页的传输过程中采用Delta内存压缩方法，最大限度地提高了系统的吞吐量和性能。 当源主机响应目标主机的页面请求时，相邻的脏页面以异或二进制游程编码（RLE）算法的形式一致地传输到目标主机，因此，目标主机中的异或运算器将其解压缩。此版本的预分页减少了请求分页的数量，因此它确保VM存储器页面尽可能快地传输（Hu等人， 2013年）。已经设计了一种自动化算法用于系统中的负载平衡，其中它通过实时VM迁移方式在DC内动态分布工作负载（Forsman等人，2015年）。该算法采用了推和拉两种策略.合并策略由过载主机应用;它包含中高工作负载，触发卸载到未充分利用的节点，而后一种策略由轻负载主机应用，包含低到中等工作负载，开始卸载过载节点的工作负载（Patel和Patel，2017）。这两种策略在负载平衡和电源管理方面是相辅相成的。这是一个自动化的实时虚拟机迁移，无需人工干预，迁移时间合适。在云虚拟化环境中，多个OS实例和相关应用共同托管在同一物理机器上并共享公共资源;因此，两种不期望的热点和冷点状况大量地发生在DC中。在热点条件下，一旦PM不能响应VM请求，VM就以性能下降的方式执行，而在冷点条件下，VM仅使用PM的一小部分资源，使得PM未被充分利用。这两种情况都需要VM迁移来平衡负载;具体而言，工作的目的是将蔓延的服务器整合到最小数量的打包服务器中以进行电源管理（Forsman等人，2015年）。所提出的算法可以随时随地自动迁移VM。Deshpande等我建议机架间实时虚拟机迁移（IRLM）通过千兆以太网群集，具有10 GigE核心链路276M. Hosseini Shirvani等人/沙特国王大学学报（Deshpande等人， 2012年）。该算法有效地优化了网络带宽，其中大量的VM页面在DC内活跃地传输由于VM页面大多属于同一应用程序，因此该算法避