快速交付虚拟机和容器：了解并优化引导操作ThuyLinh Nguyen引用此版本：阮翠灵快速交付虚拟机和容器：了解并优化引导操作。分布式、并行和集群计算。国立高等矿业电信学院，2019年。英语NNT：2019IMTA0147。电话：02418752HAL Id：tel-02418752https://theses.hal.science/tel-024187522019年12月19日提交HAL是一个多学科的开放获取档案馆，用于存放和传播科学研究文件，无论它们是否已这些文件可能来自法国或国外的教学和研究机构，或来自公共或私人研究中心。L’archive ouverte pluridisciplinaireTHESEDEDOCTORATDELCOMUEUNIVERSITEBRETAGNELOIREECOLE DOCTORALEN ° 601信息与通信专业的数学与科学与技术：信息与应用Par阮翠灵快速交付虚拟机和容器：了解和优化引导操作ThèseprésentéeetsoutenueàNantes，le24Septembre2019研究单位：InriaRennes布列塔尼大区ThèseN°：2019IMTA0147报告员准备：玛丽亚·S 西班牙马德里理工大学PEREZ EscherseureDanielHAGIMONTEscherseur，INPT/ENSEEIHT，图卢兹，法国评审团组成：主席：MarioSUDHOLT Mrsseur，IMT法国特别报告员：MariaS. 西班牙马德里理工大学PEREZ 教授特别报告员：DanielHAGIMONT教授 ，INPT/ENSEEIHT，法国图卢兹dethèse：AdrienLEBRE Bronseur，IMT法国i确认博士之旅不是一个漫长的旅程，但绝对是我生命中值得纪念的时刻。我看到自己在专业和个人方面都在成长。我想感谢许多人对我的进步提出的建议，支持和灵感首先，我要感谢我的论文导师Adrien Lebre。我非常喜欢和他一起工作，对我来说，这是我的运气，有一个非常好的导师为我的博士生活。他不仅为我的研究工作提供了专业的指导和严格的反馈，而且他也是我的灵感来源。在我读博士期间，他总是在困难的时候拿出积极的一面这对我来说非常重要，它帮助我度过了艰难的时期。我还从他那里学到了如何写科学文章，以及如何在网上向别人展示我的工作。最有效的方式。我有一个很好的机会在巴塞罗那超级计算中心实习我很感谢我的导师RamonNou为我所做的讨论和努力。当我陷入研究困境时，他给了我很多鼓励。我想特别感谢我的论文委员会成员的宝贵时间和对我的手稿的反馈。我非常感谢我在INRIA的时间，我在那里度过了美好的时光。学院为我提供了我能想到的最好的工作环境。感谢安妮-克莱尔，她一直给我最好的指导，以管理INRIA和我的博士学校在IMT圣地亚哥。感谢我在STACK团队的所有同事。我们在午餐时间或喝咖啡时进行了许多有趣的讨论，有的是与科学有关的，有的是与社会有关的感谢你们的游戏之夜，你们努力说服我加入玩游戏的道路，感谢你们在炎热的夏天下班后的闲逛时间。这些事情让我的博士生活更加愉快。我也很自豪，并非常感谢我参加BigStorage项目的机会。该项目将在欧洲各地的研究所和大学工作的博士候选人我与其他博士候选人和导师会面并合作，交流想法，经验和文化冲突。通过许多培训项目和会议，我有机会提高自己的技能，并在这个小型研究社区中进行合作感谢我的新生儿。在我博士毕业的时候有你iiII令人兴奋的新体验这是一个很大的动力和充满活力，以及压力和挑战在同一时间。最后，我不能感谢我的家人。没有他们的支持，我无法想象我如何能走过我人生旅途中的所有起起落落他们总是，也将永远支持和照顾我。iii内容表的列表图目录一、导言vVII1II公用事业计算和供应挑战71效用计算91.1效用计算：从大型机到云计算解决方案。101.2虚拟化系统技术：一个关键要素。 . . . . . . . .121.3硬件虚拟化。 . . . . . . . . . . . . . . . . . . . . . . . .131.3.1硬件虚拟化。 . . . . . . . . . . . . . .131.3.2讨论。 . . . . . . . . . . . . . . . . . . . . . . . . . .151.3.3管理程序 . . . . . . . . . . . . . . . . . . . . . . . . . . .161.3.4虚拟化接口。 . . . . . . . . . . . . . . . . . . . . .171.4操作系统级虚拟化（或容器化）。 . . . . . . . . . . . . .191.5虚拟化开销 . . . . . . . . . . . . . . . . . . . . . . . .201.5.1 CPU开销 . . . . . . . . . . . . . . . . . . . . . . . . .211.5.2内存开销 . . . . . . . . . . . . . . . . . . . . . . .221.5.3网络开销 . . . . . . . . . . . . . . . . . . . . . . .221.5.4磁盘I/O开销 . . . . . . . . . . . . . . . . . . . . . . .221.6总结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .232 IaaS工具包：了解VM/容器配置过程252.1概述 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .262.2步骤2：VM/容器图像检索。 . . . . . . . . . . . . . . . .262.2.1检索过程 . . . . . . . . . . . . . . . . . . . . . . .262.2.2检索过程问题和解决方案。 . . . . . . . . . . .272.3步骤3：启动持续时间。 . . . . . . . . . . . . . . . . . . . . . . . . .29iv四.目录2.3.1引导过程302.3.2引导过程问题和解决方案312.4摘要333QEMU-KVM VM和Docker Container35的技术背景3.1QEMU-KVM虚拟机363.1.1QEMU-KVM工作流程363.1.2虚拟机磁盘类型373.1.3VM引导过程373.2Docker容器393.2.1Docker容器工作流393.2.2DockerImage403.2.3Docker启动过程413.3摘要41III贡献：理解和改进VM/Container引导持续时间434了解VM/Container启动时间和性能损失454.1实验设置464.1.1基础设施464.1.2VM和容器管理器464.1.3基准工具474.1.4引导时间定义484.1.5软件定义实验484.2在无故障环境504.2.1虚拟机启动时间504.2.2Docker启动时间524.2.3嵌套Docker启动时间524.2.4讨论534.3工作负载争用下的引导时间544.3.1内存影响544.3.2CPU影响554.3.3网络影响554.3.4I/O磁盘影响564.3.5讨论574.4初步研究58v4.4.1预取initrd和内核文件584.4.2预取强制数据584.5摘要60目录v5YOLO：加快虚拟机和容器的启动时间635.1YOLO设计和实施645.1.1引导映像645.1.2yolofs655.2实验方案665.2.1实验条件685.2.2引导时间策略685.3虚拟机启动时间评估695.3.1部署多个虚拟机705.3.2在高整合率725.4Docker容器启动时间评估745.4.1同时引导多个不同的容器755.4.2在I/O争用755.5yolofs间接费用765.6将YOLO集成到云系统775.7概要78四、结论和展望. 796捐款摘要817未来研究方向857.1关于YOLO857.2FaaS Model87中的YOLO7.3具有引导时间感知88A 附录A：VM启动时间模型89A.1动机89A.2VM启动时间模型90A.3模型评估92A.4结论.94Résuméen Français法语简历94参考文献108vii表的列表2.1图像传输273.1 Docker引导过程415.1900多个Google Cloud VMI及其引导映像的统计数据。我们将VMI分组到映像系列中，并计算每个图像族655.2对通过正常引导和YOLO启动的虚拟机的备份文件执行顺序和随机读取访问的时间（秒）三个存储设备。......................................................................................... 765.3在使用YOLO和正常方式在3种类型的存储设备上引导的VM内运行pgbench时每秒的事务数（tps）。........................................................... 765.4使用OpenStack77引导虚拟机ix图目录1.1网格和云计算概述，更新版本[1]111.2传统和虚拟架构131.3x86虚拟化[2]141.4x86虚拟化[2]151.5x86虚拟化[2]151.62类虚拟机管理程序161.7虚拟化架构191.8CPU虚拟化开销[3]211.9虚拟化开销- I/O磁盘（读/写）[3]232.1VM引导过程302.2容器引导过程303.1使用virtio工作流的363.2两种类型的VM磁盘373.3引导操作（读/写）383.4引导操作（读/写）393.5容器工作流程393.6Docker union文件系统：overlayfs[4]404.1引擎架构494.2在三个存储设备504.33个存储设备上的多个VM、Dockers和嵌套Dockers的启动时间524.4多台机器启动过程中的I/O使用情况534.5在三个存储设备上启动1个VM、Docker和Nested Docker的时间在存储器争用54下4.6在三个存储设备上启动1个VM、Docker和Nested Docker的时间在CPU争用下554.7在三个存储设备上启动1个VM、Docker和Nested Docker的时间在网络争用56下xiX图目录4.84.9在三个存储设备上启动1个VM、Docker和Nested Docker的时间在I/O争用下56VM引导过程中的读访问。每个点对应一个4.10在引导过程的某个时间段和某个偏移处访问。..................................... 59预取VM引导强制数据595.1yolofs读/写数据流665.25.3四个调查了引导政策。 每个块代表完成所需的时间。预取引导以并行方式执行预取，以利用VM的引导过程期间的间隙来实现更快的加载。每当虚拟机需要访问强制数据时，YOLO都会加载并提供引导映像。..................................................................................................................... 68直接从内存提供引导I/O请求的开销与 一5.4专用SSD69引导共享同一VMI（冷环境）5.5注意：计算节点上没有其他VM运行）。.70引导多个具有不同VMI（冷环境）的虚拟机的时间5.6注意：计算节点上没有其他VM运行）。.711个虚拟机的启动时间（使用共享映像磁盘，通过缓存写入模式）5.7在I/O争用环境下721个虚拟机的启动时间（使用共享映像磁盘，通过缓存写入模式）5.8在存储器使用争用环境73下不同存储设备。755.9Debian Docker容器在I/O争用757.1功能即服务（FaaS）模型A.1A.2A.3在HDD与SSD上比较了4个因素对VM启动时间的影响：I/O吞吐量、CPU容量、内存利用率以及混合因素。y轴显示了以秒为单位的虚拟机启动时间，以10为。HDD和SSD92HDD93上具有不同资源争用的引导时间A.4SSD93上不同资源争用的启动时间Xxi出版物虚拟机启动时间模型。L. Nguyen和A. Lebre 在IEEE并行，分布式和基于网络的处理（PDP）的过程中，2017年第25届IEEE Euromicro国际会议，2017年进行数千次实验来分析虚拟机、Dockers和嵌套Dockers的启动时间、T。L. Nguyen和A. Lebre 研究报告RR-9221，Inria Rennes布列塔尼大区，2018年YOLO：通过减少I/O操作来加快VM启动时间，T。L. Nguyen和A.Lebre研究报告RR-9245，Inria Rennes布列塔尼大区，2019年1月YOLO：通过减少I/O操作加快VM和Docker启动时间，T. L. 阮河，巴西-地Nou和A.Lebre 第25届欧洲会议，8月20191我介绍33在这个信息时代，我们见证了云计算作为IT行业革命性力量的出现。云计算利用丰富的资源优势，结合Web技术的快速发展，实现了“计算即效用”的思想如今，用户可以在任何地方访问由云提供的不同服务，从使用谷歌地图导航，到使用Netflix观看点播电影，再到使用Skype与世界各地的所有这些服务都是通过云处理大量计算而实现的。此外，初创企业使用云基础设施来实现他们的想法，而无需构建和管理自己的物理基础设施。云计算发展的关键技术之一是系统虚拟化。系统虚拟化可以被认为是物理对象的抽象。这种抽象允许将物理资源分成不同大小的组，以便在不同的“虚拟化环境”之间共享它们这种在不同租户之间共享资源的方式在云计算中，已经提出了不同类型的虚拟化技术，但虚拟机（VM）和容器是最重要的两种。虚拟机是用户可以在其上执行任务的抽象层下的不同物理资源的组合。同时，容器引入了一种更轻，更有效的方法来虚拟化物理资源[5，6，7，8，9，10]。目前没有深入研究细节，所有这些研究都得出了同样的结论：基于容器的应用程序的性能接近于裸金属，而在虚拟机中运行相同应用程序时，性能会显著下降，尤其是对于虚拟机I/O访问。在云资源管理系统的关键操作中，供应过程负责部署和启动VM（或容器）。它由三个复杂的阶段组成：（i）在接收到机器的供应命令之后，调度器识别适当的物理节点来托管VM/容器;(ii)该机器的映像将从储存库传输到指定节点;（iii）最后，引导所请求的VM/容器。为了解决第一阶段的资源调度问题，多年来已经提出了根据期望目标（节能、QoS保证等）具有不同调度策略的若干方法。，）和各种方法，以便尽可能减少计算时间[11，12]。根据客户端请求的属性、物理资源的可用性和调度算法标准，调度操作的持续时间可以变化。对于图像检索，即在第二阶段，大多数云解决方案利用集中式方法，其中VM/容器映像从集中式存储库传输到负责托管“虚拟化环境”的物理主机为了处理引起这种集中式方法的性能损失，一些工作集中于改进
我的内容管理
收起
我的收益 登录查看自己的收益
我的积分
登录查看自己的积分
我的C币
登录后查看C币余额
我的收藏 
我的下载 
下载帮助 
