BlobSeer作为云数据存储设施：自适应，集成，评估

BlobSeer作为云计算的数据存储设施：自适应，集成，评估引用此版本：亚历山德拉·卡彭·阿玛瑞BlobSeer作为云数据存储设施：自适应，集成，评估。其他[cs.OH]。卡尚高等师范学校-卡尚高等师范学校，2011年。英语NNT：2011DENS 0066。电话：00653623v3HAL Id：tel-00653623https://theses.hal.science/tel-00653623v32012年5月10日提交HAL是一个多学科的开放获取档案馆，用于存放和传播科学研究文件，无论它们是否已这些文件可能来自法国或国外的教学和研究机构，或来自公共或私人研究中心。L’archive ouverte pluridisciplinaireTHENSE/ENS CACHAN-BRETAGNE布列塔尼欧洲大学校园为了获得卡尚高等师范学校提及：Informatique巴黎马蒂斯博士学校par presentée亚历山德拉·卡彭-阿马里6074信息研究和其他系统BlobSeer作为数据存储云设施：自适应、集成、评估Thèse soutenue le 15 dec embre 2011陪审团组成后：克里斯蒂安·佩雷斯Directeur de recherche-INRIA Grenoble Rhône-Alpes/特别报告员玛丽亚·S 佩雷埃尔南德斯马德里理工大学/特别报告员阿德里安·吕布雷Chargé de recherche-École des Mines de Nantes/examinateurNicolaeTAPUSUniversités-Université Polytechnique de Bucarest/examinateur吕克·布格斯Cachan-Bretagne/Director de thèse加布里埃尔·安东尼奥Chargé de recherche-INRIA Rennes Bretagne-Bretantique/directeur de thèse简历L’émergence Tandis que la taille des données traitées par lesapplications Cloud augmente exponentiellement ， un défi majeurporte sur la concept de solutions e caces pour le stockage et la gestionde données.这是一个关于自动适应机制的概念，用于données的管理系统，此外，我们还对有关données和访问模式的传输性能的données云服务进行了优化Nous explorons les moyensNous nousproposons de concevoir un service de donnéespour le Cloud qui soit àla fois compatible avec les interfaces standard dans le contexte duCloud et capable d'o！在一个储藏室里放了一堆东西。为了避免这种情况，我们提出了自动识别、自动保护和自动配置données管理系统的一般机制Ensuite，nous les avonsvalidés en les intégrant dans le logiciel BlobSeer ， un système destockage de données qui optimize les accès hautement concurrencesaux données.我们有能力对BlobSeer进行我们还将在BlobSeer的安全政策上安装一个通用的过滤器。最后，我们使用BlobSeerEnsuite，nousavonsconçuetimplémentéunsystèmedefichierss而且我们把它和云的关系融为一体了Nous avons réalisé des exériencesà Eschelle a finnLesavantagesetlesdésavantagesdel'utilisation du stockage dans leCloud pour des applications réelles sontsoulignés lors des evaluationse！在5000年的电网上进行的实验Elles incluent des applicationsdistribuées à accès intensif aux données，telles que les applicationsMapReduce，et des applications fortement coupées，telles que lessimulations atmosphere.Mots clés：Cloud computing，gestion de données，plates-formes reparties àmixéchelle，haut débit，calcul mixique，auto-connaissance，auto-protection ， auto-configuration ， surveillance ， sécurité ，stockage de données dans le Cloud，MapReduce，calcul hauteperformance.摘要云计算的出现带来了许多挑战，这些挑战可能会限制云模式的采用率。随着云应用程序处理的数据量呈指数级增长，设计高效、安全的数据管理解决方案成为一项关键要求。本文的目标是增强一个具有自我管理能力的分布式数据管理系统，使其能够满足云存储服务在可扩展性、数据可用性、可靠性和安全性方面的需求。此外，我们还研究了如何利用和调整现有的云工作负载数据管理解决方案我们的目标是构建一个云数据服务，既与最先进的云接口兼容，又能够提供高吞吐量的数据存储。为了实现这些目标，我们提出了通用的自我意识，自我保护和自我配置组件针对分布式数据管理系统。我们在BlobSeer上验证了它们，BlobSeer是一个大规模的数据管理系统，旨在优化高并发数据访问。因此，我们为BlobSeer平台配备了内省功能，我们实现了一个通用的安全框架来定义和实施BlobSeer的复杂安全策略，并且我们使系统能够根据实时系统负载动态配置存储节点的数量。接下来，我们设计并实现了一个基于BlobSeer的文件系统，该系统经过优化，可以有效地用作云服务的存储后端。然后，我们将其集成到真实的云环境中，即Nimbus平台。大规模的合成实验已经进行了评估我们定制的分布式云存储服务的性能在涉及数据密集型MapReduce应用程序和紧密耦合的高性能计算应用程序的评估中，强调了将云存储用于实际应用程序的优点和缺点保留字：云计算、数据管理、大规模分布式平台、高吞吐量、自主计算、自我感知、自我保护、自我配置、监控、安全、云数据存储、MapReduce、高性能计算。订单布列塔尼大区卡尚高等师范学校Campus de Ker Lann-Avenue Robert Schuman-35170 BRUZ电话：+33（0）2 99 05 93 00-传真：+33（0）299 05 93 29不要怕慢慢地前进，不要怕原地不动。中国谚语确认如果没有我的两位导师加布里埃尔·安东尼乌和吕克·布热的支持和指导，本论文的完成是不可能的。我要感谢他们对我的信任，并给了我在法国攻读博士学位的机会我想表达我的感谢我的论文审稿人，克里斯蒂安佩雷斯，玛丽亚S。佩雷斯-埃尔南德斯和我的论文委员会的成员，阿德里安Lèbre和尼古拉Tapu s。感谢您对我的论文进行认真的阅读，并对我的论文的各个方面进行了仔细的考虑。我还要感谢Kate Keahey和她的团队在我在芝加哥实习的两个月里给予我的帮助和建议我很幸运地得到了许多朋友和同事的帮助和支持，没有他们，我在这篇论文中的旅程就不会如此有趣和令人满意。我要感谢他们所有人的感谢和我们一起度过的快乐时光我无法用语言来表达我对我的女儿戴安娜和伊莎贝拉·莫伊斯的感激之情，我和她们一起分享了我在雷恩最好和最坏的时光，她们将永远是我生命的一部分谢谢你在我离家很远的时候成为我的家人我最深切的感谢我的家人，感谢他们在整个论文中无条件的支持和耐心。献给我亲爱的妹妹，玛丽卡，她的热情和勇气总是鼓舞人心的。谨以此文献给我的母亲玛丽亚，她的爱和鼓励使我度过了黑暗的日子，我的成就很大程度上要归功于她。III内容1介绍11.1捐款 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .21.2出版物。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .31.3手稿的组织。 . . . . . . . . . . . . . . . . . . . . . . . . . .5第一部分 - 上下文：云环境的数据存储72云计算92.1定义云计算102.2云计算前景112.2.1部署模式112.2.2云服务堆栈112.3云结构即服务云122.4研究挑战142.5摘要. 153可扩展的分布式存储系统173.1并行文件系统173.2用于数据密集型工作负载的分布式文件系统183.3云存储服务193.3.1IaaS级服务3.3.2PaaS级服务3.3.3内部云服务213.4特点和研究挑战4云23中的自我-* 方面4.1自我意识244.2自我保护254.3自我配置264.4摘要. 275案例研究：BlobSeer，一个基于版本的数据管理系统29III5.1设计原则5.2建筑学315.3放大数据访问操作325.4摘要. 35第二部分 - 通过自我管理启用BlobSeer6分布式数据存储系统6.1自我意识：自省机制406.1.1存储系统的相关数据6.1.2全球架构416.2自我保护：一般安全框架426.2.1激励方案436.2.2全球架构436.2.3安全政策446.2.4策略违反检测算法476.3自配置：动态尺寸标注506.3.1激励方案506.3.2全球建筑516.3.3动态缩放算法526.4摘要557验证：在BlobSeer 57中7.1BlobSeer 58中的内省机制7.1.1收集特定于BlobSeer的数据587.1.2实施细节7.2安全框架647.2.1BlobSeer 64中的安全攻击7.2.2案例研究：BlobSeer 65中的7.2.3实施细节7.3BlobSeer 72中的自配置7.3.1BlobSeer 72中的动态配置7.3.2放大副本管理757.4摘要778评价和结果8.1实验测试平台：Grid.............................................................................................................8.1.1基础设施细节808.1.2Grid............................................................................................................................8.2自动部署工具818.3内省架构838.3.1对Blobseer数据访问性能的8.3.2用于BlobSeer特定数据的可视化工具84III8.4安全框架868.4.1实验装置868.4.2恶意用户对数据访问性能8.4.3安全管理框架的业绩评价。. .88 8.5总结第III部─ 在云环境中集成和评估BlobSeer 899Nimbus云环境919.1Nimbus云基础设施919.1.1建筑细节929.1.2结构级服务9.1.3平台级服务9.1.4虚拟机生命周期939.2Cumulus存储系统949.2.1Cumulus 94的结构9.2.2主要特点959.3摘要9610 基于BlobSeer的Cumulus 9710.1 面向BlobSeer 98的文件系统接口10.1.1 存储后端的要求10.1.2 BlobSeer空间管理器9910.1.3 文件系统API 9910.1.4 介绍2阶段写入操作10010.2 执行10110.2.1 设计BlobSeer文件系统10110.2.2 基于BlobSeer的Cumulus后端10310.3 微基准测试10410.3.1 环境设置10410.3.2 上传/下载性能10510.3.3 可扩展性评估10610.4 摘要108第四部分 - 在Clouds 109中评估大规模应用程序11 MapReduce应用程序：对成本和性能的11.1 MapReduce范例11211.2 动机11311.3 计算和成本模型11311.4 评价11411.4.1 执行环境114III11.4.2 虚拟化开销11511.4.3 成本分析11.5 相关工作11811.6 摘要11912 紧密耦合的HPC应用12112.1 案例研究：云模型1（CM1）应用程序12212.1.1 应用模型12212.1.2 放大CM1 12212.2 CM1的云数据存储12.2.1 动机12312.2.2 设计支持S3的文件系统12412.3 评价12512.3.1 实验装置12612.3.2 增加存储系统压力时的完成时间。12.3.3应用程序加速................................12.4 摘要129第五部分 - 结论和今后的工作13113 结论13314 今后的工作13714.1 云计算中的自我管理13714.2 优化云数据存储13814.3 基于BlobSeer的云数据存储在更适用的上下文中139一 Résuméen français 151A.1 导言. 151A.2 捐款152A.3 出版物155A.4 OrganisationduPunct156A.5 结论1581C第1章介绍内容1.1捐款21.2出版物31.3手稿的组织5LOUD计费作为一种有前途的范例出现，用于在按使用付费的基础上托管和交付按需服务。该模型建立在网格计算、效用计算或互联网服务计算等广泛流行的技术基础上，更好地利用分布式资源，提供高性能、可扩展和经济高效的服务。云计算模式吸引了学术界和大公司的兴趣，如亚马逊，谷歌或微软，这些公司努力解决随着云计算成为广泛应用的有吸引力的解决方案而出现的新挑战在此背景下的主要挑战之一是数据管理，这是由于当今分布式应用程序处理的数据量呈指数增长的结果。在科学应用领域，对数据管理解决方案的需求尤为关键。例如，在高能物理领域，CERN已经提出了几种存储系统来解决对可扩展和高效数据管理的日益增长的需求，其中一些存储系统来自数据密集型分布式计算社区，而另一些存储系统则是专门为云环境设计的然而，全球范围内的海量数据管理的一些要求仍有待解决。在这种情况下，一个重要的问题是在这种规模上构建先进系统的复杂性因此，随着越来越多的进化系统被设计出来，高度的复杂性第一章2与它们的配置和调优相关的问题正在成为一个限制因素，其威胁着压倒当前的管理能力，并使系统变得不可管理和不安全。为了克服这样的挑战，系统可以配备一组实现自主行为的自管理机制，这可以将理解和管理系统状态的负担面向云的系统还面临着不同类型的问题，这些问题来自于进入云计算市场的众多服务提供商。为了处理大量数据，各种云提供商和服务之间的互操作性成为一个主要挑战，限制了用户访问特定提供商数据中心的资源为了克服这些界限，云提供商需要向兼容的标准融合。1.1贡献本文的目标是增强一个具有自我管理能力的分布式数据管理系统，使其能够满足云存储服务在可扩展性、数据可用性、可靠性和安全性等方面的需求此外，我们还调查了云数据服务在数据传输性能和访问模式方面的需求，并探索了利用和调整现有数据管理解决方案以适应云工作负载的方法。我们的目标是建立一个云数据服务，既与最先进的云接口兼容，又能够提供高吞吐量的数据存储。本文的贡献可以概括如下：数据管理系统的自省机制。内省是自主行为的先决条件，是大规模分布的数据管理系统实现性能改进和资源使用优化为了使数据存储平台具有自省能力，我们设计了一个三层体系结构，旨在识别和生成与系统的状态和行为相关的相关信息该工作进一步集中于增强BlobSeer，这是一种为高效并发数据访问而设计的分布式存储系统，具有基于先前引入的内省架构的自我意识能力此外，我们还设计了一个可视化工具来提供由BlobSeer内省组件收集和处理的数据的图形表示。这项工作是与香港城市大学的硕士生Jing Cai合作进行的。用于在存储系统中实施安全策略的通用框架。我们提出了一个通用的安全管理框架，使自我保护的数据管理系统。我们考虑了可能影响云数据服务的几个安全挑战，并提供了一个灵活的安全策略定义和实施框架来解决这些挑战。作为一个案例研究，提出的框架被应用到BlobSeer和拒绝服务攻击的背景下进行评估的1.2 –3实验结果表明，该自保护体系结构能够满足大规模部署数据存储系统的要求：能够应对大量的并发攻击，并能够恢复和保持目标系统的性能这项工作是与布加勒斯特Politehnica大学的Cristina Basescu，Catalin Leordeanu和Alexandru Costan合作进行的，在“DataCloud@work”INRIA助理团队的框架通过动态尺寸确定在数据管理系统中进行自配置 我们解决了准确估计数据管理系统在存储节点数量方面的最有利部署配置的问题。在这种情况下，我们提出了一个动态配置框架，旨在与内省机制，自动调整部署的存储节点的数量我们在与BlobSeer的集成中验证了所提出的框架，为此我们实现了一个自配置组件，该组件能够根据可配置的监控参数（例如数据访问速率或存储节点的负载）收缩和扩展存储节点池。这项工作是与罗马尼亚布加勒斯特Politehnica大学的Lucian Cancescu、Alexandru Palade和AlexandruCostan在“DataCloud@work”INRIA助理团队的框架内合作开展的基于BlobSeer的文件系统作为云服务的存储后端。我们研究了在云环境中提供高吞吐量数据存储的挑战。我们的贡献在于设计和实现了一个基于BlobSeer的文件系统，该系统经过优化，可以有效地作为云服务的存储后端。我们通过将其集成到真实的云环境Nimbus平台中来验证我们提出的文件系统。大规模的合成实验已经进行了评估我们定制的分布式云存储服务的性能。在涉及数据密集型MapReduce应用程序和紧密耦合的高性能计算应用程序的评估中，强调了将云存储用于实际应用程序的优点和缺点。与MapReduce应用程序评估相关的工作是与Diana Moise合作完成的。这项工作的总结和其他结果可以在她的论文手稿中找到。高性能应用程序的评估是在Kate Keahey和John Bresnahan的监督下进行的，他们在美国伊利诺伊州芝加哥的阿贡国家实验室实习了2个月。在上述贡献的背景下进行的所有实验都是使用Grid'5000实验测试平台进行的，该平台是在CNRS、RENTER和几所大学以及其他资助机构的支持下在INRIA AL-ADDIN开发行动下开发的https://www.grid5000.fr1.2出版物期刊：• Carpen-Amarie Alexandra、Costan Alexandru、Leordeanu Catalin、BasescuCristina、Antoniu Gabriel，《面向云数据管理的通用安全框架》第一章4环境。 在International Journal of Distributed Systems and Technologies，第3卷，第1期，第17-34页，2012年。• Carpen-Amarie Alexandra，Costan Alexandru，Cai Jing，Antoniu Gabriel，BougéLuc，Bringing Introspection into BlobSeer：Towards a Self-Adaptive DistributedData Management System. 在 International Journal of Applied Mathematics andComputer Sci-ence，第21卷，第2期，第229-242页，2011中。• Nicolae Bogdan ， Antoniu Gabriel ， Bougé Luc ， Moise Diana ， Carpen-AmarieAlexan- dra，BlobSeer：大规模分布式结构的下一代数据管理。在并行和分布式计算杂志，卷。71，不。2，第168-184页，2011。会议和讲习班：• Carpen-Amarie Alexandra，面向云环境的自适应数据管理系统。在IPDPS 2011：25th IEEE International Parallel and Distributed Processing Symposium：PhD Forum，pages 2072-2075，Anchorage，USA，2011中。• Moise Diana，Carpen-Amarie Alexandra，Antoniu Gabriel，Bougé Luc，云计算中MapReduce应用的成本评估。在网格• Basescu Cristina ， Carpen-Amarie Alexandra ， Leordeanu Catalin ， CostanAlexandru ， Antoniu Gabriel ， Managing Data Access on Clouds ： A GenericFramework for Enforcing Security Policy. 在 AINA 2011 ： 25 th InternationalConference on Advanced InformationNetworking and Applications中，第459-466页，新加坡，2011年。• Carpen-Amarie Alexandra，Cai Jing，Costan Alexandru，Antoniu Gabriel，BougéLuc，使用Mon-ALISA分布式监控框架将内省引入BlobSeer数据管理系统。 ADiS2010：复杂、智能和软件密集型系统国际会议，自主分布式系统研讨会，第508-513页，波兰克拉科夫，2010年。• Carpen-Amarie Alexandra，Andreica Mugurel，Cristea Valentin，一种网格环境中文件传输调度的算法。HiperGrid 2008：高性能网格中间件，第33-40页，罗马尼亚布加勒斯特，2008年。研究报告：• Alexandra Carpen-Amarie ， Tuan Viet Dinh ， Gabriel Antoniu ， 基 于 高 吞 吐 量BlobSeer BLOB管理系统的云高效虚拟机存储，INRIA研究报告编号7434，INRIA，法国雷恩，2010年。• Alexandra Carpen-Amarie，Jing Cai，Luc Bougé，Gabriel Antoniu，AlexandruCostan ， Monitoring the BlobSeer distributed data-management platform usingthe MonAL-ISA framework，INRIA Research Report No.7018，INRIA，Rennes，France，2009.1.3 – Organization of the51.3手稿的组织这份手稿分为五个部分。第一部分讨论我们工作的背景。第2章介绍了云计算范式，重点介绍了云结构即服务云。本章最后讨论了随着云计算发展成为工业界和科学界的流行范式而出现的研究问题。在这些挑战中，我们进一步关注数据管理。因此，第3章提供了一些最广泛使用的分布式存储系统的调查。我们研究并行文件系统，数据密集型应用程序的专用文件系统以及云存储系统，分析提供高效处理大量数据的云服务所需的属性。接下来，我们专注于利用自我管理机制来优化这样的文件系统。为此，第4章讨论了一组self-* 属性及其在数据管理系统级别上的现有实现。最后，本部分以第5章结束，该章介绍了BlobSeer，这是一个高性能、大规模的分布式存储服务，我们在整个手稿中都将其作为案例第二部分介绍了本论文的第一个贡献，即一组旨在增强具有自 * 属性的数据管理系统的框架。第六章介绍了三种通用的自管理方法，旨在定义分布式数据存储系统的自感知、自保护和自配置组件。在第7章中，我们通过将上述self-* 框架集成到Blob- Seer中来验证它们我们将讨论实现细节和使BlobSeer具有自我管理组件所需的特定接口模块。这一部分的最后一章，即第8章，介绍了我们的大规模实验测试平台，网格然后，我们提出了我们进行的实验，以评估在BlobSeer的自我 *机制 的好处第三部分介绍了Nimbus云框架，并重点介绍了Cumulus，这是Nimbus云结构即服务云附带的数据存储服务。接下来，第10章介绍了我们在云数据存储方面的贡献。我们设计了一个基于BlobSeer的文件系统来扮演Cumulus的后端存储层的角色。我们用一组基准来结束这一部分，这些基准评估Cumulus存储服务和基于Blobseer的后端的性能和可伸缩性第四部分由两章组成，在实际应用的背景下对基于BlobSeer的云存储服务进行了各种评估。第11章研究了在云环境中执行MapReduce应用程序的性能和成本相关方面在第12章中，我们分析了将基于云的存储系统用于紧耦合应用程序的影响，例如CM1，一种用于模拟大气现象的模拟器。这两章都包括在Grid'5000中的数百个节点上进行的实验第一章6第五部分总结了第13章论文的贡献，并讨论了第14章工作所揭示的一系列未探索的研究挑战7第一上下文：云环境的数据存储