Colony：一种用于高可用协作边缘计算的混合一致性系统引用此版本：伊利亚斯·图米利特Colony：A Hybrid Consistency System for Highly-Available CollaborativeEdge Computing.系统与控制[cs.SY]。索邦大学，2021年。英语NNT：2021SORUS447。电话：03727724v2HAL Id：tel-03727724https://theses.hal.science/tel-03727724v22022年7月19日提交HAL是一个多学科的开放获取档案馆，用于存放和传播科学研究文件，无论它们是否已这些文件可能来自法国或国外的教学和研究机构，或来自公共或私人研究中心。L’archive ouverte pluridisciplinaire署名-非商业性使用-禁止衍生|4.0国际许可Thèse présentée pour索邦大学斯佩恰利泰工程/信息系统博士学校Informatique，Télécommunication et Électronique Paris（ED 130）COLONY：一种高可用的协作边缘计算伊利亚斯·图米利特发布时间：2021年12月21日陪审团组成如下：Mrstien MONNET，Mrsseur，Savoie Mont Blanc大学特别报告员Etienne RIVIVIQURE，Mrsseur，UCLouvain大学特别报告员Sonia BEN MOKHTAR，Directrice de Recherche，LIRIS，CNRSExaminatriceAnnette BIENIUSA，Mauritresse de Confécent，UniversityofKaiserkensternExaminatriceValerieISSARNY ， DirectricedeRecherche ，InriaExaminatricePierre SUTRA，Mauritre de Confécent，Télécom SudParisInvitéMarek ZAWIRSKI，软件工程师，GoogleInvitéMarc SHAPIRO，Directeur de Recherche，Sorbonne University，LIP6，InriaDirecteur de thèse萨勒马版权所有：除非另有说明，否则本作品的许可证为https://creativecommons.org/licenses/by-nc-nd/4.0/3雷默西芒“你要去咖啡馆喝一杯”，马克西姆 我非常了解这些改变学校的时刻的重要性，但我更关注的是这些讨论对我来说是一个支持的资本，因为这些讨论有助于我提出科学的计划，更关注的是在会议上暂停讨论我的主要贡献，没有合作，而交流是集体努力的基础，更关注的是我在我的设备中培养精神支柱的正式意义。这完全是自然的，因为我希望所有的人都能陪伴我，因为我需要他们的帮助，他们的记忆或神经元的力量。我一直感谢报告员塞巴斯蒂安·莫内和艾蒂安·里维耶尔，因为他们有时会认真听讲，并对这种关系进行评价。 感谢陪审团其他成员Sonia Ben Mokhtar、Annette Bienuisa、Valérie Issarny、Pierre Sutra和Marek Zawirski。当然没有马克·夏皮罗的监督这是不可能的马克，谢谢你对我的信任，让我在所有的岁月里陪伴和陪伴，让我有足够的信心来确定我的想法，但也让我有足够的信心来让我自由地学习这些知识，你在研究纸张方面的专业知识很容易就能让我学会这些知识。 你的职业非常好，我需要的时候你就可以去了，谢谢你的会议，即使是在不太可能的时候。 我从来没有意识到我对你的看法，但我努力遵守你对我进行系统研究的要求，我希望我能对你的注意力有所提高。J’aimeraisSon established criticism et sa capacité à proposer des pistes derecherche prometteuses furent les bienvenues à de nombreuses reprises.我非常感谢LIP6的成员，特别是德利斯的永久成员，因为他们的教育对我的系统有很大的贡献，而且他们的学习也给了我工作的机会。 感谢皮埃尔·森斯，为您提供了大量的建议，为我们的改变提供了鼓励和乐观。谢谢乔纳森·勒·琼，这是谢谢朱利安·索佩纳，为了你对我们的教育的支持，为了你对我的教育的信任，为了你对人类科学计划的好奇心和你的科学批评，为了我们的讨论这里有Delys，Move和Whisper设备的医生们 在与其他人的交流中，这有助于我的融合。感谢Antoine Blin，我的首席导师和我们的温度-réel专家; Gauthier Voron，他是Perl之美的管理者; Damien Carver，他是游戏、游戏和游戏的专家; Hakan Metin，他是1-2-3-4的解释者; Florent Coriat，我们的专家和研究者; Ainsi qu 'à toute lagénération Regal ： Maxime Lorrillere ， Rudyar Cortés ， Lyes Hamidouche ，Alejandro Tomsic。Ensuite je souhaite remercier celles et ceux qui ont partagémon pastridien au labo ， en accessant par mon voisin de bureau ， FrancisLaniel，le plus sage des Stéphanois; Saalik Hatia，ses 404 cellaires portatifset ses Tech Tips; Jonathan Sid-Otmane，sauf pour la 5G的技术专家; VincentVallade，SAT世界冠军; Lucas Serrano，Python Döner军团; Arnaud Favier，promouvoir le web dev的首席博士系统; Laurent Prosperi，comprenant l'intérêtde la VO2 Max; Ludovic Le Frioux ， amateur du Clash of Code; DimitriosVasilas ， Gabriel Le Bouder ， Sreeja Nair ， Daniel Wilhelm ， BenoquittMartin ， Sara Hamouda ， Guillaume Fraysse ， Marjorie Bournat ， EliseJeanneau ， Mathieu Lehaut ， Cédric Courtaud ， Darius Mercadier ， YoannGhigoff与我的朋友保持着对话。马克西姆·比坦和雷德哈·古伊塞姆，我非常感谢你们，因为我非常喜欢计算我的朋友们在大学和实验室的首要课程，感谢你们所有的好时光（信息化，就像电视一样）我在大学的生活并不意味着在DAPS、AS、AEIP 6/ALIAS以及索邦大学联合系统提出的所有活动中没有任何美好的时刻。45j’en 在体育运动中获得博士学位的基本价值是共同学习、全过程训练和自我表现这些年来，在巴黎的Gaillon，在中央的南科普，没有我的朋友，这些东西就变得越来越丰富。谢谢你们最后，我会永远对我的家人表示同情，因为我的儿子永远都是无辜的。妈妈，爸爸，这些话不足以证明我对你的全部侦察。 感谢您我想学习我热爱的领域并投资于这一海洋之旅。 谢谢你我今天就告诉你我的男人。谢谢您的信任和我对您的帮助我对自己的回忆很长很长，但我对自己的回忆很长，我对自己的回忆很长，我对自己的回忆很长谢谢再来一杯我不喝咖啡。7摘要通过在边缘分发和复制数据，为边缘应用（如游戏、合作工程或现场信息共享）带来即时响应、自主性和可用性。然而，应用程序开发人员和用户需要尽可能高的一致性保证，以及对组协作的特定支持为了应对这一挑战，COLONY在全球范围内保证了事务因果加一致性（TCC+），并在边缘组内使用快照隔离进行跟踪 为了帮助实现可扩展性、容错性和安全性，其逻辑通信拓扑是树状的，在核心云中具有复制的根，但具有迁移节点或组的灵活性。尽管有这种混合方法，应用程序在拓扑中的任何地方都享有相同的语义我们的实验表明，本地缓存和对等组显着提高吞吐量和响应时间性能不受离线模式的影响，迁移是无缝的。关键词：因果一致性，协同计算，边缘计算，地理复制，对等系统9简历网络外围数据的分发和复制，对外围数据的应用，如游戏、工程合作或地形信息共享，都有着直接的响应、解释和可操作性此外，应用程序开发人员和应用程序使用人员应尽可能保证一致性，这也是对集团合作的特殊支持为了避免这种情况，殖 民 地 保 证 了 协 调 一 致 的 transmittance Causal Plus Consistency （ TCC+ ） àéchelle planétaire，en complémentde为了确保儿童通道、对儿童的容忍和安全，通信逻辑的拓扑学是一个树状结构，主要涉及语言中的种族，但也有可能迁移到一个新的或一个群体。这一点很接近hy- bride，在拓扑学中同样适用我们的经验表明，在考虑到反应速度和反应时间的情况下，当地缓存和友好合作团体的表现不会受到影响，移徙也不会受到影响。Mots-clés ： Cohérence Causale 、 Systèmes Collaboratifs 、 Informatique aubord du réseau、Géo-Réplication、Systèmes Pair-à-Pair11内容1一.导言. 151.1概述. 161.2捐款161.3出版物171.4组织18一.背景.192边缘计算范例212.1云计算模型212.2为什么选择边缘计算？...................................................................................232.3网络架构挑战242.4网络异构化挑战262.5数据管理问题272.6边缘存储系统282.7结论293协作边缘应用313.1一致性要求323.2全球一致性保证：TCC+323.3免费编程333.4本地增强：数据中心343.5加强地方：同侪团体363.6安全要求373.7摘要374相关工作394.1一、概况. 394.2克罗诺斯414.3CloudPath424.4警察42124.5Orbe。. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .434.6PRACTI。. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .454.7惰性复制。. . . . . . . . . . . . . . . . . . . . . . . . . . . .464.8治愈。. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .474.9连锁反应. . . . . . . . . . . . . . . . . . . . . . . . . . . . .484.10GentleRain。. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .504.11神秘. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .514.12土星。. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .534.13POCC。. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .544.14Eunomia。. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .564.15霍加皮。. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .574.16SwiftCloud。. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .584.17军团。. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .594.18总结与比较. . . . . . . . . . . . . . . . . . . . . . .604.18.1现有系统概述。. . . . . . . . . . . . . . . . .604.18.2元数据大小和假依赖之间的相关性。.63II贡献655协议设计695.1设计目标. . . . . . . . . . . . . . . . . . . . . . . . . . . .695.2TCC+担保。. . . . . . . . . . . . . . . . . . . . . . . . .705.3加强对SI。. . . . . . . . . . . . . . . . . . . . . . . . . . .725.4边界元数据。. . . . . . . . . . . . . . . . . . . . . . . . . . .725.5拓扑和元数据设计。. . . . . . . . . . . . . . . . . . . .735.6交易元数据。. . . . . . . . . . . . . . . . . . . . . . . . . .745.7DC内交易协议。. . . . . . . . . . . . . . . . . . . . . . .765.8基本边缘事务协议。. . . . . . . . . . . . . . . . . . . .775.9节点迁移和K稳定性. . . . . . . . . . . . . . . . . . . .785.10事务迁移。. . . . . . . . . . . . . . . . . . . . . . . . .806数据管理836.1版本控制。. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .836.2边缘缓存。. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .837组857.1同侪团体。. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .857.1.1成员资格。. . . . . . . . . . . . . . . . . . . . . . . . . . .857.1.2内容共享。. . . . . . . . . . . . . . . . . . . . . . . .86137.1.3第86章外界的交流7.1.4对等组事务协议877.2对等组之间的迁移887.3协作组888系统API和实现918.1模块化设计918.2API和编程模型918.3通信协议928.4存储部938.5安全93III实验评价959COLONYChat基准应用程序9910 绩效评估10110.1 设置10110.2 响应时间和吞吐量10210.3 离线协作的响应时间10310.4 迁移对响应时间的10510.5 与相关工作10510.5.1 重新连接时间10710.5.2 元数据和实现功能比较10711 摘要109IV 结论11111.1 限制和前景113参考书目115A Résumé13315介绍1互联网规模的协作是一个不断增长的应用领域，例如Overwatch或Ingress等游戏，Google Chrome，Microsoft Office365或Apple iWork等共享编辑器，或Dropbox或Nextcloud等文件共享系统具有增强现实功能的移动设备支持位置感知游戏，如Pokémon Go和Harry PotterUnite，或协作3D建模和制造应用程序[Wan+19;Tak 18;SRS 21]。虚拟世界，或Metaverse [DIG13]，构成了协作虚拟现实应用程序的一个子集。Metaverse是计算机生成的持久在线环境，在其中远程和近距离物理位置的多个用户可以出于工作或娱乐的目的实时交互如今，许多行业都在构建Metaverse应用程序，例如Facebook（Meta）[F ac21]，微软的Metaverse工作空间[Mic21]或NVIDIA Omniverse平台[NVI21]，以及更多的行业公司[DIG13]。这些增强现实世界产生用于空间识别的大量计算（例如，使用智能手机摄像头扫描用户周围的相关对象），并期望实时协作。现有的系统是基于云的，有时提供临时应用程序级缓存。违反一致性是常见的，令用户和应用程序开发人员感到困惑[TSR 15;CNS 19;Goo 21 a;Goo 21 b;www21]。对离线操作的支持参差不齐。用户仅通过云进行交互，即使直接通信也是可能的。 这些系统缺乏协作功能，如组管理或版本控制。云计算是一种成熟的范例，当今大多数协作应用程序（包括在移动设备上运行的应用程序）都依赖于云来交换数据、下载信息或卸载资源密集型计算，以便在功能更强大的服务器上运行并节省电池电量。大型多人手机游戏是大规模协作应用的一个例子，它要求玩家之间的延迟低，并产生资源密集型计算，特别是随着增强现实的出现，它通常涉及用于面部识别或对象检测的图像处理然而，为了使这些应用程序可用，预期响应必须在5毫秒以下，当边缘设备必须通过远程数据中心同步时，这很难保证。16第1章绪论1.1 概述在本论文的第一部分，我们探讨了边缘计算的范例及其网络和架构所固有的挑战然后，我们讨论了协同边缘应用的安全性，可扩展性，安全性，层次结构和可编程性要求最后，我们对最先进的技术进行了全面的研究，以及文献中为满足边缘计算需求和协作应用需求所做的工作在论文的第二部分，我们提出了我们的主要贡献，COLONY，数据库和中间件，旨在解决这些问题。最重要的要求是边缘优先方法[Kle+19]，该方法将数据定位在设备上，以提供独立于网络连接和位置的可用性，快速和无缝响应，并使用户拥有其数据的所有权然而，这使得满足一致性和新鲜度期望具有挑战性为了应对这一挑战，COLONY采用混合方法，并提供与可用性（TCC+）兼容的最高一致性保证，在连接良好的区域中进一步加强（到SI）CRDT数据类型可确保收敛而无需回滚。一个相关的挑战是并发元数据（胖向量时钟）的开销由于灵活的森林拓扑和SI区域，我们限制了它为了满足群组协作的需求，COLONY使边缘协作者能够在不依赖云的情况下共享数据，并支持协作安全功能，包括端到端加密。我们的设计提供了对跨越核心云到远边缘的频谱的数据的统一访问最后，本文讨论了一些设计和实现的挑战，包括断开连接的操作，迁移下的一致性在边缘的全顺序共识，并避免单点故障，尽管树拓扑结构。1.2 贡献本文的主要研究成果如下：• 一种分散的数据库架构，专为协作应用程序设计，提供从核心云到远端边缘的连续体• 一个混合一致性模型，基于因果和事务保证全局，加强了总顺序的一致性，在边缘合作组和地理邻近。• 可伸缩的元数据和拓扑设计，限制所需一致性元数据的开销，并支持节点或整个组的无缝断开或迁移。• 一种利用一致性模型的访问控制新方法• 有效的设计和实施的COLONY和实验评估证明我们的方法的好处。我们的实验评估表明：本地和组缓存的吞吐量分别提高了1.4倍和1.6倍，响应时间分别提高了8倍和20倍，与经典的云配置相比;离线模式下的性能与在线模式相同;离线/在线过渡和迁移都是无缝的。1.3 出版物本论文的部分结果已发表如下：• 伊利亚斯·图米利特皮埃尔·苏特拉马克·夏皮罗通过Colony在边缘实现高可用性和 一 致 性 的 团 队 协 作 。 Middleware 2021 - 22 nd InternationalMiddleware Conference，2021年12月，魁北克/虚拟，加拿大。10.1145/3464298.3493405. HALHAL-03353663 v3病毒[TSS 21]• 伊利亚斯·图米利特亚历杭德罗·托姆希奇马克·夏皮罗Vers une cohérencecausale évolutive sans chauses de relentissements. Compas 2018：Conférenced'informatique en Zélisme，Architecture et Système，Jun 2018，Nice Sophia-Antipolis，France. ffhal-01860334f [TTS17]在我的论文中，我探索了其他方向，并在几个项目中进行了合作，这些项目帮助我深入了解了在地理复制和边缘系统中提供一致性的挑战这些努力促使我为以下出版物和可交付成果作出贡献• Ali Shoker，Paulo Sergio Almeida，Carlos Baquero，et al.LightKone参考架构（LiRA）。 info.ucl.ac.be/pvr/LiRAv0.9.pdf。2020（cit. 见第3页）。[Sho+20]• LightKone H2020项目。D6.1：重边缘计算的新概念2018（cit.第4页）[Pro18]• LightKone H2020项目。D6.2：重边缘计算的新概念2019. [Pro19]1.3出版物1718第1章绪论1.4 组织本文共分为三个部分。本文件的其余部分组织如下：• 第一部分介绍了我们共同工作的背景，提出了问题，给出了现有的解决方案，并讨论了用例需求，这一部分共分为三章：– 第2章通过汇总面向边缘的计算系统的架构特征、管理方法和设计目标方面的相关挑战，对面向边缘的计算系统进行了全面的、最新的回顾– 第3章介绍了前面综述的用例观点，讨论了协作边缘应用程序需要保证的安全性、可扩展性、安全性、层次结构和可编程性要求。– 第4章研究和比较了在边缘存储系统的最新技术水平中设计的解决方案，以应对之前提出的挑战和要求，并讨论了需要解决的其余挑战。• 第二部分，根据我们在现有工作中所看到的，我们将在这里证明我们的方法中使用的一些协议选择，其目的是减少在一些现有系统中观察到的缺点。并提出了设计，实现和编程模型，我们的主要贡献，COLONY，一个数据库和中间件设计，以满足群体协作的要求。• 第三部分提供了一个实验评估，证明我们的方法的好处，从最先进的其他解决方案相比。• 第四部分总结了我们的贡献，并提出了我们对未来需求的展望，即更可靠、可扩展和安全的协作边缘存储系统。第一背景
我的内容管理
展开
