百万兆级计算机上高性能基于任务的原位分子动力学

在百万兆级计算机上集成高性能基于任务的原位分子动力学埃斯特尔·迪兰德引用此版本：埃斯特尔·迪兰德。在百万兆级计算机上集成高性能基于任务的原位分子动力学。分布式、并行和集群计算[cs.DC]格勒诺布尔阿尔卑斯大学，2018年。英语。NNT：2018GREAM065。电话：01949170v2HAL ID：电话：01949170https://hal.science/tel-01949170v2提交日期：2019年HAL是一个多学科的开放存取档案馆，用于存放和传播科学研究论文，无论它们是否被公开。论文可以来自法国或国外的教学和研究机构，也可以来自公共或私人研究中心。L’archive ouverte pluridisciplinaire论文要获得的等级格勒诺布尔阿尔卑斯大学专业：计算机科学部长令：2016年提交人埃斯特尔·迪兰论文由Inria Grenoble Rhône-Alpes研究总监Bruno RAFFIN由法国CEA大坝研究员Laurent Colombet在格勒诺布尔计算机科学实验室数学、科学和信息技术博士学院开发适用于百万兆级机器的经典分子动力学代码的基于任务的原位系统在百万兆级计算机上集成高性能基于任务的原位分子动力学论文于2018年11月6日在评审团面前公开答辩，评审团成员包括：布鲁诺·拉芬Inria Grenoble Rhône-Alpes研究总监，论文洛朗·科隆贝特CEA DAM法兰西岛研究员，论文加布里埃尔·安东尼奥Inria Rennes -布列塔尼大西洋公司研究主任，报告员汉克·柴尔德俄勒冈大学副教授，报告员克里斯托弗·卡尔文CEA Saclay研究员，审查员维奥莱恩·卢维研究工程师，GRICAD -格勒诺布尔阿尔卑斯研究-超级计算和数据基础设施，审查员Raymond NAMYST波尔多大学教授，评审团格勒诺布尔阿尔卑斯大学社区博士论文在百万兆级计算机上集成高性能基于任务的原位分子动力学埃斯特尔·D·I·兰德在监督下Laurent ColomB和BrunoRAHFFI n原子能和替代能源委员会+33（0）1 69 26 40 00献给爸爸，他尽管困难重重7感谢IEMEnts三年前，我来到CEA，开始了这场伟大的冒险，这就是论文，现在答辩已经结束，是时候用几句话来感谢我一路上遇到的所有人，他们以这样或那样的方式为这场冒险的结果做出了首先，我要这是对弗雷德里克·德普雷兹的一个小小的想法，他最终因为法国国营铁路公司而无法出席。如果没有导师的支持，论文就什么都不是，这就是为什么我想再次感谢布鲁诺·拉芬和洛朗·科隆贝特，感谢他们在这三年里一直陪伴着我，推动我走得在这篇论文中，我从你那里学到了很多，既有技术方面的，也有横向方面的，如写作、口头陈述，最重要的是，如何从我的工作中退一步。我当然很感激你。还要感谢Bruno对我的信任，并再次推荐我担任Total的职位。我向劳伦特保证，我不会忘记我必须对我的工作更加乐观和自豪。但另一方面， 我还要感谢蒂埃里·卡拉德在论文的最后几个月里提供的所有建议。从技术的角度来看，你给了我很多东西，你激励我在我无法开始的时候开始写这份手稿。 我也不会忘记在整个代码中添加大括号所花费的调试时间。然后，我要感谢服务的物理学家欢迎一位计算机科学家来到你们中间非常感谢LaurentSoulard教授的冲击、碎裂和微喷射物理学课程，以及Nicolas Pineau、Olivier Durand和Jean-Bernard Maillet在论文开始时就现场需求进行的头脑风暴特别要提到克莱尔·勒马钱德，我没有太多机会直接与她合作，但她知道如何在论文有点困难的时候倾听我的意见还要感谢François Jollet欢迎我加入服务，非常感谢BrigitteFlouret和SandraBoullier为所有行政方面提供了极大的便利。基于任务的百万兆级计算机分子动力学研究我要感谢我在Paratools的同事 Jean-Baptiste Besnard、Julien Adam和Antoine Capra在撰写本文时提出的所有建议和想法我喜欢我们为提出想法而举行的会议，与Julien一起进行的git实验，以及与Jean-Baptiste一起进行的调试。L’heure 因此，我要感谢艾哈迈德、阿洛伊斯、大卫、伊曼纽尔、热罗姆、乔瓦尼、约安尼斯、让、让-巴蒂斯特、让-查尔斯、乔丹、洛伊克、吕克、卢卡斯、路易斯、尼尔斯、保罗、昆廷、拉斐尔、理查德、萨米、西奥、蒂博、特里斯坦、泽维尔，以及所有我忘了提到的人。特别要提到保罗、蒂博、让-巴蒂斯特、雨果和雨果，我的论文伙伴，我祝愿他们为那些还没有支持的人完成论文，为那些已经在隧道另一边的人继续论文在这篇论文中，接下来的两年 一个小的奉献给热罗姆和卢卡斯的晚上和下午的比赛，大卫的赌注和蛋糕，随之而来的，和乔丹谁不是一个非永久性的，但一直是我们集团的一部分，我祝他一切顺利，他的新生活在比利时。最后，我要感谢我的朋友、家人和姻亲。感谢席琳和莱娅分别从中学和小学开始就是我的朋友，感谢她们在困难时期和不那么困难的时候总是在我身边席琳，我对你感激不尽，感谢你让我们的谈话振奋精神，缓解压力。还要感谢ENSTA的朋友们，特别是 非常感谢Jacky、Michèle、Riri、Jacky、Margot和Mamie，他们从上索恩和阿尔萨斯赶来听我用英语介绍我的论文。我想全心全意地感谢妈妈，感谢她一直在我身边，感谢她一直支持我，即使我不得不离开家。 我对你感激不尽。也非常感谢你来帮我准备博士学位，感谢你花了10多个小时和我一起在厨房里切土豆和做kougelhopf。如果没有你，理查德，我特别为你留了一段话。正如我所承诺的，我感谢你但你当然做得不止这些。 我从心底里感谢你两年前进入我的生活，从那天起就让我充满了幸福。你是我最好的朋友，我的知己，我生命中的男人，我非常感谢你在这两年里，特别是在论文的最后几个月里给我的所有支持。感谢您在那里，永远支持我，给89一个BSTR法案百万兆级时代将缩小数据生成率与以后处理方式管理其输出和分析所需时间之间的差距，大幅增加科学发现的端到端时间，并要求转向新的数据处理方法。 原位范例提出在数据仍驻留在超级计算机内存中时分析数据，以减少对数据存储的需求。已经存在几种技术，通过在相同节点上运行模拟和分析（原位），通过使用专用节点（在运输中），或者通过结合这两种方法（混合）。 大多数原位目标模拟技术无法充分利用每个处理器不断增长的内核数量，但它们不是为新兴的多核处理器设计的。另一方面，基于任务的编程模型有望成为这些体系结构的标准，但到目前为止，很少有基于任务的原位技术已经开发出来。本论文旨在研究为百万兆级超级计算机设计的基于任务的分子动力学代码中一个新的基于任务的原位工作框架的设计和集成我们利用基于任务的编程模型的可组合性特性来实现TINS混合框架。分析工作流以任务图的形式表示，这些任务图可以生成子任务，以便在传输过程中执行或与现场模拟任务交错执行 现场执行得益于创新的动态助手核心策略，该策略使用工作窃取概念，以较低的模拟执行开销将模拟和分析任务精细地交织在计算节点内。TINS使用英特尔®TBB工作窃取调度程序，并集成到ExaStamp中，ExaStamp是一种基于任务的分子动力学代码。各种实验已经表明，TINS比最先进的原位库快40%。对多达14，336个核上的多达2万亿个粒子的分子动力学模拟表明，TINS能够以小于10%的开销以高频率执行复杂的分析工作流。11再总结L’ère 因此，科学发现的时间原位方法通过直接在生成数据的位置分析数据，减少了写入数据的需要有几种技术，在与模拟相同的计算节点上运行分析（原位），使用专用节点（在运输中），或结合这两种方法（混合）。大多数传统的原位方法都是针对无法利用每个处理器不断增长的内核数量的模拟，但它们并不是为当今新兴的多核架构而设计的与此同时，基于任务的编程正在成为这些体系结构的标准，但是很少开发基于任务的原位技术。本论文旨在研究为百万兆级超级计算机设计的分子动力学代码的基于任务的原位系统的集成。我们利用基于任务的编程的可组合性特性来实现TINS混合架构。分析工作流由任务图表示，这些任务图又可以生成任务以供现场或在运输中执行。TINS使用许多实验表明，TINS比现有的最先进对14，336个核心上的20亿个粒子系统的分子动力学模拟表明，TINS能够以不到10%的额外成本运行复杂的高频13内容S1简介171.1在通往百万兆级超级计算机的道路上... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...171.2模拟数据的现场处理。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...181.3论文目标。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...191.4论文贡献和组织。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...20我 分子动力学和百万兆级的I/O挑战212超级计算机数据分析背景232.1超级计算机的。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...232.1.1计算节点体系结构的。... ... ... ... ... ... ... ... ... ... ... ... ... ...232.1.2节点互连。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...292.1.3文件系统和I/O。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...312.2现场处理。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...332.2.1原位。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...332.2.2核心的。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...352.2.3核心分离。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...362.3在运输和混合加工中。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...382.3.1在运输过程中。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...382.3.2混合处理 . ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...402.3现场工作流控制。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...422.5章节总结。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... .4414..3基于任务的百万兆级计算机分子动力学453.1英特尔®TBB，基于任务的运行时。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...453.1.1使用TBB API创建。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...463.1.2 TBB资源管理... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...493.1.3控制任务执行的。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...52ExaStamp，材料科学的分子动力学代码。. . . . . . . . . ...533.2.1材料科学的分子动力学。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...543.2.2 ExaStamp架构。... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...54153.3在ExaStamp58中集成现场框架的挑战3.3.1目标架构593.3.2ExaStamp性能603.3.3实施基于任务的混合框架的想法61II基于任务的现场技术634将同步原位转换为基于异步任务的原位654.1同步执行的分析集成654.1.1ExaStamp66中的同步原位集成4.1.2在ExaStamp66中实施分析例程4.1.3同步原位和文件输出方法的比较4.2突出显示未使用资源的4.2.1任务监控系统704.2.2同步方法中的线程使用率测量704.3基于任务的异步原位方法（TINS）的推导714.3.1分析任务的产生734.3.2与同步执行相比，TINS的评估754.4第76章总结5实施线程隔离以提高TINS性能775.1TINS与Goldrush工艺方法的比较评估775.1.1Goldrush在钴超级计算机上的应用5.1.2使用Goldrush API78对ExaStamp进行仪表化5.1.3锡和Goldrush80的比较5.2TINS与Damaris静态助手核心方法81的比较5.2.1使用Damaris API81对ExaStamp进行仪表化5.2.2锡和达马里斯855.3TINS86中线程隔离机制的实现5.3.1将任务分离到分离的竞技场875.3.2分析主线程的实现875.3.3两个版本的TINS和Damaris的比较915.3.4强调静态帮助器核心方法的局限性5.4第95章总结6使用自动大小97实施动态帮助器核心策略6.1自适应静态助手核心方法的实现6.1.1算法97的设计6.1.2强调99方法的局限性6.2使用临时隔离实施动态助手核心策略1006.2.1使用TBB100设计临时线程隔离6.2.2在TINS102中实施临时线程隔离6.2.3动态助手核心方法的评估1056.3自适应动态助手核心方法的实现6.3.1算法110的设计内容16基于任务的百万兆级计算机分子动力学研究6.3.2方法111的验证6.3.3强调112方法的局限性6.4第113章6.5第114部分摘要III面向可扩展的基于任务的混合框架1157设计自动协调分析执行的框架1177.1模拟和分析代码的编排1177.1.1TINS架构在仿真代码118中的集成7.1.2作为TINS插件在模拟之外开发分析1197.1.3编译和加载TINS插件1217.2自动创建插件图1227.2.1分析工作流的定义1227.2.2构建插件图1237.2.3模拟和分析数据管理1267.3扩展TINS的传输模式1297.3.1运输模式129的设计7.3.2原型的实施和初步结果1307.3.3在独立模式下运行分析插件1327.4第133章章8TINS在生产运行135中的验证8.1物理和分析工作流说明1358.1.1Steinhardt参数的计算8.1.2分析工作流的定义1398.2Tera-1000-2超级计算机的局限性8.2.1在KNL节点141上禁用操作系统调度程序8.2.2MPI_THREAD_MULTIPLE线程级别141暂时不存在8.3TINS142的验证8.3.1数字验证1428.3.2初步绩效措施1448.3.3为物理学家获得锡1488.4第一百四十九章9结论和观点1519.1捐款1519.2前景1539.3TINS154的高级用途IV其他内容15710 法文论文摘要15910.1 导言15910.2 手稿的组织16110.3 结论16417参考书目16518基于任务的百万兆级计算机分子动力学研究1引言n1.1走向百万兆级超级计算机为了理解物理现象，物理学家设计模型，并进行物理或数值实验，以验证、无效或完善他们的模型。物理实验是在实验室中进行的，在实验室中，所涉及的物理现象的环境被再现。例如，极端条件可以通过激光再现，高能环境可以通过粒子加速器再现。物理实验帮助物理学家更好地理解所涉及的物理学，但它们有局限性。第一个限制是财政上的，因为使用先进的设施和监测工具使物理实验非常昂贵。例如，在汽车行业，进行一次碰撞测试的成本可能从10万美元到数百万美元不等，这限制了制造商在给定范围内可以进行的碰撞测试的数量。第二个限制是某些物理现象的可重复性。然而，有些现象无法在实验室中复制，例如在天体物理学中研究行星或星系的运动，或在气候科学中研究海洋和大气的相互作用。在过去的几十年里，数值模拟的使用已经民主化，以补充物理实验。物理现象是由在高性能超级计算机上运行的科学模拟求解的数学方程建模的模拟通常有两个阶段：一个是计算阶段，使用超级计算机的计算资源来求解数值方程;另一个是写入阶段，周期性地提取系统状态，并通过高性能网络发送到持久存储。模拟数据被写入文件，然后在必要的后处理步骤中由分析代码读取回文件，以便将原始模拟数据转换为物理学家可以使用的度量，以理解所涉及的物理现象。在合理的时间内拥有更多更准确的模拟的愿望推动了高性能超级计算机在具有不同内存级别和并行性的复杂体系结构中的发展。多个节点互连到分布式内存架构中，并且这些节点依次由多个共享内存的内核组成。每个节点的内核数量多年来一直在增长，从内核数量较少的多核节点到内核数量超过12个的多核节点。2018年6月，世界上最强大的超级计算机