高性能计算中的异构和非易失性存储器数据放置策略

高性能计算中异构非易失性存储器安德雷斯·鲁维奥·普罗阿诺引用此版本：安德雷斯·鲁比奥·普罗阿诺。高性能计算中异构和非易失性存储器的数据放置策略分布式、并行和集群计算。波尔多大学英语NNT：2021BORD 0224。电话：03431281HAL Id：tel-03431281https://theses.hal.science/tel-034312812021年11月16日提交HAL是一个多学科的开放获取档案馆，用于存放和传播科学研究文件，无论它们是否已这些文件可能来自法国或国外的教学和研究机构，或来自公共或私人研究中心。L’archive ouverte pluridisciplinaireTHERISSE PRESENTÉEPOUR OBTENIR LE GRADE DEDOCTEUR波尔多数学与信息学博士InformatiqueParAndrès RUBIO PROAQUIO高级性能计算中的Hétérogènes和Non-Volatiles的Données放置策略下方向：Brice GOGLIN2021年7月7日陪审团成员罗莎夫人。.巴塞罗那超级计算中心研究部M. ThierryGAUTIERChargé de Recherche，Inria.. . . . . . . . . . . . . .特别报告员M.布莱斯·G·格林。.Inria/ LaBRI研究主任。. . . . . . . . .DirecteurM. RaymondNAMYSTBogseur，波尔多大学。. . . . . . . . . .总统M. 巴黎理工学院弗朗索瓦·特拉海·马伊特雷教授。.特别报告员HPC中HMS的数据放置策略iiiTitreStratégies de placement de données pour les systèmes à memoireshétérogènes dans le calcul haute performance.RésuméLes systèmes memémoire des plates-formes de calcul hauteperformance ont subi des changements majeurs ces dernières années. 此外，在主要的存储器、存储器和多个小型缓存中，服务器必须访问非均匀存储器（NUMA），并处理多个类型的存储器。 同样，HBM的高级备忘录也进入了非挥发性备忘录的处理程序，而非挥发性备忘录则进入了层次结构。Ceschangements sont nécessaires pracher les don-nées du traitement et doncavoir de meilleures performance. 此 外 ， ils obligent les décumpeurs àadapter leurs applications pour fonctionner correctementsur ces différentssystèmes hétérogènes，ce qui rend le décumpement beaucoup plus pour.在实践中，简单地根据这些系统中的好的记忆类型来决定是否使用一种教学方法是很困难的，也很难对这种方法的应用性能进行这一点在波尔多西南部的因里亚和拉布里都很现实。在介绍了记忆建筑艺术之后，我们通过简单的属性描述了不同类型的记忆。Nous avons fourni uneinterface que la bibliothèque hwloc expose aux applications pour brown- dreNous avons ensuite proposé une méthodologie pour que les décubeurspuissent adapter leurs applica- tions à l'utilisation appropriée de systèmes àmémoire hétérogènes. 由于不可能访问不同的Hétérogènes板，因此我们可以识别渗透在Hétérogène记忆性能模拟和不同记忆拓扑模拟中的各种策略因此，我们提出了一个战略，以促进非易失性存储器的板状部件的分离，并在同一服务器上执行HPC联合执行。Mots-clésCalculhauteperformance，systèmesàmemémoirehétérogène，mod- èles de programmation parallèle，programmation partâches，calcul distribué，supportsLaboratoire d’accueilIVAndrès RUBIOPROAQUIO高性能计算中异构存储系统的数据放置策略摘要近年来，高性能计算（HPC）系统中的存储器系统发生了重大变化除了 主 存 、 存 储 和 多 级 缓 存 之 外 ， 服 务 器 还 具 有 非 统 一 内 存 访 问（NUMA），并且可能包含不同类型的内存。例如，嵌入在处理器封装上的高带宽存储器（HBM）和非易失性存储器（NVDIMM）已经被引入到层级中这些更改是使数据越来越接近处理所必需的，因此具有更好的性能。然而，它们要求开发人员调整他们的应用程序，使其能够在不同的异构存储器系统上正常工作，这使得软件开发变得更加复杂。在实践中，决定在异构系统中的适当内存上分配数据缓冲区的简单事实变得困难，并且对应用程序性能至关重要本论文已在Inria波尔多-西南和LaBRI进行在介绍了内存架构的最新技术之后，我们通过简单的属性描述了内存的我们已经提供了一个接口，hwloc库向应用程序公开该接口，以了解内存拓扑和分配缓冲区。然后，我们提出了一个策略，以帮助开发人员调整他们的应用程序，正确使用异构内存系统。由于访问不同的异构平台并不总是可能的，我们确定了几种方法来模拟异构内存的性能，并模拟不同的内存拓扑结构。最后，我们构建了一种策略，可以简化在相同节点上共同调度的HPC任务之间共享具有异构和非易失性内存的平台高性能计算，异构存储系统，并行程序设计模型，基于任务的程序设计，分布式计算，运行时系统Hosting LaboratoryInria Bordeaux Sud-Ouest，200 Avenue de la VieilleTour，33400 TalenceHPC中HMS的数据放置策略vTítuloEstrategias de emplazamiento de datos para systemas de memoriaheterogéneos en computación de alto rendimiento.恢复Alto Rendimiento计算系统中的记忆系统，这些系统在我们的年代进行了重要的实验。除了主要的纪念品、纪念品和各种各样的纪念品外，服务人员还可以提供不统一的纪念品（NUMA），并可以提供不同的纪念品。因此，在加工过程中使用的最大锚点（HBM）记忆和非挥发性记忆（NVDIMM）记忆已被引入到jerarquía中。我们需要改变这些数据，以便更好地处理这些数据，然后进行更好的再现。此外，软件开发人员需要适应各种应用程序，以便在不同的记忆系统中发挥正确的作用，因为软件开发需要更加完善。在实践中，简单的决定是在一个非均质系统的备忘录中提供一个数据库，这对应用程序的再现是非常困难和关键的。这是在因里亚波尔多-西南和拉布里实现的。在纪念建筑艺术的国家级展示中，纪念建筑的特点是通过简单的方式进行展示。他支持建立一个接口，使图书馆能够扩展其应用程序，以便理解记忆的拓扑结构，并提出建议。Luego先生，我建议制定一项战略，帮助发展中国家适应利用异质生殖系统的做法 。 Dado que no siempre es possible acceder a diferentes plataformasheterogéneas ， identificamos varias formas de simulal el rendimiento de lamemoria heterogénea y de emular difer-entes topologías de memoria. 最 后，我们制定了一项战略，以促进平台间的相互作用，以纪念异质性，而不是在少数节点上实现高性能计算。Palabras ClaveComputación de alto rendimiento，sistemas heterogéneosdememoria ， modelos de programación acuela ， programación basada entareas， computación distribuida，sistemas de tiempo de ejecuciónAguatorio AntitriónInria Bordeaux Sud-Ouest，200 Avenue de la VieilleTour，33400 TalenceviAndrès RUBIOPROAQUIOVII致谢我首先感谢耶稣在十字架上的奇妙工作，让我在这三年的论文中有一个难忘的经历，并把正确的人，以便成功地完成这一过程我感谢评审团成员花时间阅读我的论文。感谢Thierry和François非常细心地阅读了手稿。感谢罗莎和雷蒙德作为考官提供的宝贵意见我无法感谢Brice Goglin，他不仅指导我完成了论文，而且在我适应法国的每个阶段都很细心。谢谢你的帮助和我能从你身上学到的一切我感谢我美丽而亲爱的妻子艾琳·戈迪略·普罗阿诺在这三年的论文中陪伴我。你甚至可以在封锁期间做我的同事。我爱你，我会永远爱你。我感谢TADaaM团队的所有同事，Emmanuel，François，Alexandre，Francielli，Guillaume A和Guillaume。感谢我在开放空间的同事们：Valentin Honoré、Nicolas Vidal、Valentin Hoyet、Adrien Guil-baud、Florian Reynier、Philippe Swartvagher、Clément G、Clément B、Luan和Alexis。致我在HiePACS的同事，阿莱娜和埃斯拉古尔。感谢我父母的支持，梅赛德斯·普罗阿诺和泽维尔·卢比奥。我无法报答你们为我所做的一切，感谢我的兄弟何塞·鲁比奥·普罗阿尼奥和我的嫂子玛丽亚·何塞·阿尔西瓦，感谢你们的爱。感谢我的姻亲弗雷迪·戈迪略和内里·普罗阿诺，感谢他们一直关心我们。感谢我的小姨子瓦莱斯卡·戈迪略一直照亮我们的生活敬我的弟妹安巴尔·戈迪略、蒂亚戈·戈迪略和埃斯特万·佩雷斯。还有我美丽的侄女奥古斯汀娜·佩雷斯·戈迪略感谢我美丽的鲁比奥·维勒加斯一家，特别是我亲爱的祖父母米格尔·鲁比奥·阿特阿加和罗莎·维勒加斯·查韦斯，他们在上帝面前，一直激励我变得更好。感谢我美丽的Proaño Durán一家，特别是我亲爱的祖父母José ProañoGuevara和Luz Durán Merino，因为他们是到达基督脚下的工具。VIIIAndrès RUBIOPROAQUIOIXRésumé étendu en français人类面临着创造一个文明加智慧的问题。对于新贵来说，它需要理解和解决不同的社会和科学问题，使我们能够获得新的效率和优化。这是一个必须解决的综合性问题。同样，模拟分子动力学以创造新材料。从这个意义上讲，高级性能计算是一个非常重要的研究课题，可以通过模型、模拟和分析来解决这些问题。但为了提高效率，这些系统必须不断完善。今天，我们的关注点是系统中的亿亿级问题，而解决问题的速度也是非常快的。因此，为了达到这一目标，我们必须对应用程序的材料进行友好的处理。 Ellepermet de travailler avec dérents types d'applications ointervail peut êtrecombiné，des processeurs pour les ordinateurs petits/complex et des GPU pour lesordinateurs grands/simples.她并没有主动接近处理者，但在最后几年，她开始出现在记忆系统中。实际上，我们可以找到多种类型的记忆共存的记忆系统。高级性能计算（HPC）中的记忆系统包含了最近几年的重大变化。除了主要的记忆之外 ， 存 储 和 多 个 niveaux 的 缓 存 ， 服 务 器 还 可 以 访 问 非 统 一 的 记 忆（NUMA），并可以包含不同类型的记忆。此外，HBM和NVDIMM的集成存储器在层次结构中也有介绍。Ces changements sont nécessaires pour rapprocher de plus en plus lesdon-nées du traitement et donc avoir de meilleures performance.此外，还需要说明的是，在计算过程中，用户需要对应用程序进行修改或调整，以使其适配于Hétérogène记忆系统她提出了一个主要的问题，即如何了解我的记忆对象。在回答主要问题之前XAndrès RUBIOPROAQUIOd’identifier 与此类似，HPC中的记忆管理在记忆系统的合理性方面非常困难从这个意义上说，我们认为，为了更好地掌握新的记忆系统，识别记忆类型和记忆类型是至关重要的，因为高级逻辑沙发可以提供一个关于卫生棉条性能的评价的想法Hétérogènes的存储系统并不是一种独特的形式，也不是一种不同的印版，而是两种不同的存储器之间的相互作用，事实上，识别器的类型记忆consiste à comprendre quels núuds NUMAsont de quel type。为此，我们认为，记忆系统在拓扑学的研究中是一个很重要的部分，可以为卫生棉条的分配提供适当的空间，而记忆的类型可以根据记忆的某些属性来确定，如记忆带、潜伏期、容量、持久性、能量等。我们不允许对记忆类型进行任何识别，但可以根据记忆系统的顺序来确定在此工作中，我们指定了一个用于存储的所有属性，包括系统的Ces attributesnousaident à les classer en fonadium des metriques intuitives déjàmentionnées pour aider à la sélection du bon périphérique de memoire enfonadium d'un cas d'utilisation. 随 着 这 些 分 类 的 périphériques 记 忆disponibles，一个应用程序可以选择所有的ses données。此外，为了我们的这些想法，我们提供了一个界面，用于图书馆的编程，该图书馆允许在基本属性上检索最好的内容，这是我们需要的。Il comprend desfunctions qui nous permettentIl permet également de récupérer desinformations sur les valeurs属性值由两个主要来源提供 Le premier，correspond à l'utilisation destables matérielles ACPI HMAT ， dans lesquelles nous pouvons trouver desinformation relatives à la localité，la latence et la bande passante.但这张桌子并不 是 我 们 所 有 系 统 中 的 一 个 。 L’alternative,la plus utilisée pour lemoment, consiste à我们可以在一个记忆系统上获得一个命令（或一个属性）来实现材料的性能Une conséquence malheureuse deHPC中HMS的数据放置策略XIII他们可以利用记忆系统 作为第一个对记忆系统的识别和特征产生影响的磁带，它没有考虑到如何通过应用记忆中的收费来进行工作。事实上，如果一个应用程序或内部缓冲区与一个属性记忆有某种关联，那么这种差异可能会如何呢？在其他术语中，为了理解它的属性，它是对性能的批评。这些应用HPC sont conçues pour prendre en charge untype de memoire ，cependant，nous considérons qu我们提出了一个战略，它满足了磁带的需求，使其能够提高生产力，从而能够控制各种便携式存储系统。在这一战略中，我们认为，在提出分配要求之前，我们需要一个中间磁带，以确定申请的敏感性，并为最后确定分配标准提供缓冲Nous considerations qu一种基于个人经验的主观主义Compte tenu de cela，un cadre plus productif estnécessairepourlesnon-expertsenarchitecturesmatériellesetenoptimisation de code.此外，我们认为我们应该分析应用程序的性能，以确定应用程序和内部缓冲区的敏感性。我们确 定 了 三 个 主 要 的 选 择 ， 以 确 定 一 个 应 用 程 序 的 意义，并进行统计代码分析。通过基准测试，我们认为我们可以通过比较不同记忆类型上的强制性卫生棉条过程或不同记忆类型上的强制性卫生棉条的不同应用执行来识别应用的敏感性这种确定情感的方法在文学中再次被广泛使用，以考察某些属性对某些人的情感。然而，应用程序的复杂性使执行不同的名称变得困难。为了这个原因，我们应该学习轮廓。Le profilage est une stratégie plus approximatue une analysis dexiiAndrès RUBIOPROAQUIO应用程序可以在延迟或延迟期间获得某种敏感性。除此之外，还可以在代码源中识别出问题和卫生棉条第三个选项包括学习编译源代码，在我们的学习中，我们将学习如何编译 执 行 源 代 码 的 信 息 ， 这 将 有 助 于 我 们 在 未 来 与 联 合 国 的 合 作 Lescompilateurs tentent depuis longtemps de réduire la latence我们认为，这种类型的工作可以帮助编制人员检测噪音的潜伏期或噪音带的敏感性，也可以帮助执行系统的敏感性委员会同样，连续使用卫生棉条的操作/管路可使检测器和划线器在无使用者的情况下对患者进行合理的检测和划线，而无需进行比较或使用轮廓仪此外，开发人员必须准备应用程序和运行时，以便在不同的记忆系统上运行，但很明显，他们不需要一直访问具有不同记忆屏幕的机器。C’estpourquoi les outils nécessaires doivent être fournis afin que 事实上，这些人可以通过Hétérogène KNL的记忆系统来方便工作，因为KNL的配置仍然保持不变。然而，随着NVDIMM在一般板形中的变化，可能会出现许多有意义的名称或 类 型 的 记 忆 变 化 。 相 应 地 ， il est nécessaire de tester le runtime/lesapplications sur une summariété de configurations matérielles pour在此之前，我们必须中止扫描，以便测试在特定的云纹上的应用程序的性能。第二，我们放弃了不同的方法，因为我们可以选择记忆的结构来应用于那些与身体不相适应的应用，这就是说，我们提出的方法对于记忆系统是有用的。事实上，这并不意味着一个真实的性能hétérogène，但在这种情况下，它激活了hétérogène的记忆系统，就像激活了一个系统一样关于 同样，未来的系统将与不同的记忆系统一起出现。我们将确定允许修改应用程序性能的选项。首映式，HPC中HMS的数据放置策略xiii非均匀（NUMA）是多插槽机器中的通用技术，也是一种相关控制器中的通用技术。由于记忆处理者和记忆处理者之间的相对距离，记忆的存取并Depuis la naissance des systèmes NUMA，diverses études ont été menéespour tenter de minimiser其次，英特尔资源管理器（英特尔RDT）技术可以监控缓存和存储器的分配Il est establé en tant qu英特尔RDT est capablede partitionner certaines resources telles que la hierarchie du cache et pournotre intérêt particulier la bande passante.第三，记忆盗版是一种模拟性能的方法，它允许控制记忆的数量，以便与一种可以使用乘客带的应用程序共同D’un autre côté, l’émulation d’un système de mémoire permet auxdévelop- peursdepréparerleursapplicationspourlessystèmesdemémoire de nouvelle 在模拟中，不能像在前一节那样改变表演。Sonutilisation est principalementdédiée à 另一种方式是利用剥削Enfin，étantdonné que la plutart des acounementshwloc est souvent utilisé commecouche inter-mediaire entre la découverte du matériel et de la topologiedansHPC ， nouspouvonsdoncutiliserhwlocpour“mentir”auxapplications.因此，我们对共同拟订方案的问题感到满意。计算的结果是正的和负的，与计算的结果是一致的。Navisphere允许优化应用程序中的核心资源的利用率，但不允许利用不同的资源，以提高可用核心资源的利用率。多个核电站的共同规划是一项战略，目的是确保所有核电站都能在高性能计算中心得到利用但同时，多个国家之间的核武器分配也涉及到一些问题，如记忆系统内部的冲突或缓存污染xivAndrès RUBIOPROAQUIOLepartitionnement des resources est un moyen intéressant d'éviter de telsproblèmes grâce aux fonctionnalités du système d'exploitation telles queles Cgroups dans le noyau Linux. L'émergencedesDIMMàmemémoirenonvolatileapproptedenouvellesstratégiespourlagestiondesdonnéesdanslesapplica-tionsHPC. 事实上，它们具有多种材料和逻辑配置，这些材料和逻辑配置都具有高级存储性能的挥发性容量，这些配置可以像棉塞一样用于吸收存储图片，或者用于在面板后进行回收这一点在波尔多西南部的因里亚和拉布里都很现实。在对建筑记忆艺术进行介绍之后，我们将通过简单的属性对记忆进行梳理。Nous avons fourniune interface que la bibliothèque hwloc expose aux applications pourcomprendre la topo- logie de la memoire et allouer des tampons.此外，我们还提出了一个战略，以帮助残疾人适应各种应用程序，以便更好地使用记忆系统。 Comme l'accèsàdifférentesplates-formeshétérogènesn'estpastoujourspossible，nousidentifionsplusieursfaçonsdesimulerlesperformancedelamemoirehétérogèneetd'émulerdifférentestopologiesdememoire. 最后，我们提出了一个战略，该战略便于将平台划分为存储器和非易失性平台，这些平台与HPC共同规划在同一个平台上。内容1导言、背景和动机11.1高性能计算的优势11.2HPC2的异构视角1.3手稿大纲32HPC5中的内存系统2.1HPC架构62.2内存层次结构92.2.1登记册112.2.2高速缓存层次结构112.2.3主存储器112.2.4NUMA122.3新的内存技术152.3.1HBM152.3.2非易失性存储器172.3.3英特尔非易失性存储器解决方案192.3.4其他记忆212.4内存子系统的影响232.4.1结合不同类型的存储器232.4.2局部性vs异质性242.4.3摘要.252.5软件技术水平262.5.1管理异构内存272.5.2hwloc282.6第29话问题3导航复杂的内存空间313.1暴露记忆特征333.1.1记忆353.1.2记忆的特征353.2内存属性363.2.1带宽363.2.2延迟37XVxviAndrès RUBIOPROAQUIO3.2.3容量383.2.4地点393.2.5其他属性403.3在hwloc42中实施3.4属性值453.4.1ACPI SLIT453.4.2ACPI HMAT463.4.3基准化483.5摘要524为复杂的异构内存系统准备HPC应用程序534.1异构内存分配器544.2分配标准564.2.1基准化574.2.2侧写584.2.3静态代码分析604.3用例614.3.1基准化614.3.2剖析634.3.3摘要635用于异构存储器开发的软件工具675.1性能模拟685.1.1注入延迟的NUMA距离695.1.2带宽限制705.1.3海盗带宽715.1.4性能模拟总结725.2环境仿真735.2.1硬件仿真级别745.2.2操作系统等级765.2.3软件等级785.2.4模拟796批处理器中异构存储器的管理6.1管理不同的KNL配置模式846.1.1KNL配置846.2管理NVDIMM配置模式866.2.1记忆模式和2级模式876.2.2App Direct和DAX以及用于存储的1级内存876.2.3系统-RAM模式886.3需要内存和存储的协同调度作业89内容6.3.12LM89中的硬件分区6.3.2使用1 LM和System-RAMNUMA节点实现灵活的协同调度916.4HPC作业之间的细粒度分区926.4.1NVDIALTM硬件分区926.4.2Multidax和基于命名空间的软件分区6.4.3达克斯地区946.5讨论和总结957结论和今后的工作7.1结论.977.2今后的工作99附录103A平台特征105A.1 Kona：Xeon Phi Knights Landing（KNL）105A.1.1Kona01105A.1.2Kona03106A.2 Leonide：双Intel Xeon Gold 6230，带NVDI107A.3 来源：SGI Altix UV 2000109参考书目113出版物127HPC中HMS的数据放置策略内容xviiiAndrès RUBIOPROAQUIO图目录1.1HPC系统Fugaku。................................................................................22.1SMP架构。...............................................................................................72.2双核处理器。...........................................................................................72.3蓝色基因处理单元的层次结构[55]。......................................................82.4Fugaku处理单元的层次结构[28]。.........................................................82.5记忆-存储连续体。.........................................................................................102.6高速缓存层级12的一般结构2.7复员方案在能力和速度方面的演变。.................................................122.8NUMA作为一组SMP节点。............................................................... 132.9SkylakeNUMA配置。..........................................................................142.10 STREAM-在NUMA节点0中使用每个核心（总共20个）的线程时，三元组带宽达到峰值。.........................................................................142.11 [108 ]第108话. ....................................................................................... 142.12 英特尔至强融核处理器概述[40]。...................................................... 162.13 HBM配置为扁平模式。........................................................................162.14 HBM配置为缓存模式。........................................................................162.15 HBM配置Hybrid模式。.......................................................................172.16 双插槽至强平台，每个处理器6个通道，一个NVDIMM和一个DDR。..............................................................212.17 1级内存模式（1LM），使用App Direct模式，使用DDR作为主内存，而NVDI作为通常用作存储器的持久性内存区域。.................................................212.18 使用系统RAM模式的1级内存模式（1LM），允许将NVDIMM显示为一个额外的NUMA节点的DDR。................................................................................................ 222.19 2级内存模式（2LM），使用DDR作为内存端缓存，位于NVDIXTM内存模式部分前面作为普通的易失性存储器222.20 hwloc的输出与NUMA节点（粉红色），其中6个NVIDIA GPU的内存作为NUMA节点公开。. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22XIX