0HAL编号：tel-024133310https://theses.hal.science/tel-024133310提交日期：2019年12月16日0HAL是一个多学科开放获取的存储库，用于存放和传播科学研究文献，无论其是否已发表。这些文献可以来自法国或国外的教育和研究机构，也可以来自公共或私人研究中心。0HAL是一个多学科开放获取的存储库，用于存放和传播法国或国外的教育和研究机构、公共或私人研究中心的研究级科学文献，无论其是否已发表。0应用于分子动力学的超级计算机负载动态平衡0Raphaël Prat0引用此版本：0Raphaël Prat. Équilibrage dynamique de charge sur supercalculateur exaflopique appliqué à la dy-namique moléculaire. Analyse numérique [cs.NA]. Université de Bordeaux, 2019. Français. �NNT :2019BORD0174�. �tel-02413331�0论文提交以获得学位：0波尔多大学博士0波尔多数学与计算机科学博士学院0计算机专业0Raphaël Prat0应用于分子动力学的超级计算机负载动态平衡0在Raymond Namyst和Laurent Colombet的指导下0论文计划于2019年10月9日在模拟之家举行0评审委员会0M. Baaden，Marc，研究主任，物理化学生物学研究所，考官 M. Calvin，Christophe，国际专家，CEA Saclay，评阅人M. Colombet，Laurent，研究员，CEA Dam-Île de France，共同导师 M. Fortin，Pierre，副教授，巴黎索邦大学，考官M. Mehaut，Jean-Francois，教授，格勒诺布尔阿尔卑斯大学，评阅人 M.Namyst，Raymond，教授，波尔多大学，导师 M. Roman，Jean，教授，Inria，考官0法国原子能和可替代能源委员会（CEA）法国达姆岛-法兰西岛中心，91297Arpajon Cedex，+33 (0)1 69 26 40 000应用于分子动力学的超级计算机负载动态平衡0Raphaël PRAT02016年至2019年.101 致谢0现在我的CEA论文已经结束，我要感谢我所遇到的所有人，无论是在技术还是个人层面上，他们对我都有所帮助。首先，我要感谢所有评委会成员抽出时间评估我的工作。我要感谢JeanRoman同意担任评委会主席。我要感谢我的两位评阅人Christophe Calvin和Jean FrançoisMéhaut，感谢他们的报告和评论。我要感谢我的两位考官Marc Baaden和PierreFortin，感谢他们提出的有趣问题。我特别要感谢Laurent Colombet和ThierryCarrard每天对我的指导，以及RaymondNamyst尽管距离遥远，也对我的指导。Laurent，我非常喜欢你的好心情，你对Kaamelot的引用以及我们在这三年里的所有讨论。Thierry，除了那次你进我的办公室告诉我我的工作是错误的，我也要感谢你抽出时间听我说一些奇怪的想法。Raymond，感谢你抽出时间进行所有这些视频会议，尽管你的日程安排非常紧张，以及你的支持和有见地的评论。我要感谢CEA在这三年里的接纳，以及在那里工作的人们。特别感谢LaurentSoulard在实习期间对我的指导以及在物理学上给予我的各种帮助，OlivierDurand对我的AMR版本进行测试。我要感谢Nicolas Pineau、Claire Lemarchand和RonanMadec在早晨休息时的辩论，以及SandraBoullier回答我所有愚蠢的问题，并帮助我发送我的第一份传真。我要感谢实习生们每次带来的良好氛围：Sébastien、Sami、Quentin、Loïc、Tristan、Luis、Théo、Robinson、Alexandre、Régis和Lucas。出于同样的原因，我要感谢博士后和博士后研究员们：Richard、Thibaud、Luc、JeanBaptiste1和2、Nils、David、Lucas、Gérôme、Xavier、Ahmed、Jean-Charles、Emmanuel、Ioannis、Aloïs、Augustin和Guillaume。0我特别感谢Jean Vicomte（或GiovanniViciconte），他是最法国的意大利人，与我一起忍受/分享了这三年的博士生活。在世界上最美丽的村庄度过博士学位的假期真是太愉快了。20应用于分子动力学的超级计算机负载平衡0PaulLafourcade，我该说什么呢，感谢你每天给我带来的灵感，尤其是你无尽的耐心。还有那些.gif，你花在我身上的时间，还有你的耐心。0Estelledirand，你有幸与我共度了两年，所以我给你留下了一些空白行，你可以用来更多地感谢我：0好吧，谢谢你这两年以及我们所进行的所有讨论。尼古拉斯∙布鲁齐（对不起，我找不到照片），很遗憾我们不能更长时间地共享办公室。我要感谢你在这6-7个月里的幽默，别忘了照顾好这个办公室。我感谢我的家人，有很多原因，感谢我的生物父母Agnès Prat-Dutel和RémiPrat，他们在我的成长、教育、鼓励和写作过程中倾听了我很长时间。感谢我的祖母RoberteDutel，因为有了Sylvie和DominiqueMaignan的帮助，她终于能够参加我的博士答辩。感谢Patrice替我母亲做了工作（校对手稿）。我也感谢我的其他家人。0Sonia，这一次我不会忘记你，不仅仅是因为每个人都告诉我不要忘记你的名字。顺便说一句，我真的是把你留到了最后，但是我突然有点失忆（再次道歉）。你已经是我的生活的一部分8年了，我们已经分享了很多生活阶段（预科，工程学院和博士学位）。你总是帮助我30第1章 | 致谢0当我需要的时候（统计学复习），我希望能够回报你至少1%的一切（但我不会为你写论文）。所以我感谢你为我所做的一切，感谢你是一个怎样的人（美丽，小巧，聪明，开朗，有趣，好奇，坚持不懈等等...），尤其是我预先感谢你与我一起度过的未来的一切。谢谢Sonia 182.3.4.2Listes de voisins . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .173.4.4Potentiels à deux corps . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .193.4.6Potentiel MEAM. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .213.4.7Autres Potentiels . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .243.5Phénomènes physiques et simulation numérique . . . . . . . . . . . . . . . . . . . .243.5.1Structure cristalline . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .243.5.2Éjecta de matière . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .253.5.3Impact d’une nano-goutte sur une surface solide. . . . . . . . . . . . . . .264Le Calcul Haute Performance294.1Évolutions matérielles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .304.1.1L’architecture d’un Nœud de calcul . . . . . . . . . . . . . . . . . . . . . . .304.1.2Hiérarchie mémoire des processeurs multicœurs. . . . . . . . . . . . . . .314.1.3Flux d’exécution. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .324.1.4Instruction Simd. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .334.1.5Processeur graphique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .344.2Évolutions logicielles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .344.2.1Parallélisation inter-Nœuds . . . . . . . . . . . . . . . . . . . . . . . . . . .354.2.2Parallélisation intra-Nœud . . . . . . . . . . . . . . . . . . . . . . . . . . . .374.2.3Vectorisation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .3950目录01 致谢 102 引言 903 经典分子动力学 13 3.1 概述 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1303.2 热力学系综 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1403.3 数值模拟 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1503.3.1 Verlet积分器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1503.3.2 Verlet速度 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1603.4 相互作用 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1603.4.1 分类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1703.4.3 原子间势 . . . . . . . . . . . . . . . . . . . . . . . . . . 1903.4.5 潜入原子模型：EAM . . . . . . . . . . . . . . . . . . . . . . . 20Équilibrage dynamique de charge sur supercalculateur exaflopique appliqué à la dynamique moléculaire4.3Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .405État de l’art415.1Maillage adaptatif . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .415.1.2Grilles structurées. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .425.1.4Grilles non structurées . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .445.2Méthode de partitionnement spatial de domaine . . . . . . . . . . . . . . . . . . . .495.3.1Partitionnement géométrique . . . . . . . . . . . . . . . . . . . . . . . . . .505.3.3Rafnement de graphe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .535.4.1ExaSTAMP. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .545.4.3Autres Logiciels . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .596Développement d’une grille à blocs structurés AMR adaptée à la dynamique molécu-laire pour les nouvelles architectures de processeur636.1Choix d’une méthode palliant les surcoûts engendrés par une grille structurée . . .646.1.1Étude des limites de la méthode des cellules liées . . . . . . . . . . . . . . .646.1.2Rafnement de maillages adaptatifs et Dynamique Moléculaire . . . . . . .666.2Impact d’une structure basée sur le Rafnement de Maillage Adaptatif (AMR) . . . .686.2.1Conception et Développement . . . . . . . . . . . . . . . . . . . . . . . . . .686.2.2Élaboration de la structure d’un octree . . . . . . . . . . . . . . . . . . . . .706.2.3Les listes de voisins . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .786.3Étude de l’optimisation de l’utilisation des caches mémoires. . . . . . . . . . . . .806.4Étude de l’infuence des instructions vectorielles . . . . . . . . . . . . . . . . . . . .816.4.1Impact de la vectorisation sur le temps d’exécution d’une simulation . . . .826.4.2La méthode des "blocs de Verlet". . . . . . . . . . . . . . . . . . . . . . . .836.4.3Évaluation des stratégies . . . . . . . . . . . . . . . . . . . . . . . . . . . . .856.5Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .887Élaboration d’une parallélisation intra-Nœud adaptée aux architecture multicœurs 897.1Mise en place de simulations "hétérogènes et dynamiques" . . . . . . . . . . . . . .897.1.1Éjecta de matière (micro-jet) . . . . . . . . . . . . . . . . . . . . . . . . . . .907.1.2Impact d’une nano-goutte d’étain sur une surface solide (Impact) . . . . . .907.2Choix d’une parallélisation "itératives". . . . . . . . . . . . . . . . . . . . . . . . .917.2.1Parallélisation du calcul de l’énergie potentielle . . . . . . . . . . . . . . . .927.2.2Évaluation sur des cas test "homogènes et statiques". . . . . . . . . . . . .947.2.3Évaluation sur des scénarios "hétérogènes et dynamiques" . . . . . . . . . .977.3La méthode par vagues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1017.3.1Méthode par vagues combinée avec l’Amr . . . . . . . . . . . . . . . . . . . 1027.3.2Limite de la méthode par vagues. . . . . . . . . . . . . . . . . . . . . . . . 102605.1.1 定义 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4105.1.3 多块网格 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4405.1.5 自适应网格细化方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4505.3 负载均衡 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4905.3.2 图和超图的划分 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5105.4 经典分子动力学代码 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5405.4.2 LAMMPS : 一个参考软件 . . . . . . . . . . . . . . . . . . . . . . . 5805.5 结论 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61TABLE DES MATIÈRES7.3.3Choix d’une parallélisation à base de tâches : utilisation d’un graphe dedépendances tâches.. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1047.3.4Étude de la méthode par vagues . . . . . . . . . . . . . . . . . . . . . . . . . 1057.4Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1078Élaboration d’une parallélisation inter-Nœuds basée sur le partitionnement du do-maine1098.1Limites actuelles des communications Mpi dans ExaSTAMPLegacy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1098.2Mise à jour des zones fantômes pour des grilles AMR . . . . . . . . . . . . . . . . . 1108.2.1Optimisation de la mise à jour des zones fantômes. . . . . . . . . . . . . . 1118.2.2Mise en place de l’optimisation de la mises à jour des zones fantômes.. . . 1138.2.3Étude du découpage des messages Mpi. . . . . . . . . . . . . . . . . . . . . . 1148.2.4Validation et comparaisons avec les codes Lammps et ExaSTAMP legacy . . 1158.3Équilibrage dynamique de la charge pour la grille AMR . . . . . . . . . . . . . . . . 1168.3.1Grille Amr et topologie ANY. . . . . . . . . . . . . . . . . . . . . . . . . . 1178.3.2Méthode de partitionnement de domaine.. . . . . . . . . . . . . . . . . . . 12011 Annexes15111.1 Chapitre architecture Amr . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15111.2 Chapitre parallélisation Mpi. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152Liste des acronymes159708.3.3 动态和异构模拟的定性观察 . . . 12308.3.4 OpenMP并行化策略的影响研究 . . . . . . . . 12508.3.5 领域划分方法的影响研究 . . . . . . . . . . . . . 12708.3.6 使用ParMetis进行领域划分 . . . . . . . . . . . . . . . 12908.3.7 进一步研究OpenMP策略的自动搜索 . . . . . . . . . . . 13208.4 结论 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13409 生产模拟方法的验证 135 9.1 实验介绍 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13509.2 精细化标准对模拟时间的影响研究 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13609.3 节点内并行化的验证 . . . . . . . . . . . . . . . . 13909.4 领域划分方法的影响研究 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14009.5 AMR与现有技术的比较：LAMMPS . . . . . . . . . . . . . . . . . 14509.6 结论 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146010 结论和展望 147011.1.1 机器比较 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1510术语表 1570参考文献 1632IntroductionPour approfondir notre compréhension des phénomènes physiques, les chercheurs élaborent desmodèles afn d’efectuer des simulations numériques validées par des expériences. Par exempledans le domaine de la physique de la matière condensée, les chercheurs du CEA cherchent à étudierle comportement d’un liquide ou d’un solide de l’échelle macroscopique à l’échelle microscopique.Dans cette thèse, nous nous intéressons aux simulations réalisées avec la méthode de la DynamiqueMoléculaire classique (Dm) [4, 114]. Elle consiste à reproduire numériquement le déplacementd’un ensemble de particules à une échelle atomique sur quelques nanosecondes. L’objectif est decomprendre la structure interne d’un matériau sous certaines conditions (température, choc, etc)comme par exemple une plaque métallique (étain, cuivre, etc) ou un matériau organique (azote,carbone, etc). En Dm, le déplacement d’un atome est déduit des interactions entre celui-ci etl’ensemble des autres atomes. La nature des interactions dépend de nombreux facteurs comme letype des atomes.Pour réaliser des simulations de Dm, les physiciens s’appuient sur la puissance de calcul dessupercalculateurs. Celle-ci n’a cessé d’augmenter au cours des dernières décennies [111] au pointque l’ordinateur le plus puissant du monde en 1996 est moins puissant que nos téléphones portablesactuels. Cette émergence de nouveaux supercalculateurs pouvant atteindre jusqu’à des millions decœurs de calcul (10 649 600 cœurs pour le calculateur Sunway TaihuLight [57]) a permis d’étudieren dynamique moléculaire le comportement de systèmes de particules toujours plus complexes. Enefet, suite à l’évolution des supercalculateurs de ces dernières décennies, les systèmes d’atomessimulés sont passés de quelques milliers d’atomes à plusieurs dizaines de milliards d’atomes. Lesphysiciens se sont alors intéressés à l’étude de phénomènes plus complexes comme l’évolutiond’un choc dans une plaque métallique [47] ou l’impact de nano-gouttes d’étain sur une surfacesolide [148, 79]. Dans cette thèse nous nous intéresserons à l’optimisation de simulations ayant lescaractéristiques suivantes :90背景01. 原子密度极不均匀的分布;02. 原子的快速移动;03. 模拟域的大部分区域不包含原子;04. 仅涉及短程相互作用。0对于这种类型的模拟，由于原子密度的分布极不均匀，将负载分配到超级计算机的计算核心之间非常困难。La thèse est organisée en 3 parties : état de l’art, contributions et validation. Le chapitre 3 expliquebrièvement les notions importantes pour comprendre le fonctionnement des simulations de dy-namique moléculaire. Une description de l’évolution matérielle et logicielle des supercalculateursest réalisée dans le chapitre 4. Elle comprend notamment un aperçu des méthodes de parallélisa-tion actuellement utilisées par la plupart des codes scientifques. Finalement, dans le chapitre 5,nous décrivons les diférents types de maillage et notamment ceux obtenus par les méthodes derafnement de maillage adaptatif et de l’octree. Les méthodes de partitionnement géométrique ou100应用于分子动力学的超级计算机上的动态负载平衡0不平衡。因此，模拟的持续时间更长。由于执行时间过长或内存资源不足，其他类型的模拟甚至无法进行。迄今为止，负载分配的解决方案，如分区方法[29]，可以改善计算核心之间的负载平衡。然而，这些解决方案已经无法满足Cea在数万个计算核心上进行的模拟。为了有效计算短程相互作用，Dm代码使用单元格网格[5]。对于原子密度极不均匀的模拟，域的一个非常重要的区域通常不包含或只包含少量原子。在该区域创建的网格是无用的，因为没有或只有少量计算需要进行。此外，这些网格会导致存储和计算开销，因为Dm算法遍历所有网格。因此，考虑到这些网格，将计算分配到超级计算机的资源之间特别困难。0论文目标0在这篇论文中，我们提出了一种创新的Dm解决方案来解决这些效率问题。为此，我们研究了自适应网格细化方法（Amr）[17,16]在分子动力学模拟中的应用，以减少不包含影响超级计算机上电荷分布的原子的网格的额外开销。为此，我们在原子和分子时间并行模拟的ExaSTAMP代码[30,29]中开发了这种方法。该代码已经在Cea开发了6年，以在最新一代超级计算机（如Tera-1000-2）上运行，该计算机由8,256个Knls（节点）组成，约为561,408个计算核心。本论文的目标是：0• 将基于Amr的解决方案纳入Dm代码中;0• 优化Amr结构，考虑三个并行化级别：向量化、节点内和节点间;0• 开发不同的并行化策略，以在计算资源之间平均分配负载;0• 研究分区方法对模拟的影响，例如锡纳米滴对固体表面的影响;0• 在Cea的超级计算机上尽可能高效地进行生产案例。0组织110第2章 |
我的内容管理
收起
我的收益 登录查看自己的收益
我的积分
登录查看自己的积分
我的C币
登录后查看C币余额
我的收藏 
我的下载 
下载帮助 
