提出了一种可再现的计算仿真执行上下文表示模型Faïçal Yannick Palingwende刚果引用此版本：Faïçal Yannick Palingwende刚果 。提出 了一种 可再现 的计算 仿真 执行上 下文表 示模型 其他[cs.OH]。奥弗涅克莱蒙特大学[2017- 2020]，2018年。英语NNT：2018CLFAC093。电话：02363764HAL Id：tel-02363764https://theses.hal.science/tel-023637642019年11月14日提交HAL是一个多学科的开放获取档案馆，用于存放和传播科学研究文件，无论它们是否已这些文件可能来自法国或国外的教学和研究机构，或来自公共或私人研究中心。L’archive ouverte pluridisciplinaireD级。U：E D S P I C：克莱蒙特奥弗涅克莱蒙特-费朗工程师科学博士你好提交人：Faïçal Yannick Palingwendé刚果为了获得以下等级：大学博士Discipline：Informatique学科：信息模拟执行环境的再现性模型的提出Soutenue publiquement le 19 Decembre，2018 devant le jury：大卫·R·CHill马马杜Traoré亚历山大·吉顿Kérivin Hervé Invité安德鲁·戴维森Carelyn Campbell特别报告员Francesca Tavazza特别报告员D级。U：E D S P I C：克莱蒙特奥弗涅克莱蒙特-费朗工程师科学博士博士论文提交人：Faïçal Yannick Palingwendé刚果获得…的学位：计算机科学论文题目：提出了一种可再现的计算仿真执行上下文表示模型2018年12月19日在陪审团面前公开辩护：大卫·R·CHill Thesis联合导演马马杜Traoré论文联合主任亚历山大·吉顿Kérivin Hervé受邀安德鲁·戴维森Carelyn Campbell Reynolds弗朗西丝卡·塔瓦扎·雷吉纳2致我的父亲、母亲、妻子和儿子3摘要计算再现性是21世纪不可回避的概念计算机硬件的发展推动了科学界对可重复性概念的兴趣日益增长仿真专家强调，这一概念与验证、确认和确认密切相关，无论是为了研究结果的可信度还是为了建立新知识。生殖是一个非常大的领域。在数值和计算科学领域，我们的目标是确保研究数据来源和完整性的验证。此外，我们对操作系统参数，编译选项和仿真模型参数化的精确识别感兴趣，其目标是在现代计算机体系结构上获得可靠和可重复的结果。为了能够一致地复制软件，必须收集一些基本信息。其中，我们可以列举操作系统、虚拟化环境、与其版本一起使用的软件包、使用的硬件（CPU、GPU、许多核心架构，如以前的英特尔至强融核、内存等）、并行度水平以及最终的线程标识符、伪随机数生成器的状态等。在科学计算的背景下，即使很明显，由于缺乏一个共同的模型和标准来定义我们在这里所说的执行上下文，目前不可能一致地收集所有这些信息。在计算机或计算节点中运行的科学软件，无论是作为集群节点，网格集群还是超级计算机，都拥有唯一的状态和执行上下文。收集关于后者的信息必须足够完整，以便可以假设性地用于重构执行上下文，该执行上下文最多与原始执行上下文相同当然，这要考虑软件的执行环境和执行模式。我们在这段旅程中的努力可以总结为寻求一种最佳方法，既可以让科学家轻松获得真正的再现性方法，又可以提供一种能够提供严格的科学数值再现性的方法。此外，我们的旅程可以围绕三个方面展开第一个方面涉及自发的合作努力，以提高认识或实施更好地复制研究项目的方法。第二个方面集中在提供一个统一的执行上下文模型和一个机制，以联合现有的再现性工具背后的Web平台，全球范围内的访问。此外，我们调查4将第二方面的成果应用于研究项目。最后，第三个方面的重点是完成前一个方法，保证了研究结果的精确数值再现性。关键词：复制，平台，网络，工具，缓存，可重用性，集成，执行，环境。5简历信息的可复制性是21世纪无法改变的概念。计算器的物质革命表明，可再生性的概念与科学共同体的利益息息相关。对于模拟专家来说，这一概念与核查、确认和验证的核心不可分割，因为这一概念是为了使研究结果可信或建立新的认识。可再生性是一个非常重要的领域。在计算和数字领域，我们有一个附属机构，负责核实研究成果的来源和一致性另一方面，我们对精确确定开发系统的参数、编译选项以及模拟模型的参数进行了研究，这些参数渗透到现代计算架构上的可靠和可复制结果的获得。为了使一个方案能够可靠地再现各种数据，必须有一定的基础数据。On peut citer entre autres le système d'exploitation，l'acquisition de virtualisation ， les diverses librairies utilisées ainsi que leurs versions ， lesresources matérielles utilisées（CPU，GPU，accéléraquisition de calcul multi cæurs tel que leprecédent Intel Xeon Phi，Mémoires，.），在一个科学计算的背景下，即使是已知的，也不可能获得所有这些信息，这些信息都是由于缺少一个通用的标准模型而导致的。Unprogramme de simulation s'exécutant sur un ordinateur or sur un nÜud de calcul，que ce soitun nÜud de ferme de calcul（cluster），un nÜud de grill de calcul ou de supercalculateur，possède un état et un contexte d'exécution qui lui sont propres.Le contexte d'exécution doitêtre suffisamment complet pourCela ， en prenant en compte l'architecture de l'acquisitiond'exécution ainsi que le mode d'exécution du programme.我们努力在工作中促进获得可再现性方法，并找到一种实现可再现性的方法6numérique au sens strict.实际上，我们的研究主要涉及三个方面最重要的方面包括合作努力，它使人们意识到可再生性的问题，并帮助在研究项目中实施改善可再生性的方法。第二个方面侧重于研究执行环境统一的模式和支持可再生性的人力资源联合会机制，建立一个全球可访问的网络平台。另外，我们还要考虑在研究项目中应用第二个方面。最后，第三个方面侧重于一种方法，这种方法保证了研究结果的精确数字再现。Mots clés：Reproductibilité，Plateforme，Web，Outils，Enregistrement，Artéfact，Interopérabilité，Intégration，Exécution，Environnement.7致谢这段旅程不可避免地帮助我塑造了今天的我然而，这不是因为科学，如果我可以说。我很幸运，因为我是监督者，更幸运的是我被允许携带它，而我最幸运的是我得到了多少支持。David R. C.自从七年前我踏入前法国工程学院高等信息、调制和应用学院（ISIMA）以来，希尔对我来说不仅仅是一位老师。我很幸运在我的工程课程中向他学习，更幸运的是有他作为我的首席博士合作导师。他总是最新的大量知识的各个领域的科学和超越一直着迷我，永远会。我仍然博士马马杜特拉奥雷和我最近才认识，我很遗憾。我真希望我认识他更久一点。但没关系，在我最关键的时刻，他作为我的共同主管的帮助是至关重要的我将永远感激他为我所做的一切我只能希望，在他对我履行监督者的职责，结束这段旅程之后，在我即将奔赴的新旅程中，我还能有一点点他的时间。他的活力和洞察力确实非同寻常。我认为我们当中像他这样的人不多我遇到的每一个在我之前经历过这段旅程的人都没有跳过告诉我困难时期，以及获得必要的支持以保持专注于目标是多么重要但是，他们从来没有告诉我他们自己是如何度过的。感受到这些时刻的私密和敏感，我从来不敢问，但希望我会得到同样的待遇。在这里，我将分享我的，因为我认为这是值得的，但在很短的话，所以我不惯别人。我想每个人都有自己的经历。首先，家庭确实是一切，在困难时期更是如此。从我的角度来看，我的父亲，母亲和妻子都是我的支柱。在那段时间里，他们都有意识地，有时也无意识地除了我们在这次旅行之前的联系之外，我在这里用这些简短的诗句来庆祝他们。我一生的幸运是分别是前两个的儿子和最后一个的丈夫。此外，我为我的儿子Naël的到来而庆祝。所有的夜晚，没有他的陪伴，我会更加孤独。8第二，有些人没有他们，这段旅程甚至不会开始。我的雇主和美国国家标准与技术研究所（NIST）的同事让我的旅程成为任何人都能经历的最激动人心的旅程之一我真的很感谢他们给我的支持、信任和机会，我只能希望他们的努力是值得我想引用博士。CarelynCampbell博士詹姆斯·沃伦博士丹尼尔惠勒和博士。乔纳森·盖尔和我所有的朋友在CTCMS为我做的一切最后也是最重要的一点，如果没有信息、调制和优化系统学院（LIMOS）和工程师科学博士学校（EDSPI）的工作人员以及他们各自董事的卓越领导，这一旅程就不会取得成功我得到的指导和支持超出了我的预期。我对这些机构和那些使他们名声大噪的人很感兴趣。9目录摘要3简历5致谢.7目录9图13表16缩略语一览表17第1章1.1关于复制性问题的报告. 191.2论文大纲21第2章2.1三、关于佐证的当前含义. 24二、发言. 302.2动机.352.3结论. 36第三章3.1一、导言. 373.2以再现性为重点的软件概述383.2.1一般目的的生殖研究3.2.1.1文学编程40可执行文件41计算笔记本46工作流程管理3.2.1.2执行包装51执行前包装5410执行内包装56执行后包装583.2.2数字评估593.2.2.1区间算术603.2.2.2不确定性量化61随机设计61分层抽样拉丁超立方抽样62地面法623.2.3讨论633.3可再生研究平台3.3.1Web转换（T）663.3.2合作计划（C）703.3.3工作流模型（W）733.4结论.76第4章4.1一、导言. 784.2关于生物学嵌合体784.3CORR81中的执行上下文4.3.1一、导言. 814.3.2开放的方面844.3.3确证方面854.3.4版本控制方面854.3.5传播方面864.3.6摘要864.4Corr87的建筑4.4.1适应性和开放的模式87114.4.2最先进的可扩展联合架构924.4.3CoRR94中视图的主要元素工具的概念96项目97记录的概念98diff100的概念4.4.4实例管理1024.4.5主要用户功能1034.5案例研究1054.5.1示例105异或106的神经网络模型MNIST106的神经网络模型MNIST106的 Keras模型4.5.2Sumatra和CoRR1074.5.3使用Reprozip和CoRR1074.5.4使用CDE和CoRR计算1084.5.5结果1084.6CORR、工具和平台之间的互操作性实用程序1144.7结论. 119第5章5.1导言.1215.2数字高速缓存1245.2.1数学运算缓存1255.2.2Num-Cache库1275.2.3计算成本涉及1305.3用例1315.4结论13412第六章6.1导言.1376.2融合活动.1376.2.1CNRS -Sumatra6.2.2NYU- ReproZip1386.2.3MIT - CDE1386.3合作1396.3.1NIST -各种集成模拟联合自动存储库（JARVIS），使用Sumatra和CoRR139进行可6.3.2NIST -CoRR1406.3.3NIST-事实1416.3.4AFRL/NIST -集成计算环境（ICE）1426.3.5LLNL/NIST -CoRR和工具之间的开放互操作性项目1426.4结论. 143第7章7.1导言.1447.2可复制性与正确性1447.3四、独立核查1457.4非受控运行时间变化1457.5EXASCALE146时的重现性7.6结论146第8章8.1论文摘要. 1488.2对论文的贡献1508.3前景1548.3.1CoRR155的未来方向138.3.2Num-Cache155的可能性8.3.3当前和未来的总体方向156参考文献158参考书目16914图目录图2.1科学方法：科学探究预计将利用以前对《科学》的贡献，并遵循标准的调查路径，以获得令人满意的证据，从而增加新的知识........................................................................... 24图2.2 PyPi上主要python包中的依赖关系删除和添加每个包版本（x轴）的依赖关系变化（y轴）使我们能够理解其全局混沌性质..................................................................................27图2.3 10000个排列的公式1.1中的和的结果：10000个排列中的和的结果的出现清楚地表明，在乱序计算的情况下[Zitzlsberger 2014]，这个特定的和给出了0.09%的机会得到正确的结果。....................................................................................................................................................... 34图3.1可执行纸张服务器的通用架构：在查看器内部，读者可以编辑和重新计算正在呈现的任何内容的源代码................................................................................................................... 43图3.2使用Dask的计算工作流程配方和图形：该管道旨在对数据中五位数的inc和double结果相加当用生成它的配方来看时，结果图似乎不那么复杂。尽管它很复杂，但该图在视觉上详细描述了产生最终结果的调用链。................................................................................... 49图3.3三种执行包装方法的图表：这些方法可以从包装/记录过程的优先级（此处显示为红色状态）与实际执行（此处显示为绿色状态）区分............................................................... 开来53图3.4平台内和平台外工件创建机制演示：对于平台内，所有交互都包含在平台内，而对于平台外交互，可能会离开平台，以进行实验室机器运行、计算机上传或计算资源执行....................................................................................................................................................... 68图3.5非隔离和隔离协作范围：在非隔离模式下，科学家可以授予任何人访问权限，也可以拒绝所有人访问权限。相反，通过隔离模式，科学家可以允许其他人根据所需的行动级别授予特定组的访问权限，从而在人工制品上进行合作....................................................... 72图4.1三个术语的重叠含义：从英文词典中的原始含义来看，这三个术语在提到确证时存在微妙的重叠含义....................................................................................................................... 79图4. 2应用于CoRR的MDE推理：它包含基于三层的过渡，我们通过构建CoRR模型从元模型下降到一些实现。 任何绿色的项目都是可选的，不是必需的。 但是，属性和15红色的关系是必填项。例如，文件可能根本不存在于表示中。但是，如果它存在，则必须以强制方式由表示引用，或者以可选方式由协作引用。紫色是新的项目，可以容纳....... 83图4.3三组组件的CoRR模型：平台分析组件允许在平台上存储三种不同的统计数据平台的社交功能集中在处理用户信息的组件上。第三组包含平台................................................... 90图4.4 CoRR它还显示了两个入口点（API，FRONTEND）和科学家可用的操作。这取决于他们访问CoRR的方式。...................................................................................................................94图4.5CoRR前端.............................................................................................................................图4.6CoRR前端............................................................................................................................. 中 项目对象的可视化表示98图4.7CoRR前端.............................................................................................................................图4.8CoRR前端........................................................................................................................... 102图4.9 CoRR 0.1版主页：CoRR实例的主页它显示了平台的主要功能、支持的工具列表以及关于其使用情况的统计数据..................................................................................................... 104图4.10项目NN-MNIST的差异页：下图显示了NN-MNIST记录生成的六个差异。使用三种工具中的每一种完成的三个初始记录在这些差异中相互比较，并与类似项目Keras-MNIST的差异进行比较。我们显示了两个差异中涉及的记录。在左上角的第一个diff中，创建了一个重复的diff，表示Sumatra或CDE的相同计算记录是重复的。在右下角的第二个diff中，创建了一个复制diff，以证明尽管CDE是两个记录中使用的相同工具，但引用了两个不同的实现（NN-MNIST和Keras-MNIST），它们旨在解决相同的问题，这意味着获得相同的结果..................................................................................................................................................... 113图4.11使用CoRR......................................................................................................................... 114的图4.12捕获三种表示类型的状态机：这些状态机中的每一个显示处理每种类型的计算表示记录的综合方式......................................................................................................................... 115图5.1 Num-Cache功能架构：数学运算调用首先通过库，该库在CPU................................. 124的实际计算之后生成缓存条目16图5.2计算缓存的生成：在一个包含5个计算的示例中进行了演示............................................17表的列表表3.1支持科学结果...................................................................................................................... 通用再现性的软件39表3.2比较三种伪影结构..............................................................................................................的定性标准64表3.3工件结构和实现方法..........................................................................................................的表3.4可复制的研究网络平台......................................................................................................76表4.1三种类型的上下文表示模式..............................................................................................的特征值84表4.2 CoRR特征如何分辨P1、P 2和P3......................................................................................................................................表4.3集成比较结果 *109表4.4 Sumatra、ReproZip和CDE记录处理................................................................................表4.5 ReproZip和CDE..................................................................................................................之间的互操作性映射规范117表5.1四个核心数学运算符........................................................................................................表5.2可以评估“a+b+c”的两种方式...........................................................................................表5.3（a+b）+c和a+（b+c）.....................................................................................................的计算缓存条目129表5.4计算缓存条目内容............................................................................................................130表5.5计算缓存条目内容............................................................................................................130表5.6每个操作的两个计算步骤的签名因式............................................................................分解13118缩略语表空军研究实验室ANN人工神经网络应用程序编程接口AWS亚马逊网络服务CHiMaD分层材料设计中心CPU中央处理器DevOps开发和运营DFT密度泛函理论EDSPI工程学博士学校用于吸附剂表征和测试FF力场的FACT设施GPU图形处理单元HTTP超文本传输协议ICE综合计算环境针对各种集成仿真的JARVIS联合自动存储库JSON JavaScriptObjection Notation劳伦斯利弗莫尔国家实验室LAMMPS大规模原子/分子并行模拟器MATIN MATERIALS创新网络美国国家标准与技术研究所材料研究学会NIST国家标准与技术
我的内容管理
展开
