没有合适的资源?快使用搜索试试~ 我知道了~
软件X 12(2020)100561原始软件出版物ADIOS2:适应性输入输出系统。高性能数据管理框架William F. Godoya,Riman,Norbert Podhorszkia,Ruonan Wanga,ChuckAtkinsb,Greg Eisenhauerc,Junmin Gud,Philip Davise,Jong Choia,KaiGermaschewskif,Kevin Huckg,Axel Hueblh,Mark Kima,James Kressa,Tahsin Kurci,Qing Liuj,Jeremy Logana,Kshitij Mehtaa,George Ostrouchova,Manish Parashare,Franz Poeschelh,David Pugmirea,Eric Suchytaa,Keichi Takahashia,Nick Thompsona,Seiji Tsutsumik,万立鹏a,马修·沃尔夫a,吴克胜d,斯科特·克拉斯基aa橡树岭国家实验室,美国田纳西州橡树岭b Kitware Inc.,关闭NY,USAc美国佐治亚州亚特兰大市佐治亚理工学院计算机科学学院d美国加利福尼亚州伯克利劳伦斯伯克利国家实验室美国新泽西州新不伦瑞克罗格斯大学计算机科学系f美国新罕布什尔州达勒姆市新罕布什尔大学空间科学中心和物理系美国俄勒冈大学Helmholtz-Zentrum Dresden - Rossendorf,德累斯顿,德国i美国纽约石溪大学生物医学信息学系美国新泽西州纽瓦克市新泽西理工学院电气与计算机工程系k日本神奈川相模原市日本宇宙航空研究开发机构ar t i cl e i nf o文章历史记录:收到2019年8月1日收到修订版,2020年4月24日接受,2020年保留字:高性能计算(HPC)可扩展I/OLuster GPFS文件系统分段RDMA数据科学百万兆级计算a b st ra ct我们介绍ADIOS 2,最新版本的自适应输入输出(I/O)系统。ADIOS 2解决了从超级计算机中的可扩展I/O到数据分析的科学数据管理需求在个人电脑和云系统中。版本2引入了统一的应用程序编程接口(API),可通过文件、广域网和直接内存访问实现无缝数据移动,以及用于数据分析的高级API。内部体系结构提供了一组可重用和可扩展的组件,用于管理新应用程序的数据表示和传输机制。ADIOS 2绑定在C++ 11、C、Fortran、Python和Matlab中可用,目前在不同的科学社区中使用。ADIOS 2提供了一个公共框架,以应对我们接近超级计算时代的数据管理挑战©2020作者由爱思唯尔公司出版这是CC BY许可下的开放获取文章(http://creativecommons.org/licenses/by/4.0/)中找到。代码元数据当前代码版本v2.6.0用于此代码版本的代码/存储库的永久链接https://github.com/ElsevierSoftwareX/SOFTX_2019_252法律代码许可证Apache许可证,2. 0(Apache-2. 0)使用git的代码版本控制系统使用C++、C、Fortran、Python、Matlab、MPI、CMake的软件代码语言、工具和服务编译要求,操作环境CMake,C++ 11编译器,Linux,OS X,Microsoft Windows 64位如果可用,链接到开发人员文档/手册https://adios2.readthedocs.io问题支持电子邮件godoywf@ornl.gov,pnorbert@ornl.gov,klasky@ornl.gov*通讯作者。电子邮件地址:godoywf@ornl.govW.F. Godoy)。https://doi.org/10.1016/j.softx.2020.1005612352-7110/©2020作者。 由Elsevier B.V.出版。这是一篇开放获取的文章,使用CC BY许可证(http://creativecommons.org/licenses/by/4.0/)。可在ScienceDirect上获得目录列表SoftwareX期刊主页:www.elsevier.com/locate/softx2W.F. Godoy,N.波德霍尔斯基河Wang等人粤公网安备44010502000011号1. 动机和意义随着超级计算机接近亿亿次时代[1],出现了几种硬件架构[2,3]来抵消摩尔定律[4,5]的节奏放缓由于能够运行更大和更复杂的模拟,预计数据输入输出(I/O)操作将成为比当前千万亿次系统更大的瓶颈[6,7]。为了规避I/O僵尸网络,供应商和领导机构正在提出新的高带宽/低延迟存储器、通信和存储架构[1,8]。实现包括通过Infiniband [9],Omni-Path [10]和NVLink [11]的直接存储器访问,以及使用非易失性随机存取存储器(NVRAM)的中间存储[12]。因此,迫切需要研究每个新的范例,以实现最佳的I/O性能,而不必为每个平台重写代码库[7]。大规模科学数据管理在数据生成、传输、存储和处理阶段具有挑战性。如示于图1、数据生命周期需要跨不同传输介质(文件、广域网(WAN)和内存分段区域)进行有效的数据移动。有几种软件工具可以处理数据生命周期的各个方面。例如,HDF5 [13]和NetCDF [14]库已广泛用于存储和组织大型数据集。它们的并行实现,并行HDF5 [13]和PNetCDF [15],基于标准消息传递接口MPI [16]将其功能暴露给并行计算环境。在较低的级别上,MPI-2标准引入了MPI I/O API,用于并行应用程序中的原始字节文件操作,一种流行的实现是ROMIO [17]。另一方面,进程间/进程内网络传输机制由完善的实现提供:MPI标准[16],ZeroMQ [18],OpenSH-MEM [19]。因此,对于每种特定的数据传输机制,都有大量的接口选项和通信模型。本文介绍了ADIOS 2:Adaptable Input Output System version2,该框架旨在满足科学界在以下几个尺度上的数据管理需求:从笔记本电脑、台式机、云服务到超级计算应用中的大型数据生产者。ADIOS 2扩展了ADIOS早期版本的性能遗产,提供了可扩展的并行I/O,如以前的作品[20ADIOS 2提供了统一的应用程序编程接口(API),其抽象级别侧重于科学应用程序中数据的产生和使用方式,以降低集成不同数据传输技术的成本。使用ADIOS 2的应用程序在通过不同的传输介质移动数据时,不需要大幅修改源代码来评估性能权衡。由于动态的架构变化塑造了通往exascale计算的道路,因此需要一个灵活且可移植的框架[2,3]。因此,ADIOS 2的内部架构侧重于组件的可重用性和可扩展性,以实现新数据管理算法的无缝集成。ADIOS 2是用C ++11编写的[24],以利用添加到语言中的可移植功能,例如。 线程和算法,从而减少对特定于平台的实现的依赖。ADIOS 2开发采用现代软件工程实践,如单元测试、持续集成和文档编制,科学界可获得的最终产品。ADIOS 2 是美 国能 源部 ( DOE ) Exascale Computing Project(ECP)数据和可视化软件技术堆栈的一部分[1,2]。2. 软件描述在设计ADIOS 2软件基础设施时,确定了三个交互API级别:1. 公共低级API:大规模HPC模拟代码、工作流和生态系统组件2. 公共高级API:使用数据科学高级语言框架进行3. 私有API:ADIOS 2库内部组件。设计理念针对特定方面,以更好地服务于与每个API级别的交互。理由如下所列公共底层API:统一API:减少不同数据传输策略基于MPI [16]的库(可选非MPI):降低处理低级I/O相关网络任务的成本自描述‘‘Engine’’ abstraction: to allow multiple I/O solutions (file,stream,“BeginStep/EndStep”抽象:匹配科学数据更自然的生产和消费周期。用户不需要跟踪‘‘Operation’’ abstraction: incorporate novel in-house or ex-ternal algorithms for data manipulation pre or post move-ment:键/值优化:提供微调选项,以评估不同应用场景的I/O性能权衡公共高级API:平坦的学习曲线:类似于原生I/O,易于与高级语言及其数据分析生态系统集成,主要是C++,Python,Matlab输入设置:为参数无需编译的生态系统:围绕库构建的分析工具(例如bpl、格式转换器、数据可视化模型)。私有API,开发工具包:在模块化架构现代软件实践:质量测试的自动化持续集成(CI)、编码标准、社区参与的问题2.1. 软件构架2.1.1. 公共API架构ADIOS 2公共接口是使用实现指针(PImpl)实现的。从2.5.0版开始,ADIOS 2在两个级别上提供了稳定的公共API低级API:专为HPC应用程序设计,提供更高级别的控制和粒度。在C++ 11、Fortran、C和Python中可用。高级API:专为简单的数据分析任务而设计,重新整合了本机语言I/O API,以实现平坦的学习曲线。在C++ 11,Python和Matlab中可用。···············W.F. Godoy,N.波德霍尔斯基河Wang等人粤公网安备44010502000011号3Fig. 1. 科 学 数据生命周期数据管理概述,说明生成、处理、传输、存储和分析任务。ADIOS 2提供了一个抽象和统一的框架,将相同的API重用于不同的传输模式。示意图见图11。从应用程序的角度来看,底层API组件及其关系.ADIOS 2使用ADIOS组件位于工厂层次结构的顶层。ADIOS是应用程序“拥有”的唯一组件,所有其他组件都引用其相应ADIOS工厂中容器内的元素。应用程序可以根据需要创建任意数量的ADIOS工厂组件。表1提供了使用ADIOS 2的I/O工作流组合中每个组件的作用的汇总描述。ADIOS 2还提供C++ 11、Python和Matlab的高级API,类似于它们的本地语言实现,文件操作,以便与这些语言中可用的数据分析生态系统轻松集成。用户会发现这些API适用于性能不重要的简单任务,例如快速数据分析和测试。公共低级和高级API的示例可以分别在第3节的清单1和清单22.1.2. 私有API架构ADIOS 2内部体系结构的主要目标是为开发人员提供一组可扩展、可重用和经过测试的工具包组件。ADIOS 2的私有内部架构采用开放系统互连(OSI)标准[33]。这个分层抽象模型描述了面向对象的体系结构。如图3所示,每个工具包组件可以映射到OSI软件层7到4。ADIOS 2的核心是抽象的“引擎”概念。引擎执行I/O繁重的任务,作为处理特定应用领域的工作流,如表2所示。图4示出了图1的可扩展的面向对象的性质。表1底层API组件功能描述。构件描述设置MPI通信器域进程配置运行时设置IO和Operator组件的工厂仅内存由应用程序拥有的对象IO I/O任务配置:方式、内容、位置设置引擎参数和传输变量、属性和引擎的工厂所有者可变用户数据和元数据表示属性变量或数据集的其他引擎(抽象)执行繁重的任务:缓冲、传输管理管理系统资源当前:BPFile(默认)、HDF 5、InSitu-MPI、SST、DataMan(WAN)、SST操作符(抽象)-引擎中的变量数据操作数据简化,有损:zfp [27],SZ [28],MGARD [29];无损:PNG [30],bzip2 [31],pwc [32]回调函数引擎(第7层到第4层)和传输(第4层)类。它们为多个原始字节移动后端提供统一的接口,处理OSI模型较低硬件层中的不同介质有利于可重用性的设计选择允许引擎设计人员在原型设计或扩展引擎时使用一组可用组件来研究其性能权衡。作为示例,图3中的OSI层6(BP3和BP4)的BP串行化器和反串行化器组件用于两个分级引擎:InSituMPI和SST,并且默认用于BPFile引擎,因为它们的4W.F. Godoy,N.波德霍尔斯基河Wang等人粤公网安备44010502000011号图二、ADIOS 2中完整的低级API组件工厂层次结构。图3.第三章。 将ADIOS 2内部软件架构层映 射 到标准OSI模型[33]抽象。元数据索引、跨MPI进程的缓冲区聚合以及数据压缩功能。2.2. 软件功能ADIOS 2在数据I/O传输方面有两个主要关注领域:1. 并行文件I/O2. 并行进程内/进程间数据暂存ADIOS 2的功能可以直接映射到每个引擎所处理的用例类别。表2总结了当前可用引擎的这些功能。此外,每个引擎都提供了一组参数来微调每个应用程序I/O模式的性能。例如,当前的默认引擎(BPFile)允许设置性能参数:缓冲的步骤数、生成的子文件数和集体元数据索引的频率。表2ADIOS 2引擎和应用领域应用发动机应用领域文件BPFile检查点/重启,分析数据,零拷贝缓冲区,基于文件的流,代码耦合HDF5HDF5兼容文件数据分级SST进程间通信SSC进程间通信InSituMPI节点上进程间通信DataMan对等TCP/IP广域网(WAN)3. 说明性实例以下示例说明了低级和高级API的用法。W.F. Godoy,N.波德霍尔斯基河Wang等人粤公网安备44010502000011号5见图4。 ADIOS 2引擎和传输工具包内部抽象类,显示其层次结构和可扩展的虚拟接口,以分发到多个介质:文件、套接字、共享内存等。清单1说明了ADIOS 2 C++ 11低级API如何与通用HPC模拟集成。该示例显示了ADIOS、IO、Variable和Engine组件的一系列交互。一个基本的方面是,ADIOS 2接口在设置引擎类型和参数时需要最小的更改,因此用户可以在编译或运行时评估不同的传输模式。清单1: C++ 11低级API编写示例清 单 2 演 示 了 如 何 使 用 Python 高 级 API 读 取 ADIOS 2 数 据 。ADIOS 2 提 供 了 一 个 使 用 通 用 “read " 函 数 的 步 骤 可 迭 代 容 器的”pythonic"接口。因此,变量数据总是作为numpy [34]数组返回,//ADIOS2设置点//config. xml:存储用于第2个实时备份的文件夹//comm:IOcommunicatoradios2::ADIOSadios(“config. xml“,comm);//设置I操作的时间间隔//“analys is“是将所有IO数据存储在2::IOio=adios中的统一数据结构。DeclareIO(“analysis“);//将人类可读的信息添加到数据我是奥。 DefineAttribtestd::string>(“app“,“EulerSolver“);//在“x“slowestdimension中重新定义MPIpartion计 算 器 2:: Dimshape={size*Nx , Ny};计算器 2::Dimshape={rize*Nx, Ny};计 算器2::Dimshape={Nx,//Self-describingVariablemetata:name,type,dimensinsAdios2::VariableVarT=我是奥。DefineVariabledoublele>(“T“,shape,start,count};Adios2::VariablevarUx=我是奥。DefineVariabledoublele>(“Ux“,shape,start,count};adios2::Variabledoublele >varUy=我是奥。 DefineVariabledoublele>(“Uy“,shape,start,count};//可以随时进行操作,并且可以将数据存储在数据库中我是奥。 DefineAttribtestd::string>(“unitss“,“K“,“T“);//设置E的类型和参数//在API中进行修改需要的关键选择//如果需要,请使用默认的方法。//SetEngineanddSetParametercannalsobesetatruntimee//在ADIO存储器中使用文件//如果数据类型为默认类型,则执行以下操作://文件:BPFile(default),BP3,BP4,HDF5//memory-tom-memory:IinSituMPI,Dataman,SST,SSCio. SetEngine(“BPFile“);//setparameterinkey/valuestringform//e. G. 生成子文件,该子文件包含多个MPI预处理器。SetParametr(“SubStrems“,std::to_string(size/2));//creatanEngineusinganiquetring//保存具有灵活性的写入I/O任务adios2::Enginengine=io.Open(“euler. bp“,adios2::Mde::Wri te);while(it){//genericccomutat ion,e. G. 我是一个伟大的人//T,Ux,Uy是一个向量,它可以是doubl e le >computte(T,Ux,Uy);//startanI/Ostep我的意思是。intn=intn();//Putaredefred/lazyevaluationcallllsbydefaut//T、Ux、Uy、mmmory和dress不能被修改为untilEn t e p eng i n e。Put(varT,T. a);我的意思是。P u t(v a r U x,U x.a);我的意思是。Put(varUy,Uy. a);//E和Stepexetet我的意思是。intn=nums();//T,Ux,Uymemory不能是任何模式...}欧intn=nums();6W.F. Godoy,N.波德霍尔斯基河Wang等人粤公网安备44010502000011号与流行的数据科学框架直接集成-使用numpy作为核心组件,例如Pandas [35]和SciPy [36]。清单2: Python高级API阅读示例importadios22.有一个我。open(“euler. bp“,“r“)asfh:对于fh中的fstep:#检索电流step step =fstep。current_step()#检查当前步骤中的变量字典step_vars =fstep。available_variables()对我来说,这是一个很好的机会。items():print(“variable_namme:“+namme)fororkey,valueininfo. items():print(“\t“+ key +“:“+ value)print(“\n“)if(step ==0)的情况:尺寸输入=fh_step.read(“size“)#阅读变量在当前步骤#返回一个numpy易于集成#whithdatascienceframeworks(e. G. (pandas,scipy)#阅读的整个变量T =fstep.read(“T“)#oroptionallyreadawindowselectionUx=fstep.read(“Ux“,start,count)4. 影响以下是目前在将ADIOS 2整合到几个科学计算框架中所做的努力及其对数据管理需求的影响的摘要4.1. 等离子体物理– XGC:包含X点的回旋动力学代码(XGC)是一个模拟回旋动力学等离子体物理的聚变模拟代码[39,40]。ADIOS已被集成,以处理其在DOE超级计算机(包括Summit [ 8 ])上的大规模I/O操作各种研究工作[ 41 - 44 ]中已经报告了使用ADIOS的聚集、分段和NVRAM/突发缓冲器支持的性能增益这示于图Summit GPFS和NVMe I/O系统上XGC检查点重启的写入性能吞吐量为5– GTC:Gyrokinetic Toroidal Code(GTC)[45]模拟了聚变反应堆内数十亿的等离子体粒子。GTC的输出包括小的、频繁的诊断数据(低容量、高速度数据)、大尺寸的现场数据(高频率、中等容量数据)和检查点重启文件(低频率、高容量数据)。GTC使用ADIOS 2:(1) 优化数据文件输出,(2)使用其Python高级接口分析诊断数据,以及(3)作为可视化场和粒子数据的输入[46]。– PIConGPU:相对论性的,完全加速的,电磁粒子在细胞中的代码,主要应用于等离子体物理和激光粒子加速。PICon-GPU [47,48]是基于Alpaka库[49,50]用性能可移植的C++编写的,并受益于ADIOS的聚合和数据压缩方法。最近通过openPMD项目[51]添加了ADIOS 2 SST分级方法,为网格化场和粒子数据提供了高级抽象。目标用例是通过Summit超级计算机上的节点上和节点外缓冲(例如,通过NVRAM/突发缓冲区),利用每次模拟的PB数据进行松散耦合的原位还原的快速原型化[8]。4.2. 地球科学– E3 SM :ADIOS 2 集成到并行IO框架(PIO)中,作为Energy Exascale 3D 系统 模型 [52]中 I/O 的后 端。 目前 ,ADIOS通过延迟像Titan这样的极端规模超级计算机目前正在努力将此功能移植到Summit超级计算机[8]。– SPECFEM3D :ADIOS 2正在集成到谱元全球地震波传播、SPECFEM3D_ GLOBE、框架运行1,480次地震模拟,在大约7小时内在泰坦超级计算机的15,360个节点上获得1.5PB的波场数据伴随模拟稍后读入所有生成的数据。ADIOS 2允许在这些尺度上进行有效的数据传输和自描述机制。4.3. 射电天文–世界上ADIOS 2目前正在深入集成到基础射电天文学数据Casacore Table Data System [54]中。早期的探索性工作表明,他们的I/O工作流(如数据分级和近实时数据压缩)的性能有所提高[23,55,56]。4.4. 航天工程-UPACS-LESADIOS 2的灵活性对于JAXA超级计算机系统第二代(JSS 2)系统上的后处理任务图图6显示了JSS 2的异构特性和后处理管道工作流的示意图,使用ADIOS 2中的SST分段引擎,绕过文件系统。4.5. 社区框架参与目前正在努力将ADIOS 2集成到以下社区框架中,以影响其数据管理和可扩展I/O需求:LAMMPS:分子动力学模拟器[57] MFEM:模块化有限元方法库[58] OpenFoam:开源CFD工具箱[59]VTK和VTK-m:可视化工具包[60,61] Trilinos项目[62]PETSc:科学计算的便携式可扩展工具包[63]。·····W.F. Godoy,N.波德霍尔斯基河Wang等人粤公网安备44010502000011号7图五. 在Summit超级计算机上使用ADIOS 2编写XGC检查点。ADIOS 2BPFile引擎允许使用优化参数进行可扩展的并行文件I/O(i)在写入时跳过集合元数据,nometa,(在运行后重新生成),(ii)选择比MPI进程的数量少的自定义数量的文件见图6。 JAXA的JSS 2系统概述[37]和使用UPACS-LES CFD框架中ADIOS 2中的分段功能的运输可视化工作流程布局[38]。8W.F. Godoy,N.波德霍尔斯基河Wang等人粤公网安备44010502000011号5. 结论ADIOS 2服务于科学界的数据传输、转换和存储需求。通过提供统一的API,ADIOS 2使科学界能够在需要时随时随地专注于发布和订阅数据,而无需处理过多或低级的I/O接口。ADIOS 2的目标是提供面向下一代百亿亿次超级计算机的可扩展并行I/O功能,以及用于数据分析的高级机制。ADIOS 2已被多个高性能科学计算框架采用。本文向更广泛的受众介绍了ADIOS 2开源框架,这些受众希望探索满足其数据管理需求的新模式竞合利益作者声明,他们没有已知的竞争性财务利益或个人关系,可能会影响本文报告的工作致谢这项研究得到了Exascale计算项目(17-SC-20-SC)的支持,该项目是美国能源部科学办公室和国家核安全管理局的合作项目。这项研究使用了橡树岭国家实验室橡树岭领导力计算设施的资源,该设施由美国能源部科学办公室根据合同号2009年12月25日支持。DE-AC05-00OR22725。引用[1] Kothe D,Lee S,Qualters I.美国的Exascale Computing计算机科学工程2018.http://dx.doi.org/10.1109/MCSE.2018.2875366,1[2]美国能源部百万亿次计算项目。网址https://www.exascaleproject.org/网站。[3]Vazhkudai SS,de Supinski BR,Bland AS,Geist A,Sexton J,Kahle J等人,CORAL pre-exascale系统的设计、部署和评价。高性能计算、网络、存储和分析国际会议论文集。Piscataway,NJ,USA:IEEEPress; 2018,p.52:1-12.[4] Moore GE.把更多的元件塞进集成电路。电子学 1965;38(8): 114-7.http://dx.doi.org/10.1109/jproc.1998.658762网站。[5]埃克豪特湖摩尔定律正在放缓吗?接下来呢?IEEE Micro 2017;37(4):4-5.http://dx.doi.org/10.1109/MM.2017.3211123网站。[6]Lang S,Carns P,Latham R,Ross R,Harms K,Allcock W.领先规模的I/O性能挑战。在:会议的高性能计算网络,存储和分析。2009年,第1-12页。http://dx.doi.org/10.1145/1654059.1654100网站。[7]Klasky S,Wolf M,Ainsworth M,Atkins C,Choi J,Eisenhauer G,et al.A view from ORNL : Scientific data research opportunities in the big dataage. 2018年IEEE第38届分布式计算系统国际会议。2018年,第1357- 1368页。http://dx.doi.org/10.1109/ICDCS.2018.00136网站。[8]橡 树 岭 领导 计 算 设 施 。顶 尖 超 级 计算 机 。 网 址https://www.olcf.ornl.gov/summit/。[9]刘J,吴J,熊猫DK.在InfiniBand上实现基于RDMA的高性能MPIInt J ParallelProgram 2004;32 ( 3 ) : 167-98. http://dx.doi 的 网 站 。 org/10.1023/B :IJPP.0000029272.69895.c1。[10]Birrittella MS,Debbage M,Huggahalli R,Kunz J,Lovett T,Rimmer T,et利用英特尔全路径架构实现可扩展的高性能系统。IEEE Micro 2016;36(4):38-47. http://dx.doi.org/10.1109/MM的网站。2016.58。[11]FoleyD , DanskinJ.Ultra-performancepascalGPUandNVLinkinterconnect.IEEEMicro2017;37(2):7-17.http://dx.doi.org/10.1109/MM.2017.37网站。[12]Liu N,Cope J,Carns P,Carothers C,Ross R,Grider G,et al.突发缓冲区在领导级存储系统。012 IEEE第28届大容量存储系统和技术研讨会。2012年,第1-11页。http://dx.doi.org/10.1109/MSST.2012.6232369网站。[13]HDF 集 团 。 分 层 数 据 格 式 , 版 本 5 。 1997 , http : //www.hdfgroup.org/HDF5/网站。[14]Rew R, Davis G.NetCDF : 科学 数 据访 问接 口 IEEE Comput Graph Appl1990;10(4):76http://dx.doi.org/10.1109/38.56302网站。[15]Li J , Liao W-k , Choudhary A , Ross R , Thakur R , Gropp W , et al.Parallel netCDF : A high-performance scientific I/O interface. 2003 年ACM/IEEE超级计算会议论文集。New York,NY,USA:ACM; 2003,p. 39.http://dx.doi.org/10.1145/1048935.1050189网站。[16]论坛MP。MPI:消息传递接口标准。Tech.代表,Knoxville,TN,USA:University of Tennessee; 1994.[17]张文龙,王文龙,王文龙. ROMIO用户指南:高性能、便携式MPI-IO实现。1997,http://dx.doi.org/10.2172/564273。[18]阿克古尔湾ZeroMQ 出版社:Packt Publishing; 2013.[19]Chapman B,Curtis T,Pophale S,Poole S,Kuehn J,Koelbel C,et al.Intro-ducing OpenSHMEM:SHMEM for the PGAS community.第四届分区全局地址空间编程模型会议论文集。New York,NY,USA:ACM; 2010,p.2:1-3. http://dx.doi.org/10.1145/2020373.[20]Liu Q,Logan J,Tian Y,Abbasi H,Podhorszki N,Choi JY,et al. HelloADIOS : the challenges and lessons of developing leadership class I/Oframeworks. Concurr Comput : PractExper 2014;26 ( 7 ) : 1453-73 。http://dx.doi.org/10的网站。1002/cpe.3125。[21]张文辉,张文辉.通过自适应IO系统(ADIOS)实现科学代码的灵活IO和集成。第六届分布式环境中大型应用程序挑战国际研讨会论文集。New York,NY,USA:ACM; 2008,p. 15-24. http://dx.doi.org/10.1145/1383529.1383533网站。[22]Chen JH,Choudhary A,de Supinski B,DeVries M,Hawkes ER,KlaskyS , etal. Terascale direct numerical simulation of turbulent combustionusingS3D. Comput Sci Discov2009;2(1):015001.[23]放大图片作者:Wang R,Harris C,Wicenec A. AdiosStMan:使用自适应IO 系 统 实 现 casacore 表 数 据 系 统 。 Astron Comput 2016;16 : 146-54.http://dx.doi.org/10.1016/j.ascom.2016.05.003网站。[24]斯特劳斯特鲁普湾C++编程语言。第4版,Addison-WesleyProfessional;2013年。[25]萨特·H卓越的C++:47个工程难题,编程问题和解决方案。美国马萨诸塞州波士顿:Addison-Wesley Longman出版公司,公司; 两千[26]Gamma E,Helm R,Johnson R,Vlissides J.设计模式:可重用面向对象软件的元素。美国马萨诸塞州波士顿:Addison-WesleyLongman出版公司,公司;一九九五年[27]Lindstrom P. Fixed-rate compressed floating-point arrays. IEEE Trans VisComput Graphics 2014;20(12 ):2674-83. http://dx.doi.org/10.1109/TVCG的网站。2014.2346458。[28]Di S,Cappello F.使用SZ的快速错误有界有损HPC数据压缩。2016年IEEE国际 并 行 与 分 布 式 处 理 研 讨 会 。 2016 年 , 第 730-9 页 。http://dx.doi.org/10.1109/IPDPS.2016.11网站。[29] Ainsworth M,Tugluk O,Whitney B,Klasky S. 科学数据压缩和简化的多级技术:多变量情况。SIAM J Sci Comput 2019;41(2):A1278-303.http://dx.doi.org/10.1137/www.example.com[30]Schalnat G,Dilger A,Randers-Pehrson G,et al.便携式网络图形(PNG)参考库。1996年,URLhttp://www.libpng.org/。[31]苏厄德·Jbzip2. 1996年,URLhttp://www.bzip.org/。[32]阿尔特德湾 一个非常快的、多线程的元压缩库- cnc主页面。2010年,URLhttp://www.blosc.org。[33] 齐默尔曼·H OSI参考模型-开放系统互连体系结构的ISO模型。IEEE TransCommun1980;28(4):425-32.http://dx.doi.org/10.1109/TCOM.1980.1094702网站。[34]奥 列 芬 特 NumPy : NumPy 指 南 。 美 国 : Trelgol Publishing; 2006 年 ,URLhttp://www.numpy.org/。[35]麦金尼W Python中统计计算的数据结构。In:van der Walt S,Millman J.第九届Python in Science会议论文集2010年,p. 51比6[36]Virtanen P , Gommers R , Oliphant TE , Haberland M , Reddy T ,Cournapeau D,et al. SciPy 1.02019年,arXiv电子打印arXiv:1907.10121。[37]日 本 宇 宙 航 空 研 究 开 发 机 构 。 JSS2 : JAXA 超 级 计 算 机 系 统 代 。 网 址https://www.jss.jaxa.jp/en/。[38]杨文,王文.通用CFD平台UPACS。高性能计算:第三届国际研讨会。2000年,第182- 190页。http://dx.doi.org/10.1007/3-540-39999-2网站。[39]张春生,顾世胜.静止托卡马克边缘等离子体中的自发旋转源。物理等离子体200
下载后可阅读完整内容,剩余1页未读,立即下载
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![](https://profile-avatar.csdnimg.cn/default.jpg!1)
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
我的内容管理 收起
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
会员权益专享
最新资源
- 保险服务门店新年工作计划PPT.pptx
- 车辆安全工作计划PPT.pptx
- ipqc工作总结PPT.pptx
- 车间员工上半年工作总结PPT.pptx
- 保险公司员工的工作总结PPT.pptx
- 报价工作总结PPT.pptx
- 冲压车间实习工作总结PPT.pptx
- ktv周工作总结PPT.pptx
- 保育院总务工作计划PPT.pptx
- xx年度现代教育技术工作总结PPT.pptx
- 出纳的年终总结PPT.pptx
- 贝贝班班级工作计划PPT.pptx
- 变电值班员技术个人工作总结PPT.pptx
- 大学生读书活动策划书PPT.pptx
- 财务出纳月工作总结PPT.pptx
- 大学生“三支一扶”服务期满工作总结(2)PPT.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)