非绝热量子分子动力学模拟软件QXMD的开发与应用

软件X 10（2019）100307原始软件出版物QXMD：非绝热量子分子动力学的开源程序Fuyuki Shimojoa，Shogo Fukushimaa，Hiroyuki Kumazoea，Masaaki Misawab，Satoshi Ohmurac，Pankaj Rajakd，Kohei Shimamurae，Lindsay Bassman Oftelief，作者：Subodh Tiwarif，Rajiv K.Kaliaf，Aiichiro Nakanof，Rimi，Priya Vashishtafa日本熊本860-8555熊本大学物理系b九州产业大学理工学院，福冈813-8503，日本c日本广岛工业大学凝聚态物理研究中心，广岛731-5193d领导计算设施，阿贡国家实验室，阿贡，IL 60439，美国神户大学系统信息学研究生院，神户657-8501，日本f美国南加州大学洛杉矶分校高级计算和模拟合作实验室，邮编：90089-0242ar t i cl e i nf o文章历史记录：收到2019年收到修订版2019年6月29日接受2019年保留字：非绝热量子分子动力学实践培训a b st ra ctQXMD是一个可扩展的并行程序，用于各种扩展的量子分子动力学模拟。它的模拟引擎是基于（时间相关的）密度泛函理论，使用赝势和平面波基组，而扩展包括非绝热电子核动力学和多尺度冲击技术。QXMD是新方法和算法的社区开发平台，高端并行超级计算机的研究平台，以及实践培训的教育平台。©2019作者由爱思唯尔公司出版这是CC BY-NC-ND下的开放获取文章许可证（http://creativecommons.org/licenses/by-nc-nd/4.0/）。代码元数据当前代码版本V3.2此代码版本使用的代码/存储库的永久链接https://github.com/ElsevierSoftwareX/SOFTX_2019_49代码海洋计算胶囊https://codeocean.com/capsule/691377f8-8b90-4571-8098-1f 0 f8887 e4 a8/树？ID=558be63ff8ff48d19859829a73a41f74法律代码许可证GNU AGPLv3使用git的代码版本控制系统使用的软件代码语言、工具和服务包括Fortran 2003、MPI、FFT编译要求、操作环境依赖性如果可用，链接到开发人员文档/手册https://usccacs.github.io/QXMD/index.html问题支持电子邮件cacs@usc.edu1. 动机和意义量子分子动力学（QMD）是研究材料动力学行为的一种广泛使用的模拟方法[1QMD遵循系统中每个原子的轨迹，同时以量子力学的方式计算系统中原子间的力。*通讯作者。电子邮件地址：anakano@usc.edu（A. Nakano）。https://doi.org/10.1016/j.softx.2019.100307密 度 泛 函 理 论 （ DFT ） [4 ， 5] 。 特 别 是 ， 非 绝 热 QMD（NAQMD）描述了原子运动辅助下的电子激发和激发电子态之间的跃迁，从而描述了涉及电子和原子核的激发动力学[6高端并行超级计算机不断增强的计算能力[9]使研究复杂的材料过程成为可能，包括前所未有的大时空尺度，同时结合更高水平的物理和化学保真度[10]。然而，它也提出了巨大的算法和计算的挑战，以扩大QMD模拟2352-7110/©2019作者。由爱思唯尔公司出版。这是一篇开放获取的文章，使用CC BY-NC-ND许可证（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表SoftwareX期刊主页：www.elsevier.com/locate/softx2F. Shimojo，S.福岛H.Kumazoe等人粤ICP备10030770号-1到新兴的计算架构[10]。QXMD是一个软件平台，用于开发新的扩展和实验功能，使QMD模拟可元缩放，即，‘‘design once,scale on new architectures’’ [核心QXMD模拟引擎基于使用赝势和平面波基组的DFT [2，13]。到目前为止实现的扩展包括(1)线性响应时间依赖密度泛函理论（LR-TDDFT）[14]，采用距离分离的精确交换校正来描述激子结合[15]，（2）激发态力描述光激发能量景观[7]，（3）多尺度激波技术（MSST）描述激波阵面动力学[16]，(4) 电极化的贝里相位计算[17，18]，以及(5) 分而治之DFT（DC-DFT）算法[19，20]用于O（N）QMD模拟[21]，其中计算与电子数N线性缩放。通过这些扩展，QXMD也已用于在大规模并行超级计算机上研究各种材料和能量应用中的广泛量子动力学过程[22除了如上所述作为社区发展和高端计算研究平台外，QXMD软件的基本功能还用于我们的MAGICS（计算软件的材料基因组创新）研讨会，以培训研究人员QMD和NAQMD模拟的基础知识。在本文中，我们概述了QXMD软件的架构。参考文献[29]中描述了软件的早期版本，而参考文献[11]中详细描述了后续扩展。本文重点介绍了QXMD软件的主要特点和相应的教程材料，可用于各种研讨会和课堂设置。DFT的赝势和平面波实现的相关基础被发现，例如。，在Ref. [13 ]第10段。2. 软件描述QXMD是一个高度可扩展的，并行程序编写的Fortran执行QMD模拟。该程序基于混合空间频带分解[11]进行并行化，并使用消息传递接口（MPI）库[30]执行节点间通信。QXMD还需要快速傅立叶变换（FFT）库，例如FFTW3 [31]。强缩放测试表明，与1，284个原子系统的16个核心相比，64个处理器核心的解决方案时间减少了2.5倍。这代表了典型QMD应用程序的良好扩展。虽然目前的QXMD软件发行版是用于中小规模计算平台上的教程目的，但要在高端超级计算机上实现可扩展性，需要我们的精益分而治之密度泛函理论（LDC-DFT）算法。如参考文献中所[12]，LDC-DFT算法在786，432个IBM Blue Gene/Q内核上实现了高级LDC-DFT功能将在QXMD的未来版本中添加。程序从命令行运行，将系统中所有原子的初始位置（以及可选的速度）、每种原子的赝势以及特定于正在执行的模拟的各种输入参数设置作为输入在执行时，输出数据（例如，总能量、原子轨迹、2.1. 软件构架下载QXMD并将工作目录设置为QXMD/后，将显示以下目录/文件：• QXMD/：包含QXMD用户手册的目录Examples/：包含输入文件的目录，例如模拟。Include/：包含FFT库的目录LIB/：包含用于示例问题的伪潜在文件的目录。Makefile：用于配置和编译QXMD的文件。Sources/：包含QXMD源代码的目录util/：包含用于对QXMD输出数据进行后处理的代码的目录。LIB目录包含几个用于说明和教程目的的伪势能文件。如用户手册所述，可通过电子邮件请求其他赝势在GitHub开发页面上。源代码包含在Sources/目录中，并分为一组模块，每个模块执行QMD模拟的不同组件，包括使用MPI的并行化和节点间通信、矩阵乘法、积分、读取输入、写入输出和设置默认参数。提供程序主要功能的关键模块如下：chgdns：计算，检查，输出和混合电荷密度的代码。eigen：使用预处理共轭梯度法求解Kohn-Sham特征值问题的代码engrad：计算动力学和非局部赝势能梯度以及整个系统哈密顿量的代码。费米：设置电子职业号码的代码。force：计算力和内部应力张量的代码。ftmain：QXMD的主程序。nlkbpp：非定域赝势计算的代码Kleinmann和Bylander方法[32]。pcc：计算部分堆芯校正的代码[33]。ppkb：通过KB方法计算局部赝势的代码[32]。Eschlda：基于局域密度近似，广义梯度近似[ 34 ]，范德华校正（DFT+D）[ 35 ]等计算交换相关泛函的代码tddft_fssh：基于时间相关DFT（TDDFT）和表面跳变实现NAQMD的代码[36]。2.2. 配置和编译QXMD使用发行版提供的makefile进行配置和编译makefile包含各种超级计算架构的预配置支持的机器的完整列表可以通过运行 命 令 “makehelp” 获 得 QXMD 是 通 过 运 行 “make[machine_name]”来配置的成功完成配置后，通过运行“makeqxmd”（串行可执行文件）或“make qxmdmpi”（并行可执行文件）编译QXMD。请注意，默认情况下启用了并行化make2.3. 软件功能QXMD在三种主要范式下进行QMD模拟：（i）绝热QMD，其中电子保持在基态;（ii）基于TDDFT的NAQMD，其中电子可以在能级之间非辐射地跳跃;（iii）MSST模拟冲击波前沿动力学。QXMD还支持原位分析，如应力张量和原子电荷计算，以及多个数据转储，如波函数，电荷密度和局部电位。为了最小化I/O，每个数据转储默认情况下都是关闭的，因为这些文件非常大，尽管它们可以根据用户的选择每第n个离子步骤执行一次。·················F. Shimojo，S.福岛H.Kumazoe等人粤ICP备10030770号-13Fig. 1. 运行QXMD模拟所需的目录和文件的树结构。3. 说明性实例3.1. 运行通用模拟为了运行QXMD，有一些必须存在于正确层次结构中的强制性目录和文件（图1）。①的人。启动QXMD作业的工作目录必须包含control/和data/目录。control/目录包含如下所述的安装文件/目录：CONFIG：配置文件，详细说明了系统的原子坐标在实际或规范化坐标。文件名：包含主输入文件路径的简单文本文件。IN.PARAM：包含模拟的各种输入设置和参数的主输入文件。VAPK C：可选文件，包含系统中每个原子的初始速度NCPP/：包含原子种类的伪势文件的目录data/目录存储模拟过程中生成的所有输出文件。图1显示了一个成功的目录树示例-完全运行一个水分子的模拟。在Examples/目录中有各种类型模拟的样本输入文件，包括水的优化、水分子的绝热QMD、单层MoSe2的NAQMD和SiO2的MSST模拟。NAQMD和MSST示例将在下面的章节中进行更详细的解释3.2. 单层MoSe2在该示例中，我们执行单层MoSe2的NAQMD模拟 [26，37]。在QXMD中，这是通过将一组电子从基态提升到激发态来实现的，这模 拟 了 激 光光 激 发 后 系 统 中 的 动力 学 。 示 例 输 入 文 件 可 以在Examples/03_NAQMD/01_MoSe 2/control中找到。输入参数文件IN.PARAM中用于运行NAQMD模拟的关键部分是*TDDFT-MD部分。在本节中，必须首先将“on/off”变量设置为true。相关能带的电子占据数的变化也必须用“占据”变量来定义。在这个例子中，我们促进了所有四个电子在两个最高占据轨道（能带35和36）到两个最低未占据轨道（能带37和38）。注意，如果不使用自旋极化，则一个轨道中的两个电子必须移动到第二个轨道，否则需要定义正在移动的单个电子是否是自旋向上的 或自旋下降。模拟完成后，有几个实用程序文件可用于输出数据的后处理。实用程序文件的主要功能是将QXMD输出的原始数据转换为现有图形和可视化软件易于读取的格式。在这里，我们解释如何使用其中两个实用程序文件：'eig_exocc.f'用于创建Kohn-Sham本征能量及其占用数随时间的图，'gcube.f90'用于生成各种能带的电荷密度的图 像 。“eig_exocc. f” 可 见 于 实 施 例 /03_NAQMD/01_MoSe2/analysis/eig.该实用程序将输出数据目录的路径作为命令行参数。编译完实用程序后，生成的可执行文件可以用'./ eig_exocc -d ../../数据'。这将产生三个文件，其中包含Kohn-Sham能量本征值及其占用数的信息。它们可用于通过运行以下命令将所有信息编译到一个图中：gnuplot脚本'plot_eig. gnu'，如图2所示。 2（a）.“Gcube.f90”可见于Examples/03_NAQMD/01_MoSe2/analysis/Gcube。此实用程序接受多个命令行参数，包括输出数据的路径，以及用于选择时间步长频率和范围的选项。的Kohn-Sham本征态来创建高斯立方体文件。编译后，可执行文件可以用GCube-d ../../ data -n 101 -ib 36 -eb 37 '，这将创建高斯波段36到37的每第101个时间步长的立方体文件。所得到的数据文件可以用作许多可视化软件包（例如VMD）的输入，以创建图像，如图所示。第2段（b）分段。3.3.SiO2的MSST模拟在这个例子中，我们使用QXMD来研究使用MSST的SiO2（α-石英）上的冲击[16]。在MSST中，激波被假定为平面激波，通常假定为矩形平行六面体计算单元。在这里，我们采用了Shimamura等人[38，39]开发的MSST的全方位变体，这使我们能够研究任何晶体学方向的冲击。示例输入文件可参见Examples/04_MSST/01_ SiO2/control。为了启用MSST，* 分子动力学部分必须更改为选项冲击速度和方向必须通过设置“冲击波速度”输入参数来提供在这个例子中，我们在[2,1,0]晶体学方向上施加了速度为7.2 km/s的冲击波，将冲击波速度设置为7，200 m/s，将nshockwave（1：3）设置为（2，1，0）。每次迭代后从拉格朗日函数获得的粒子速度、压力和温度写入输出数据目录中的 图图3（a）和（b）示出了施加冲击后的初始和最终构型。Examples/04_MSST/01_ SiO2/analysis/PDB中的实用程序程序将输出数据目录的路径作为命令行参数。输出PDB文件可以在许多现有的软件包中可视化，如VMD或OVITO。编译完实用程序后，生成的可执行文件可以用toPDBcell-d../../数据'。这将产生一个名为“config.pdb”的PDB文件，其中包含所有原子的原子轨迹。这些数据可用于创建图。3 .第三章。4. 影响QXMD 软件 的三个 主要影 响是 ：（ 1 ） 为先进 的QMD 和NAQMD仿真方法和算法提供一个开源的社区代码开发平台;(2)作为研究大规模并行超级计算机的平台;及（3）发放广泛的实践辅导材料，以培训广泛的科学界。随着计算机体系结构[9]的颠覆性进步，有必要不断开发新的算法·····4F. Shimojo，S.福岛H.Kumazoe等人粤ICP备10030770号-1图二. （a）空（黑色）、双占据（绿色）和单占据（红色）的Kohn-Sham能量本征值与时间的关系图。(b)第36（蓝色）和第37（红色）能带的电荷密度并置在MoSe2单层系统的顶部，Mo和Se原子分别显示为粉红色和黄色。(For对本图图例中所指颜色的解释，读者可参考本文的网络版图三. α-石英的激波模拟：（a）初始构形和（b）4ps后的最终构形。颜色表示条形图所示的坐标号在（b）段中。（关于此图例中颜色的参考解释，请读者参考本文的网络版本以及更好地适应新架构的QMD模拟计算技术[10]。一个例子是非局部赝势计算的代数变换，以使它们适合于计算效率高的3级基本线性代数软件（BLAS3），即，通过BLASification，从而实现高浮点性能[12]。QXMD继续作为这种新技术发展的平台。QXMD还被用于在高端超级计算机上研究广泛的量子动力学过程，从而提供新的科学知识。实例包括（1）陶瓷界面中结晶稳定界面的出现[22]，（2）使用金属纳米颗粒从水中按需制氢[24]，（3）二维层状材料中仅非磁性元素的涌现磁性[27]，（4）强束缚[23]和自由[25][26，28]，仅举几例。最后，如第1节所述，QXMD已被广泛用作教育平台。作为QXMD的一部分，我们开发了动手教程，截至2018年11月，来自55个机构的108名用户在MAGICS软件研讨会上接受了使用QXMD的培训。5. 结论到目前为止，QXMD已被用于方法和算法开发，基础科研和第一原理材料模拟的培训，在各种尺寸的机器上，桌面到高端并行计算平台。重要的是，QXMD还可以作为新兴计算架构上硬件-软件协同开发的测试平台例如，为了方便开发和协作，我们将代码移植到Code Ocean。QXMD也是一个在美国能源部的奥罗拉早期科学计划下，将在美国第一台exaflop/s计算机（每秒可执行10 18次浮点运算）上运行的10个初始模拟代码中在这些平台上，我们正在开发新技术：（1）使用全局可扩展和局部快速（GSLF）求解器[11，12]使QXMD可扩展到前所未有的并发水平，该求解器将用于节点间计算的可扩展基于树的算法与用于节点内计算的快速BLAS 3这些发展情况将在今后的出版物中报告。竞合利益作者确认本出版物不存在利益冲突。致谢这项工作是由美国资助的计算材料科学计划能源部F. Shimojo，S.福岛H.Kumazoe等人粤ICP备10030770号-15科学办公室，基础能源科学，根据奖项编号DE-SC 0014607。引用[1]Car R，Parrinello M.分子动力学与密度泛函理论的统一方法。物理学评论快报1985;55（22）：2471-4。[2]Payne MC等人，用于从头算总能量计算的迭代最小化技术：分子动力学和共轭梯度。Rev ModernPhys1992;64（4）：1045-97.[3]兰普拉萨德河博图五世加速从头算分子动力学的自适应机器学习框架。Int JQuantum Chem 2015;115（16）：1074[4]放大图片作者：Hohenberg P.非均匀电子气。物理学修订版1964;136（3B）：B864-71。[5]Kohn W，Sham LJ.包含交换和关联效应的自洽方程。物理学修订版1965;140（4A）：A1133-8。[6]Craig CF，Duncan WR，Prezhdo OV.电子-核动力学的含时Kohn-Sham方法中的轨道表面跳跃。物理评论快报2005;95（16）：163001。[7]ShimojoF，etal.，Largenonadiabaticquantummoleculardynamicssimulations on parallel computers。Comput Phys Comm2013;184（1）：1-8.[8]Meng S，Kaxiras E.激发态动力学模拟的含时密度泛函理论的实时局部基集实现。化学物理杂志2008;129（5）：054110.[9]服务RF。美国百万亿次计算机的设计已经成型。Science2018;359（6376）：617-8.[10]Romero NA等人，后petaflops时代的量子分子动力学。IEEE 计算2015;48（11）：33-41.[11]Shimojo F ， et al. ， A divide-conquer-recombine algorithmic paradigmforlargespatiotemporalquantummoleculardynamicssimulations.JChemPhys2014;140（18）：18A529.[12]Nomura K等人，Metascalable quantum molecular dynamics simulationsofhydrogen-on-demand。在：超级计算机程序，SC14。IEEE;2014，p. 661比73[13]Martin RM.电子结构：基本理论与实用方法。剑桥，英国：剑桥大学出版社，2008年。[14]Huix-Rotllant M.多体微扰理论（MBPT）和含时密度泛函理论（TD-DFT）：MBPT对TD-DFT绝热近似中缺少的内容和修正的见解。Top. Curr. Chem.2016;368：1-60.[15]放大图片作者：JL.含时密度泛函理论中的长程电荷转移激发态需要非局域交换。化学物理杂志2003;119（6）：2943-6.[16]Reed EJ，Fried LE，Joannopoulos JD. 一种易于处理的单、双冲击压缩动力学研究方法。物理学评论快报2003;90（23）：235503。[17]Umari P，Pasquarello A.有限均匀电场中的从头算分子动力学。物理学评论快报2002;89（15）：157602。[18]放大图片作者：J.有限电场中绝缘体的第一性原理方法。物理学评论快报2002;89（11）：117602。[19]Shimojo F ， et al. Embedded divide-and-conquer algorithm onHierarchicalreal-space grids：parallel molecular dynamics基于线性标度密度泛函理论的模拟。Comput Phys Comm2005;167（3）：151-64.[20]杨威密度泛函理论中电子密度的直接计算。物理学评论快报1991;66（11）：1438-41。[21]星秀 T、 etal. 极其可扩展 算法 为108 - 原子量子在K计算机的全系统上进行材料模拟。在：大型系统可扩展算法最新进展研讨会论文集，ScalA16。IEEE; 2016，p.33比40[22]陶瓷-陶瓷界面的结合和结构。Phys Rev Lett2013;111（6）：066103。[23]MouW，etal.Nanoscopicmechanismsofsingletfissioninamorphousmolecular solid.应用物理学通讯2013;102（17）：173301。[24]Shimamura K 等 人 ， Hydrogen-on-demand using metallic alloy nanoparti-cles in water. Nano Lett2014;14（7）：4090-6.[25]Hakamata T等人，有机金属卤化物钙钛矿中自由载流子传输的性质。SciRep2016;5：19599.[26]Lin MF，et al.原子薄MoSe2的超快非辐射动力学。Nature Commun2017;8：1745.[27]Kochat V等人，Re doping in 2d transition metal dichalcogenides as a newroute to tailor structural phases and induced magnetic.Adv Mater2017;29（43）：1703754。[28]Tung I等人，飞秒表面x射线散射揭示的单层晶体的各向异性结构动力学。2019年美国国家光子学杂志。(inPress）。[29]Shimojo F ， et al. 膨 胀 液 体 铷 的 第 一 性 原 理 分 子 动 力 学 模 拟 。 Phys RevB1995;52（13）：9320-9。[30]吴晓刚，王晓刚，王晓刚.使用MPI。第三版Cambridge，MA：MITPress;2014.[31]Frigo M，Johnson SG. FFTW3. Proc. IEEE2005;93（2）：216-31。[32]Kleinman L，Bylander DM.模型赝势的有效形式。物理学评论快报1982;48（20）：1425-8。[33]Louie SG，Froyen S，Cohen ML.自旋密度泛函计算中的非线性离子赝势。Phys Rev B1982;26（4）：1738-42。[34]放大图片作者：J.简化了广义梯度近似。物理学评论快报1996;77（18）：3865-8。[35]Grimme S.范德瓦尔斯复合物的密度泛函理论精确描述及经验修正。计算化学杂志2004;25（12）：1463-73.[36]Tully JC电子跃迁的分子动力学。J Chem Phys1990;93（2）：1061-71.[37]Bassman Oftelie L，et al.《MoSe 2单层中光致亚皮秒晶格动力学的电子起源》。Nano Lett2018;18（8）：4653-8.[38]Shimamura K等人，范德瓦尔斯晶体的各向异性纳米机械化学的交叉。应用物理学通讯2015;107（23）：231903。[39]Shock-induced Phenomena的晶体各向异性：全方位多尺度激波技术。应用物理学通讯2016;108（7）：071901。