CMIP 6-DA：基于R的气候数据处理软件，具有GUI，适用于网络通用数据格式

软件X 18（2022）101044原始软件出版物CMIP 6-D A：一个基于R的软件，具有GUI，用于处理网络通用数据格式的气候Masoud Abdollahia，Babak Farjada，b，Shaha，Anil Guptaa，b，Quazi K.Hassanaa卡尔加里大学Schulich工程学院地理信息工程系，2500 University Dr. NW，Calgary，Alberta T2N1N4，加拿大b加拿大卡尔加里大学研究园西北研究路3535号艾伯塔省环境和公园资源管理处，AB T2L 2K8ar t i cl e i nf o文章历史记录：收到2020年收到修订版，2021年10月7日接受，2022年保留字：气候预测开源软件CMIPa b st ra ctCMIP 6-DA是一个基于R的开放源码软件，具有用户友好的图形用户界面，正在开发用于下载和处理以网络通用数据格式（netCDF）存储/提供的气候数据，如每日降水量、最低和最高近地面气温在这里，我们展示了CMIP 6-DA在下载，子集，分析netCDF文件，并生成几个输出的netCDF和逗号分隔值（CSV）的文件格式为加拿大阿尔伯塔省的能力。此外，CMIP 6-D A程序可以很容易地由用户修改，用于全球不同地区的Crown版权所有©2022由Elsevier B.V.发布这是CC BY许可下的开放获取文章（http://creativecommons.org/licenses/by/4.0/）中找到。代码元数据当前代码版本v001此代码版本使用的代码/存储库的永久链接https://github.com/ElsevierSoftwareX/SOFTX_2020_140Code Ocean compute capsule NAGNU通用公共许可证第3版（GPL-3.0）;https://www.gnu.org/licenses/gpl-3.0.en.html使用的代码版本控制系统在Windows操作系统软件代码语言、工具和服务使用R编程语言编译要求，操作环境依赖性R软件以及“3.1运行软件之前的步骤”中描述的一些库分段。如果可用，链接到开发人员文档/手册https://www.dropboxcom/s/gea7qlcq0runcda/A%20video%20explaining%20the%20steps%20in%20executing%20CMIP6-D%26A.mp4? dl=1支持电子邮件问题babak. gov.ab.ca1. 动机和意义全球气候模式（GCM）的输出是测试假设和得出过去和未来气候条件结论的重要输入[1]。这些数据在理解和模拟各种环境现象和灾害方面发挥着关键作用，包括气候对水质[2]和数量[3- 5 ]的影响、为了存档和分发这些数据，*通讯作者。电子邮件地址：babak. gov.ab.ca（Babak Farjad）.https://doi.org/10.1016/j.softx.2022.101044非常常见的数据格式是称为netCDF的事实上，它被世界各地的许多组织广泛使用。这包括世界气候研究计划（WCRP）共享不同气候变化模型生成/模拟的地理空间气候数据。最近，WCRP发布了netCDF格式的耦合模式相互比较项目第6阶段（CMIP 6）的最新版本，其中包含多个气候参数的2，400，000多个文件。它们还包括关于坐标系信息、纬度和经度范围、变量特定单位和时间步长的元数据[14]。将每个气候模型输出的所有这些信息存储在单个netCDF文件中会从几百兆字节（MB）到几千兆字节（GB）;这使得它们的共享和处理过程非常缓慢。此外，最终用户需要某些工具来处理和/或处理netCDF文件。事实上，一个简单的2352-7110/Crown版权所有©2022由Elsevier B. V.出版这是CC BY许可下的开放获取文章（http://creativecommons.org/licenses/by/4.0/）。可在ScienceDirect上获得目录列表SoftwareX期刊主页：www.elsevier.com/locate/softxMasoud Abdollahi，Babak Farjad，Anil Gupta等人软件X 18（2022）1010442谷歌搜索这导致了无数独特的数据处理工具，它们可以大致分为三类。 第一种是基于命令提示符，如气候数据操作符[15]和netCDF操作符[16]。第二类包含更多用户友好的平台，例如ArcGIS netCDF工具[17]和NASA开发的Panoply Data Viewer [18]。第三类利用编程语言，如R代码[19-另一个有用的工具是欧洲Climate4Impact门户网站，它使用户能够搜索各种气候数据，将其可视化并下载数据。尽管有许多优点，但这些工具/代码中的每一个都有几个问题。举例来说气候数据和netCDF操作员没有图形用户界面;因此，用户需要命令行知识和技能;Panoply和ArcGIS netCDF工具具有GUI;但是，它们不支持从在线服务器下载netCDF文件。此外，它们只能处理netCDF文件中的一个时间步（层），其中这些单独的文件应由用户导入到软件中进行处理;并且使用可用的基于编程请注意，CM SAF R库具有由Shiny [24]提供支持的用户友好的GUI;但是，它不能直接下载netCDF文件。此外，它只以可移植网络图形（PNG）图像格式保存分析的时间序列，而不是Excel工作簿或逗号分隔值（CSV）文件格式。为了解决上述挑战，我们选择开发一个实用的基于R的软件，连接到互联网，并设置所需的阶段，从在线服务器下载netCDF文件，用于所需的三个每日气候参数，包括降水量（pr）最小和最大近地面气温（tasmin，tasmax）。然后，该软件对下载的文件进行几个预处理步骤，例如：(i)针对所定义的感兴趣区域对大的netCDF文件进行子集化并将结果保存为新的netCDF文件;（ii）根据需要转换变量特定单元（例如，kg m−2 s−1至mm，表示pr，Ktasmin和tasmax的相对湿度为100 ℃）;（iii）提取变量特定时间系列;以及（iv）最终生成并保存统计报告，即，CSV格式的每日和每年提取变量特定的每日和每年平均值。2. 软件描述我们开发的软件CMIP 6下载器和分析器（称为CMIP 6-DA）采用15个R库来下载、子集化和统计分析netCDF文件，并随后将各种输出保存为两种不同的文件格式（即，netCDF和CSV）。以下小节简要介绍了该软件的组件。2.1. 软件构架图1显示了CMIP 6-DA的架构，详细说明了所需的软件输入、GUI、过程报告消息、生成的文件/文件夹和输出。2.2. 软件功能CMIP 6-DA由以下三个步骤组成，即，(i)单击浏览选择包含netCDF下载链接的文本文件“下载链接？”部分;（ii）指定一个目录以将结果和输出保存在段;及(iii)点击“运行"按钮。点击“运行"按钮后2.2.1. 下载和组织netCDF文件CMIP 6-D A可以自动下载和组织所有netCDF文件和基于变量及其日期的输出。它首先打开TXT文件并读取第一个下载链接（参见第图1中的①的人。从下载链接，软件识别netCDF文件名和相应的变量。然后创建用户根据netCDF文件名指定的“输出目录”中的新文件夹。在创建这样一个文件夹时，该软件会生成一个特定的DAT文件（可以在文本编辑器中查看的基于文本的DAT文件），以使用GNU Wget程序（详细信息请参阅“3.1运行软件之前的步骤”小节）从在线服务器中检索netCDF文件。 生成DAT文件后，软件开始下载netCDF文件，并将其保存在创建的文件夹中。最后，软件从文件夹中删除DAT文件以释放磁盘空间。2.2.2. 设置netCDF文件下 载 的 netCDF 文 件 具 有 全 局 覆 盖 ， 但 CMIP 6- D A 从 原 始netCDF文件中子集用户定义的感兴趣区域，并将其保存为相对较小的新netCDF。这个新的netCDF文件将具有与原始netCDF相同的名称和属性;但是，可以通过其名称末尾的“_clipped_AB”轻松识别它（请参见第4、5、6和7部分在图1中）。请注意，在CMIP 6-DA的当前版本中，加拿大的阿尔伯塔省被视为用户然而，最终用户可以很容易地修改软件，通过替换原始代码中的四个数字（参见R代码中的第2762.2.3. 生成统计报告CMIP 6-D A每天和每年生成艾伯塔省及其七个主要流域的统计报告。在这种情况下，它使用Alberta和前面提到的分水岭边界shapefile从netCDF文件中剪切所需区域;然后提取特定于变量的每日平均值并将其保存在CSV文件中。最后，CMIP 6-D& A计算每个流域的变量特定年平均值;并将输出存储在同一目录中的单独CSV文件中（参见图5中的第5、8和9部分）。①的人。2.2.4. 活套过程和最终时间报告在大多数情况下，用户希望处理多个netCDF文件。因此，CMIP 6-DA被设计为处理用户通过TXT文件传递给软件的尽可能传递的netCDF文件的数量没有限制;然而，由于netCDF文件的大小很大，因此应考虑所用计算机CMIP 6-DA重复步骤2.2.1到2.2.3，显示用户传递的所有netCDF下载链接;最后，显示总运行时间的报告处理所有netCDF文件（参见图3中的第3部分）。①的人。3. 说明性实例3.1. 运行软件在首次运行CMIP 6-DA之前，用户需要经过以下五个步骤此作业只需要在给定的计算机上完成一次3.1.1. R软件安装由于R是统计计算的自由环境[25]，我们在这个平台上开发了CMIP 6-D A因此，用户需要···Masoud Abdollahi，Babak Farjad，Anil Gupta等人软件X 18（2022）1010443Fig. 1. 介绍了所开发的基于R语言的netCDF文件下载和处理软件CMIP 6-DA的体系结构，其中：（1）包含netCDF文件直接下载链接的TXT文件;（2）软件GUI;（3）最终弹出消息窗口;（4）用户定义目录中所有创建的文件夹;（5）所有生成的文件每个文件夹中的每个下载链接;（6）原始下载的netCDF文件的全球覆盖范围;（7）加拿大艾伯塔省的剪辑netCDF文件;以及（8）艾伯塔省及其七个主要流域的每日和年度变量特定数据，包括阿萨巴斯卡、海狸、海大奴隶、牛奶、北萨斯喀彻温省、和平奴隶和南萨斯喀彻温省。在运行CMIP 6-DA之前，在计算机上安装R软件版本R-3.5.1或更高版本[26]。3.1.2. GDAL和Java安装由于CMIP 6-DA内部处理栅格和矢量图层，因此应在计算机上安装地理空间数据抽象库（GDAL）。GDAL有一个简单的快速桌面安装程序，因此用户需要从其官方网站下载3.1.3. Wget安装计算操作系统需要万维网GET（Wget）（即，Windows）从在线服务器下载文件[28，29]。因此，CMIP 6-DA用户应从Wget在线下载最新版本的可执行文件（.exeMasoud Abdollahi，Babak Farjad，Anil Gupta等人软件X 18（2022）1010444=repository [30]并将其粘贴到计算机的“C：\Windows”目录中。3.1.4. RStudio安装由于RStudio提供了一个免费的用户友好的环境来运行R，我们建议在运行CMIP 6-DA之前从其官方网站安装RStudio [31]。3.1.5. 一次性R包安装R用户需要安装必要的库，以便能够运行任何基于R的软件/代码。随后，CMIP 6- D A用户在第一次运行CMIP 6-D A之前，应仅运行以下短R代码一次#Packages：一次性安装install.packages（“ncdf4”）install.packages（“RGtk2”）install.packages（“rattle”）选项（guiToolkit“RGtk2”）install.packages（“gWidgetsRGtk2”，dep=TRUE）库（ncdf4）库（RGtk2）库（rattle）库（tcltk）库（gWidgets）3.2. CMIP 6-D A性能演示为了演示CMIP 6-DA性能，我们提供了两样东西：（i）包含三个netCDF下载链接的TXT文件（即，每个气候变量一个，包括每日PR、TASmin、TASmax）和（ii）解释执行我们开发的软件的步骤的视频。这两个文件都可以从[32，33]中的链接下载4. 意义我们开发的CMIP 6-D A软件为人们、研究人员、科学家、政府、管理人员、决策者和主要利益相关者带来了重大利益。例如：（i）研究和科学界将能够以有效的方式处理netCDF文件中的气候变化模型输出，因为这些开发能够在一个平台上下载和处理数据;（ii）人们将能够了解他们社区未来的气候变化情景，以便他们能够在应对不利的气候条件方面发挥重要作用;以及（iii）管理者、政府组织和决策者将能够通过采取适当的减缓战略，根据有关气候变化情景的科学证据作出有效的决策。此外，所提出的软件将是有用的，在处理气候变化的情况下超出了我们的示范领域。5. 结论在本文中，我们提出了一个强大但易于使用的软件框架，用于从可用的在线资源下载和处理netCDF文件，并展示了其在基于感兴趣区域（即，加拿大阿尔伯塔省）。这个开源软件是在R平台上开发的由于其开放的可访问性，具有基本编程技能的用户可以根据自己的要求修改软件。除此之外，用户没有编程背景的人仍然可以继续使用我们的CMIP 6-DA，因为它简单的GUI界面使他们能够有效地处理netCDF文件。竞合利益作者声明，他们没有已知的竞争性财务利益或个人关系，可能会影响本文报告的工作致谢我们要感谢以下机构：（i）WCRP免费向公众提供气候变化模型引用[1]作者：A. Sartipizadeh，Cannon AJ.气候变化影响研究中极端气候变化情景选择的新方法。Sci Total Environ2019;678：476-85.[2]Messina Nicholas J，Couture Raoul-Marie，Norton Stephen A，Birkel SeanD，Amirbahman Aria.模拟温带中营养湖泊水质参数对土地利用和气候变化的响应。科学总环境2020;713：136549。[3]Farjad B，Gupta A，Razavi S，Faramarzi M，Marceau DJ.预测气候和土地利用/覆盖变化情景下水文过程的综合模拟系统。水2017;9（10）：767。[4]Farjad B，Gupta A，Marceau DJ.气候变化情景下复杂流域两个子流域水文过程的年、季变化。水资源管理2016;30（8）：2851-65.[5][10]杨文，李文. 模拟土地利用、气候和水文之间的相互作用，以及利益相关者就水资源管理进行的谈判。可持续发展2017;9（11）：2022。[6]梁晓忠，吴英，张志荣，高伟，刘春，等。气候变化对美国农业生产力的影响。ProcNatlAcadSciUSA2017;114：E2285-92.http://dx.doi.org/10.1073/pnas.1615922114网站。[7]Hazaymeh K，Hassan QK.基于遥感的农业干旱指标及其在半干旱地区的应用。Jordan J Arid Land 2017;9：319-30. http://dx.doi.org/10.1007/s40333-017-0014-6网站。[8]Ahmed MR，Hassan QK，Abdollahi M，Gupta A.近实时地表温度的处理及其 在 森 林 火 险 预 报 中 的 应 用 。 传 感 器 （ 瑞 士 ） 2020;20 ： 1-16.http://dx.doi.org/10.3390/s20040984.[9] Abdollahi M，Islam T，Gupta A，Hassan Q.一个先进的森林火险预报系统 ： 遥 感 和 历 史 点 火 源 数 据 的 集 成 。 远 程 传 感 器 2018;10 ： 923 。http://dx.doi.org/10.3390/rs10060923.[10]Alamgir M，Khan N，Shahid S，Yaseen ZM，Dewan A，Hassan Q，et al.Evalating severity-area-frequency （ SAF ）of seasonal drugs in Bangladeshunder climate change scenarios.载于：Stoch environ res risk assess，vol.2。柏林海德堡：施普林格; 2020，http://dx.doi.org/10.1007/s00477-020-01768-2。[11] Bourque CPA，Hassan QK.新斯科舍省东部阿卡迪亚森林地区气候变化对物种分布的预测影响Chron2008;84：553-7.http://dx.doi.org/10.5558/tfc84553-4网站。[12]蔡志伟，黄波基于google earth的气象现象可视化方法的设计与实现。Int JSoftw Eng Its Appl 2016;10：193http://dx.doi.org/10.14257/ijseia.2016.10.9.16网站。[13]Eyring V，Bony S，Meehl GA，Senior CA，Stevens B，Stouffer RJ，et al.耦合模型相互比较项目第6阶段（CMIP 6）实验设计和组织概述。GeosciModel Dev 2016;9 ： 1937-58. http://dx.doi.org/10.5194/gmd-9-1937-2016 网站。[14]工 发 组 织 基 础 设 施 小 组 。 可 通 过 以 下 网 址 获 得 ：https://www.earthsystemcog 。 org/projects/wip/CMIP 6DataRequest （ 2020年8月12日访问）。[15]马克斯·普朗克气象研究所。气候数据操作员。马克斯普朗克气象研究所。网址：https://code.mpimet.mpg.de/projects/cdo（2020年3月22日访问）。[16]查 理 · 曾 德 netCDF 操 作 员 （ NCO ） 。 可 通 过 以 下 网 址 获 得 ：http://nco.sourceforge。net/（于二零二零年三月二十二日查阅）。[17] 环境系统研究所（ESRI）。从netCDF文件中删除光栅2020年，可用：https://desktop.arcgis.com/en/arcmap/10.3/manage-data/netcdf/exercise-1-displaying-a-raster-layer-from-a-netcdf-file.htm（2020年3月22日[18]美国国家航空航天局（NASA）。 Panoply数据查看器。2020年，可用：https://www.giss.nasa.gov/tools/panoply/（2020年3月22日访问）。Masoud Abdollahi，Babak Farjad，Anil Gupta等人软件X 18（2022）1010445[19]俄勒冈大学地理系，R.2020年，可用：http://geog.uoregon.edu/bartlein/courses/geog607/Rmd/netCDF_01.htm。（2020年3月22日查阅）。[20] RStudio的RPub。如何在R中打开和使用netCDF数据。2020年，可用：https://rpubs.com/boyerag/297592。（2020年3月22日查阅）。[21]全面的R归档网络，从netCDF文件开始。2020年，可用：https://cran.r-project.org/web/packages/futureheatwaves/vignettes/starting_from_netcdf.html（2020年3月22日访问）。[22] ROpenSci，tidync：来自R中netCDF的科学数组数据。2020年，可用：https://ropensci.org/blog/2019/11/05/tidync/（2020年3月22日访问）。[23]Kothe S ， Hollmann R ， Pfeifroth U ， Träger-Chatterjee C ， Trentmann J.The CM SAF R toolbox-a tool for the easy usage of satellite-based climatedata in netCDF format.ISPRS Int J Geo-Inf 2019;8. http://dx.doi.org/10 的 网站。3390/ijgi8030109。[24]来自RStudio的 Shiny，交互。分析和沟通。2020年，可用：https：//shiny.rstudio.com网站。 （2020年3月访问）。[25]Aquino RD，Chagas JBC，Souza MJF.长期预防性维修计划问题的混合整数线性规划模型及模拟退火算法。Adv Intell Syst Comput 2018;736：144-53.http://dx.doi.org/10.1007/978-3-319-76348-4_15网站。[26] R 基 金 会 。 用 于 统 计 计 算 的 R 项 目 。 2020 年 ， 可 用 ： https://www.r-project.org。（2020年3月22日查阅）。[27]开源地理空间基金会。地理空间数据抽象库（GDAL）。2020年，可用：http://download.osgeo.org/osgeo4w/（2020年3月[28]David CH，Famiglietti JS，Yang Z-L，Habets F，Maidment DR.开放源码地球 科 学 代 码 开 发 的 十 年 快 速 反 思 。 Earth SpSci 2016;3 ： 226-44.http://dx.doi.org/10.1002/2015EA000142网站。[29]GNU操作系统。GNUwget.2020年，可用：https://www.gnu.org/software/wget/（2020年3月22日访问）。[30]GNU操作系统。GNU wget，GNU wget的windows二进制文件。2020年，可用：https://eternallybored.org/misc/wget。（2020年3月22日[31]R 的 集 成 开 发 环 境 （ IDE ） ， RStudio桌 面 。 2020 年 ， 可 通 过https://www.rstudio.com/products/rstudio/download/#下载。（2020年3月22日查阅）。[32]我 们 提 供 的 TXT 文 件 包 含 三 个 netcdf 下 载 链 接 。 2020 年 ， 可 用 ：https://www.dropbox.com/s/dmb1dci0enuvtbd/netCDF_download_links_SoftwareX.txt？dl=1（2020年3月22日访问）。[33]我们提供txt文件含有三netCDF下载链接. 2020年，可用：https://www.dropboxcom/s/gea7qlcq0runcda/A%20video%20explaining%20the%20steps%20in%20executing%20CMIP6-D%26A.mp4？dl=1。（2020年3月23日访问）。