气候研究中快速有效的偏差校正命令行工具BiasAdjustCXX（2023）介绍与应用

=-软件X 22（2023）101379原始软件出版物介绍BiasAdjustCXX命令行工具，用于气候研究中快速有效的偏差校正Benjamin Thomas Schwertfegera，b，J.，Gerrit Lohmanna，c，Henrik Lipskochba阿尔弗雷德·韦格纳研究所，亥姆霍兹极地和海洋研究中心，德国不来梅港b德国不来梅港，不来梅港应用科学大学德国不来梅大学ar t i cl e i nf o文章历史记录：2023年1月11日收到收到修订版，2023年3月13日接受，2023年关键词：命令行工具偏差校正气候研究C++a b st ra ct模拟气候变量（如温度、降水和气压）的偏差校正算法用于近似分布特征的某些方面，实际观测值。因此，可以使用过去时期的数据对估计未来气候情景的模拟气候数据进行偏差调整，因为它们的可变性，可以在偏差调整的时间序列中更真实地表示。本文档旨在介绍命令行工具BiasAdjustCXX，该工具可以应用不同的基于缩放和分布的偏差调整技术，以最大限度地减少可以从时间序列气候数据中估计的偏差。版权所有©2023作者。由爱思唯尔公司出版这是CC BY许可下的开放获取文章（http://creativecommons.org/licenses/by/4.0/）中找到。代码元数据当前代码版本v1.8.1用于此代码版本的代码/存储库的永久链接https://github.com/ElsevierSoftwareX/SOFTX-D-23-00031Reproducible Capsule的永久链接法律代码许可证GNU GPL v3使用git（Github）的代码版本控制系统使用C++11的软件代码语言、工具和服务（使用gcc14.0.0测试）编译要求，操作环境&依赖MacOS，Linux，CMake>3. 10、NetCDF-4 C++库>4. 3.1如果有开发人员文档/手册的链接无问题支持电子邮件development@b-schwertfeger.de1. 动机和意义由于大气环流、区域气候和地球系统模式的分辨率有限，以及它们的大尺度网格单元，地形和过程的概化不能在所有地方均匀映射，这可能导致局部尺度上重新分析或观测和模拟数据之间的高度此外，在气候模式中，一次只能单独确定一个像元的某些分位数和极值的分布，这意味着这些像元仅代表平均值。AlfredWegener Institute，Helmholtz Centre for Polar and Marine Research，Bremerhaven，Germany.电子邮件地址：development@b-schwertfeger.de（Benjamin Thomas Schwertfeger）。https://doi.org/10.1016/j.softx.2023.101379值为一个相对较大的面积，这取决于模型的分辨率。这些统计偏差和误差也被称为如果观测数据和建模数据之间存在这些偏差，则可以应用使这些误差最小化的程序。由于这些所谓的偏差校正并不能消除所有的误差，而只能将它们减少到最低限度，因此术语命令行工具“BiasAdjustCXX”的开发[1]从Benjamin T. Schwert- feger [2].该软件现在能够通过提供五种不同的方法，根据控制期的参考数据，将模拟气候变量的时间序列近似为实际发生或未来的值，从而2352-7110/©2023作者。 由Elsevier B.V.出版。这是一篇开放获取的文章，使用CC BY许可证（http://creativecommons.org/licenses/by/4.0/）。可在ScienceDirect上获得目录列表SoftwareX期刊主页：www.elsevier.com/locate/softxBenjamin Thomas Schwertfeger，Gerrit Lohmann和Henrik Lipskoch软件X 22（2023）1013792Fig. 1.偏 倚 调 整 期 间 数据集和信息流的 示 意 图 。这些方法可以应用于过去和未来气候情景的时间序列，只要有控制期的模拟和参考这可以大大改善气候研究的结果，气候研究使用的是气候模型的时间序列，这些模型可以真实地反映大气或海洋动态，但例如，这些模型反映的温度平均来说太冷了。2. 软件描述命令行工具BiasAdjustCXX提供了不同的基于比例和分布的偏差校正技术，可应用于基于1维和3维NetCDF的数据集。这些方法通常有一个加法和乘法的变体，因此基于比率的变量，如降水量，可以用相对因子而不是绝对因子进行调整，就像空气温度等区间变量的情况一样。此外，还可以在程序开始时提交用于单独调整的其他参数（参见第2.2节）对模拟气候数据进行偏差调整的统计转换未来期间的建模数据需要覆盖作为控制期间的历史时间段的建模和观测数据。由于大多数平差技术假设建模数据和观测数据之间的误差保持不变，即，偏差也存在于未来时期[3]，这可以用来调整未来的建模时间序列。例如，通过考虑控制期的观测数据和建模数据之间的偏差，或者建模的历史期和未来期之间的变化，从而最大限度地减少前面提到的偏差（图1）。①的人。这是基于这样一个基本假设，即模拟气候情景生成的数据与真实的、实际的气候过程和条件之间存在着某种关系，观测、再分析和模拟时间序列中的地形影响也是相互关联的所实施的基于缩放的偏倚调整程序的数学基础线性缩放（LS）、方差缩放（VS）和增量方法（DM）来自[4，5]的文章对于分位数映射（QM）和分位数增量映射（QDM）程序的实现，遵循[6，7]的描述2.1. 软件构架文件main.cxx是这个模块化软件的入口点，在这里实例化了类上述偏差校正技术是自定义类“CMethods”的一部分内部实现的所有 调整 方 法都 声 明为 静 态 ， 以便 在 自定 义 脚本 或 WindowsNotebook中独立使用此函数，如提供的示例笔记本命名为“examples. ipynb”。这可以在安装了在“environment.yml”中指定的所需依赖项之后可选地使用还有 其他几 个类， 包括实 用程序 功能（ Utils ） 和数学公 式（MathUtils），如平均值，标准差和插值（参见。图2）。这还包括加载和保存的数据结构（NcFileData），它依赖于Unidata ProgramCenter 这 个 脚 本 作 为 一 个 示 例 ， 说 明 如 何 通 过 使 用 存 储 库 的input_data目录中提供的示例数据集，在不同的配置下应用多种技术。Quixyter Notebook此外，还提供了一个Dockerfile，可用于构建Docker [9]镜像并在 容 器 中 运 行 BiasAdjustCXX 工 具 最 新 的 镜 像（btschwertfeger/biasadjustcxx：latest）和旧版本也可以直接从Dockerhub注册表中提取因此，不需要在本地安装NetCDF-4库、CMake 和BiasAdjustCXX ， 并且允许在 所有可以 设置和执行Docker的操作系统上安装应用程序。BiasAdjustCXX将在无效的整形数据集、丢失或错误的输入以及相应调整方法的无效条件的情况下正常关闭，用户将收到当前问题的启发性命令行输出。2.2. 软件功能如前所述，该软件能够对时间序列气候数据集应用不同的偏差校正技术。输入数据集必须在“时间”、“纬度"和”经度“维度上映射气候变量时间、纬度、纬度），如果感兴趣的变量在数据集中具有比时间维度更多的当使用基于缩放的方法时，时间序列可以基于长期月平均值[4]或基于长期31天移动窗口进行缩放。依赖于月份的缩放不能避免不切实际的长期月度转换，因为周围的月份由不同的因子缩放。这可以通过使用长期的31天移动窗口来避免，其中一年中的每一天都基于每年最近的31天分配一个单独的缩放因子。第31天的移动- 由于注意到每月相关缩放的这一弱点，开发了窗口变量。这里实现的基于分布的偏差调整技术将单个时间序列视为一个整体，Benjamin Thomas Schwertfeger，Gerrit Lohmann和Henrik Lipskoch软件X 22（2023）1013793−2.3. 示例代码段分析一旦使用CMake编译了软件，可执行文件在清单1中，该工具用于调整2 m空气温度）以上使用如[ 5 ]所述的附加增量方法，但使用长期31天移动窗口，而不是依赖于月的缩放因子，来确定“时间”、“纬度”和“经度”1BiasAdjustCXX\2--reefofobservations. nc \#reference data（control（period）3--contr control.nc\#现代化的，现代化的（period）4--scen 是 的。 nc\#datatoadust（scenario（period）5-我不知道 nc \#输出文件6-v tas\#一个简单的方法7-mdelta_method\#一个正义的人8-k“+“# Additive 我的天清单1：使用基于31天长期移动窗口基于分布的技术在一维数据集上的应用（即，仅包括一个时间序列），其映射基于比率的气候变量，如降水（即，12345678910清单2：使用乘法分位数delta映射技术图二. 偏差调整CXX项目结构。它们的分布特性可以独立于月份和间隔进行调整。除了方差缩放之外，所有包括的调整技术不仅具有加性变量，而且具有乘性变量，因此可以使用相对因子而不是绝对因子（如温度）来调整比率变量（如根据本软件的默认设置，基于缩放的技术基于长期31天移动窗口应用。这要求所有输入文件不包括2月29日，每年有365个条目。使用时不需要--group_flag，其可以用于以缩放因子一次基于整个时间序列的方式应用缩放这使得将BiasAdjustCXX工具应用于具有自定义时间尺度的数据集成为可能，例如，单独调整每月分离的时间序列以匹配[4，5]中描述的技术。表1列出了可以在程序开始时传递的可用参数。3. 说明性实例利用1951 ~ 1980年控制期的日平均气温和日平均降水率对1981~ 2010 年情景期的模拟时间序列进行了建 模数据来自CMIP6.CMIP.MPI-M.MPI-ESM1-2-HR. 历 史 数 据 [10] 。NOAA/CIRES/DOE 20世纪再分析项目V3提供了参考数据集[11]。模拟数据集的全球网格分辨率为384x192经度/纬度。要应用BiasAdjustCXX，必须缩放这些格网以匹配参考的格网分辨率360x 181经纬度的数据因此，人为造成的偏差此外，欧洲地区从西经45度到东经65度，从23度到72度北方被选中了偏差调整算法可以对气候时间序列的平均值产生很大的影响。MPI-ESM模拟的每日平均2 m气温的长期平均值，在欧洲地区的所有时间序列上取平均值，明显低于BiasAdjustCX X\--ref1d_observations. nc\#reference data（control（period）--contr1d_control.nc\#modedeledatata（controlperiod）--scen1d_scenario.nc\#datatoadust（scenario （period）-opr_qdm_adjusted_1d. nc\#outputfille-vpr\#variableoffinterest-mquantile_delta_mapping\#ajustmentmeth od-k“*“variant--1dimcontainetimeseries\#multiplicative\#在文件上打印#quantilestorespectBenjamin Thomas Schwertfeger，Gerrit Lohmann和Henrik Lipskoch软件X 22（2023）1013794西姆角西姆角西姆角∗表1BiasAdjustCXX命令行工具的可用参数列表。参数描述--ref，--观察/参考数据集的参考路径（对照期）--contr，--控制建模数据集的路径（控制周期）--scen，--要调整的数据集的场景路径（场景周期）-v，--variable要调整的-k，--kind调整;其中之一：‘‘-m，--方法调整方法名称其中一个：和-q，--n_quantiles[可选]要考虑的分位数（仅适用于基于分布的方法）--1dim[可选]如果数据集具有没有空间维度（即，时间维度）--no-group[可选]对于基于缩放的方法，禁用基于长期31天移动窗口的调整。缩放将一次对整个数据集执行，因此建议将输入文件分开，例如按月和将此计划应用于每个长期月。(only基于缩放的方法）--max-scaling-factor[optional]定义最大缩放因子为了避免在调整基于比率的变量时产生不切实际的结果，例如在模拟数据中不包括强降雨的地区，高比例因子。(only对于乘法方法，QM除外;默认值：10）-p，--n_processes[可选]使用多少个线程（默认：1）-h，--help[可选]显示用法示例，参数，提示和退出程序图三. NOAA 20thC Reanv 3（Tobs，p）、MPI-ESM（Tsim，p）和Delta方法调整（TDM，基于长期31天移动窗口）欧洲一年中每天2 m的未加权平均气温;灰线表示情景内每年偏差调整时间序列的每日平均2 m气温期间（−45° W至65° E和23° N至72° N;控制期：1951再分析项目（图） 3的图4）.使用增量法调整的时间序列能够清晰地近似于情景期间参考数据的平均值。在图3中，T obs，p、T sim，p、TsimDM中的下标 代表观察到的数据（OBS）、模拟数据（SIM）和预测数据（P）。TDM中的下标DM表示使用delta方法调整的数据平均偏差误差（MBE）用于确定两个时间序列之间所有时间步长的平均偏差。由于偏差校正也旨在最大限度地减少平均偏差，因此情景期间的观测数据和校正数据之间的MBE通常比情景时间序列的基础建模数据更接近于零（图2）。 4）.也可以通过应用乘法增量法来近似参考数据的日平均降水率的Benjamin Thomas Schwertfeger，Gerrit Lohmann和Henrik Lipskoch软件X 22（2023）1013795西姆角见图4。（A）NOAA 20thC Reanv 3和MPI-ESM（1981-2010）中每日平均2 m气温的MBE;（B）NOAA 20thC Reanv 3和delta方法调整数据（1981-2010）中每日平均图五、 NOAA 20thC Reanv 3（Pr obs，p），MPI-ESM（Pr sim，p）和Delta方法调整的（PrDM，基于长期31天移动窗口）欧洲一年中每天的未加权平均降水率（−45° W至65°E，23°N至72°N;控制期：1951 -1980 ， 情景/呈现 期： 1981-2010 ） 。见图6。 （A）NOAA 20thC Reanv 3和MPI-ESM（1981-2010）中日平均降水率的平均偏差误差;（B）日平均降水量的平均偏差误差NOAA 20thC Reanv 3和delta方法调整的数据（1981-2010）中的比率。与原始建模时间序列相比，偏差调整时间序列现在与参考数据具有更高的相似性（图1和图2）。第5和6段）。4. 影响水文和气候影响研究的基础[4，12，13]是来自这些模型的数据集，这些模型与第1节中提到的误差源完全相同。因此，特别重要的是通过偏差校正程序预先准备它们，以便可以根据历史数据实际调整它们的分布特性。观察[3，6]。 这正是BiasAdjustCXX提供的，一个快速和计算效率高的开源工具，用于后处理气候模型输出，以将模拟的时间序列近似为过去和未来时间段的实际发生值。为了证明这一点，不同大小的数据集的执行时间已经在[14]中进行了测量和可视化。这包括与Python模块“xclim "v0.40.0 [ 15 ]和”python-cmethods“v0.6.1 [ 16 ]的结果进行比较到目前为止，除了Python、R和MATLAB之外，还缺乏易于使用和有效的偏差校正方法。Benjamin Thomas Schwertfeger，Gerrit Lohmann和Henrik Lipskoch软件X 22（2023）1013796BiasAdjustCXX通过最初提供五种不同的方法来解决这个问题，并使科学家和研究人员更容易以独立于操作系统的方式应用它们。以前实现的方法也可以在链接引用的帮助下进行研究。此外，模块化实施提供了添加更多程序或定制现有程序的可能性。这可以通过将新方法的适当实现添加到CMods类并在Manager类中定义关联的调用条件来实现因此，该工具可以在未来用作应用偏差校正的起点，而无需高级编程技能。与此同时，的方法允许它们被扩展，以便将来可以积累更多的方法，其数学基础来自有效的参考文献。5. 结论所介绍的命令行工具BiasAdjustCXX允许在气候研究中应用不同的基于尺度和分布的偏差校正技术。它试图填补空缺的快速和有效的平台无关的偏差校正算法的后处理气候模式输出。该工具既可以从命令行执行，也可以在自定义脚本和例程中执行，例如通过集成在后期处理工作流程中。因此，BiasAdustCXX为研究人员提供了一个机会，使他们能够专注于自己的研究，而不是实施自己的偏差校正算法，甚至增加新的错误或浪费时间测试代码和故障排除。为特定的研究选择合适的方法是一个很大的独立主题，因为它在很大程度上取决于底层数据和研究重点。因此，在此不对具体方法提出建议。CRediT作者贡献声明概念化，方法学，软件，验证，形式分析，调查，数据管理，写作-初稿，写作-评论编辑，可视化. 概念化，资源，写作 亨里克·利普斯科奇：概念化，资源，写作竞合利益作者声明，他们没有已知的竞争性财务利益或个人关系，可能会影响本文报告的工作数据可用性使用的数据链接在参考文献中。作者自己生成的示例数据可以在存储库中找到。引用[1] 施 韦 特 费 格 BT. btschwertfeger/BiasAdjustCXX ： 版 本 v1.8.1 。 Zenodo;2023年，http://dx.doi.org/10.5281/zenodo.7722979。[2] 施韦特费格BT.与欧洲观测和模拟的气候资料相比，偏差修正对温度变率、离散性和相关性的影响。不来梅港应用科学大学，阿尔弗雷德·韦格纳研究所 ， 亥 姆 霍 兹 极 地 和 海 洋 研 究 中 心 ;2022 年 ，URLhttps://epic.awi.de/id/eprint/56689/。[3] 马 朗 湾 欧 洲 季 节 平 均 温 度 和 降 水 总 量 区 域 气 候 模 式 偏 差 的 非 平 稳 性Geophys Res Lett 2012;39（6）. http://dx.doi.org/10.1029/2012GL051210网站。[4] Teutschbein C，Seibert J.水文气候变化影响研究区域气候模式模拟的偏差校正：不同方法的审查和评估。J Hydrol 2012;456-457：12-29. 得双曲正切值. doi.org/10.1016/j.jhydrol.2012.05.052网站。[5]杨伟，王伟，王伟.古气候模拟偏差校正方法的经验评价。2020年攀登过去;16（4）：1493-508。http://dx.doi.org/10.5194/cp-16-1493-2020网站。[6][10] Tong Y，Gao X，Han Z，Xu Y，Xu Y，Giorgi F.用QM和QDM方法对RCM模拟的中国气温和降水的偏差订正Clim Dynam 2021;57（5）：1425-43。http://dx.doi.org/10的网站。1007/s00382-020-05447-4。[7]坎农AJ，索比SR，默多克TQ。通过分位数映射对GCM降水的偏差校正：方法如 何 保 持 分 位 数 和 极 端 值 的 变 化 ？ J Clim 2015;28 （ 17 ） ： 6938-59.http://dx.doi.org/10.1175/JCLI-D-14-00754.1。[8]Unidata NetCDF编程接口：netCDF v4.9.0、netcdf-cxx 4 v4.3.1。博尔德，CO ： UCAR/Unidata 程 序 中心 ; 2022 ， http://dx.doi.org/10.5065/D 6 RN 35XM。[9]默 克 尔 ·D Docker ： 轻 量 级 Linux 容 器 ， 用 于 一 致 的 开 发 和 部 署 。 LinuxJ2014;2014（239）：2.[10]Jungclaus J ， Bittner M ， Wieners K-H ， Wachsmann F ， Schupfner M ，Legutke S等人，MPI-M MPI-ESM 1.2-HR模型输出为CMIP 6 CMIP历史准备 。 地 球 系 统 网 格 联 合 会 ;2019 年 ， http://dx.doi.org/10 。22033/ESGF/CMIP6.6594。[11]Slivinski LC ， Compo GP ， Whitaker JS ， Sardeshmukh PD ， Giese BS ，McCollC ， etal.Towardsamorereliablehistoricalreanalysis ：Improvements for version 3 of the Twenty-Century Reanalysis system. Q J RMeteorol Soc 2019;145（724）：2876-908。http://dx.doi.org/10.1002/qj.3598网站。[12]陈军，杨英，唐军。CORDEX东亚模拟中地面气温和降水的偏差校正：应用偏差 校 正 时 我 们 应 该 做 些 什 么 ？ Atmos Res 2022;280 ： 106439.http://dx.doi.org/10.1016/j.atmosres.2022.106439的网站上发布的。[13]陈J，陈洁芬FP，肖蒙D，布劳恩M.为北美水文影响研究寻找适当的降水降尺度偏差校正方法。Water Resour Res 2013;49（7）：4187-205. 网址：//dx.doi.org/10.1002/wrcr.20331网站。[14]施韦特费格BT. btschwertfeger/BiasAdjustCXX-Performance-test：发布版本v1.0.1。Zenodo; 2023年，http://dx.doi.org/10.5281/zenodo.7678393。[15]Logan T，Aoun A，Bourgault P，Dupuis Jiang，Huard D，Lavoie J，et al.Oura-nosinc/xclim：v0.40.0.Zenodo;2023年，http://dx.doi.org/10.5281/zenodo的网站。7535677。[16] 施韦特费格BT. btschwertfeger/python-cmethods：发布v0.6.1。Zen- odo;2022，http://dx.doi.org/10.5281/zenodo.7652756。