LSTM推断行星边界层高度的研究

LSTM用于推断行星边界层高度（PBLH）Zeenat Ali1，Dorsa Ziaei1，Jennifer Sleeman1，Zhifeng Yang2，Milton Halem11马里兰大学巴尔的摩县分校计算机科学电气工程，巴尔的摩，MD 21250美国2马里兰大学，巴尔的摩县，物理系，巴尔的摩，MD 21250美国zali2@umbc.edu，dorsaz1@umbc.edu，jsleem1@umbc.edu，vy57456@umbc.edu，halem@umbc.edu摘要在本文中，我们描述了新的工作，这是一项更大的研究的一部分，旨在了解机器学习如何用于增强现有的计算和估计行星边界层高度（PBLH）的方法。我们描述了如何使用长短期记忆（LSTM）网络来学习美国不同地理位置的PBLH随时间的如果机器学习方法可以达到与基于模型的计算类似的准确度水平该文件显示了有前途的结果，值得更多的探索。我们特别描述了两个实验的结果。第一个实验使用20个地理位置，持续两个月的每小时WRF-Chem计算的PBLH。在这个实验中，我们评估了LSTM通过使用一组附近位置的有限数据来学习PBLH的效果。该模型在预测的PBLH上实现了0.11的RMSE。第二个实验使用WRF-Chem模型的一年每小时PBLH计算来评估LSTM预测，选择三个具有不同LSTM模型的位置，获得RMSE分数为0.04，0.01和0.05，respectively。我们描述了这些结果和这项工作的未来计划。介绍众所周知，行星边界层（PBL）是地球表面上方存在气溶胶的层（Stull 1988）。准确计算PBL顶部可以更好地为空气质量预报提供信息。能够提高PBL计算精度和改进计算计算的机器学习方法本文中描述的工作概述了如何使用长短期记忆（LSTM）网络来了解行星边界层高度如何随着时间的推移而变化。LSTM网络能够在适当的训练时间内从复杂的数据表示中预测准确的结果，并解决RNN的约束（Gr- eff et al.2017年）。最近，基于LSTM网络的天气版权所有© 2021由论文作者的个人论文版权所有© 2021年的卷作为一个集合由其编辑。本卷及其论文在知识共享署名4.0国际许可协议（CC BY 4.0）下出版。预报在天气预报领域中受到了极大的关注。通过内存块对时间数据序列建模以及长期依赖性的能力使LSTM模型成为天气预报研究的最佳选择（GayathiriKathiresan 2019）。由于WRF-Chem（Peckham 2012）基于模型的PBLH计算固有地包括风、温度和湿度等特征，因此本研究的目的是确定LSTM是否能够在不显式使用这些额外特征的情况下学习预测PBLH。通过学习美国各地地理点的PBLH时间变化的模式，它能准确地预测未来的PBLH只是通过学习这些变化模式吗？如果网络能够基于过去的历史PBLH来学习预测未来的PBLH，则可以调用深度学习模型来预测未来多个时间步长的PBLH，作为WRF-Chem过程的嵌入式方法。使用WRF-Chem模型输出进行了两个实验。第一个集中在2016年11月到12月的20个地理位置上训练LSTM。本研究是一项更大规模研究的一部分，旨在了解如何将基于云高计的反向散射用于PBLH估计，以增强模型计算，从而改进PBLH计算（Caicedo等人，2017; Delgado等人，2018）。第二个重点是使用WRF培训特定位置的LSTM-2018-19年度的化学数据背景WRF-Chem（Peckham 2012）是一个完全耦合的“在线”化学模型，其空气质量分量与气象分量一致（Grell等人，2005）。在本研究中，气相化学和气溶胶模块基于碳键机理Z（CBM-Z）（Zaveri和Peters 1999）和模拟气溶胶相互作用和化学的模型（Zaveri等人2008）。虽然还有其他几种PBL方案，但本工作中报告的运行选择了YSU方案（Hong和Pan 1996; Hong和Lim 2006）对不同模型PBL参数化方案及其与同一研究区域激光雷达观测PBL数据相比的成功（或其他）进行了扩展讨论，其中（Lo′ pez，Archilla和Quintana2020）。模型辐射治疗利用快速辐射传输模型大气环流模式（RRTMG）短波和长波辐射方案（Iaconoet al. 2008），包括气溶胶辐射反馈。相关工作长期以来，LSTM模型一直用于空气质量和天气预测问题。在（Karevan和Suykens 2018）中，作者使用时空堆叠LSTM模型进行温度预测。他们使用堆叠的LSTM模型显示了预测模型性能 天气预测在Fente和Singh 2018中进行了研究，使用LSTM模型。在这项工作中，针对不同的天气参数组合训练了多个LSTM模型Hewageet al. 2019和Zaytar and Amrani 2016研究了天气预测问题，并利用了堆叠的LSTM架构，并与传统的预测模型进行了比较。在前者，Hewage et. al. （Hewageet al.2019）将天气预报结果与（WRF）NWP模型进行了比较，显示了LSTM模型结果的准确性在后者中，Zaytar et. （Zaytar and Amrani 2016）展示了温度、湿度和风速的预测结果。在他们的论文中，他们表明，基于LSTM的神经网络可以被认为是预测天气状况的传统模型的替代模型。降雨预测一直是天气预报问题的一个类别，并且一直是多项研究的重点，例如（Poornima and Pushpalatha2019 ） 和 （ Samad et al. 2020 ） 。 Poornima. et. al.（Poornima和Pushpalatha 2019）提出了基于强化长短期记忆（强化LSTM）的递归神经网络（RNN）来预测降雨 。 他 们 将 其 结 果 与 Holt-Winters 、 极 限 学 习 机（ELM）、自回归综合移动平均（ARIMA）、递归神经网络和长短期记忆模型进行了比较，以显示预测降雨能力的提 高 。 Samad et.al. （ Samad et al. 2020 ） 利 用 基 于LSTM的递归神经网络（RNN）来预测降雨量。他们在一个标准降雨数据集上展示了该模型的准确性和性能在这项研究中，为了学习PBLH随时间的变化，问题被公式化为一个时间序列预测模型，其中构建了一个堆叠的LSTM网络，并对来自两个不同WRF-Chem模型的数据进行了训练方法整体方法是一种堆叠的LSTM，通过在WRF-Chem模型生成的大型数据集上训练LSTM，学习预测给定地理位置的PBLH这些模型提供了不同地理位置、不同季节的不同时间段的PBLH，但是排除了明确定义的特征，例如风、温度和湿度当前的LSTM使用单变量方法。在单变量方法中，我们使用两种不同的模型来训练网络，以探索两种不同的想法。在第一种方法中，堆叠的LSTM在多个地理位置上训练使用两个月的WRF-Chem输出（特定于东海岸）。该方法使用了2016年11月29日至2016年12月30日期间的输出，与将机器学习方法应用于特定摄像机的测高仪反向散射轮廓的相关工作相协调（Sleeman et al.2020年）由马里兰大学巴尔的摩县物理系进行。第二种方法也使用了堆叠的LSTM，但在单独的地理位置上进行了训练，并且基于2018年1月至2019年1月期间WRF-Chem输出的数据（北美大部分地区）。用于这两种方法的堆叠LSTM模型如图1所示，它是通过对三个LSTM层进行排序而构建的，每个LSTM层有50个单元，每个单元有三个参数，即no. 单位，返回序列和输入形状。 输入形状是输入数据集的形状。返回序列的参数被设置为“True”以堆叠三个LSTM层。在三个堆叠的LSTM层之后添加了一个密集层，指定一个单元的输出使用的优化器是“Adam”，使用的损失函数设置为“均方误差”。 下一步是将此模型与多变量LSTM方法进行比较。图1：LSTM网络数据集描述对于每个数据集，WRF-Chem模型数据被转换，每个实例具有N个历史PBLH，X1和实例N+1作为其相应的结果Y1。然后，1到N窗口移位1，并且下一个实例集合X2由2到N+1个实例构成，其中实例N+2作为其结果，Y2。 这继续直到所有数据被消耗，从而产生数据集X1、X2.每个具有N个特征的X k和相应的标签Y1，Y2.是的。对于本文中讨论的实验，N被设置为100在缩放和整形之后，数据被转换成一个3D数组，其中包含X个训练样本，100个时间戳，每一步都有一个特征被输入到上面构建的网络对于第一个实验，使用的数据集基于WRF-Chem模型生成的PBLH数值，这些数值分别在2016年11月29日20：00至2017年1月1日00：00的不同时间戳记录，来自[36.63，-79.24707]至[40.79，- 73.92]的纬度和经度范围内的约15，000个位置，如图2和图3所示。图2显示了数据的数字表示，列有：日期，时间，纬度，经度和各自记录的行星边界高度。图3显示了数据在美国地图上地理位置WRF-Chem模型由两个区域组成，外部区域具有从25 N到50 N和-70 W到-90 W的9KM分辨率以及由35 ~ 45 N和-73 ~-80 W组成的内部区域外部区域的预报变量由NCEP再分析中每3小时获得的再分析指定每小时的预测变量指定的内部区域从再分析。外部区域与1分钟时间步长积分，内部区域与20秒时间步长积分。图2：模型中的示例数据图3：原始数据的地理表示对于第二个实验，使用的数据是针对个体的。从2018年1月到2019年1月，每小时记录的年度网站，高-在 本 文 中 照 亮 的 是 站 点 ： 站 点 1 [44.2062 ， -63.14245] 、 站 点 2 [35.3382 ， -90.31128] 和 站 点 3[35.3382，-90.31128]。WRF-Chem模型包括2018年，区域为北美大部分地区，分辨率为2.5度，从北纬0度到北纬80度，西经-60度到西经-135度。 在所有网格点每6小时指定一次预后变量，并每6小时以3分钟的时间步长进行积分。实验本研究主要进行了两个实验。第一个使用了为期2个月的WRF-Chem模型，重点是东海岸。这个实验的目的是探索LSTM网络在彼此靠近的位置上近似PBLH的能力。 第二个实验使用了一个为期一年的WRF-Chem模型，重点是北美大部分地区。该实验的目标是探索LSTM网络在多个季节的数据训练特定位置的PBLH预测能力，而不明确包括温度等特征多地点实验该实验由来自模型实验的20个位置和数据组成附近的20个位置形成了一个小补丁，如图4所示。图4：地理表示WRF-Chem模型位置LSTM模型在100个epoch的数据上进行了训练，批量大小为64，并在训练和测试数据上进行了测试，以评估LSTM模型的整体性能 训练数据包含817个样本，测试数据包含441个样本。 在模型经过训练后，使用测试数据对其进行评估。单一位置实验第二个实验包括三个站点，每个站点有8834行数据。LSTM模型在100个epoch的数据上进行了训练，批量大小为64。训练数据包含5742个样本，测试数据包含3092个样本。结果这两项实验都取得了令人鼓舞的结果。在每个实验中，测量保持测试集的RMSE。 在为期一年的试验中，与线性回归方法进行了比较。此外，还进行了敏感性研究。多地点结果（一）（b）第（1）款图5：20个位置的预测PBLH-列车（橙色）和测试（绿色）测试数据的RMSE为0.11。绘制结果，显示预测数据与原始数据的比较，如图5所示 蓝线显示原始数据。 橙色线显示训练数据的预测PBLH，绿色线显示测试数据的预测PBLH。在仔细观察时，可以看到裸露的蓝色线就在橙色和绿色线之前，表示用于启动训练和测试数据预测的初始100个实例。单一位置结果对 三个 （ 随 机 选 择 的 ） 位 置 （ 44.2062 ， -63.1424 ） 、（2.41753，-119.82883）和（35.3382，-90.31128）进行单位置实验，RMSE值0.04、0.01和0.05。 为了正确评估单位置实验的LSTM方法，将LSTM预测（35.3382，-90.31128）的结果与使用线性回归模型预测（35.3382，-90.31128）的结果进行了比较。 线性回归模型和LSTM模型的结果如图6b和6c所示。 在图6c中，蓝色趋势对于列车预测和测试预测几乎不可识别，如绿色趋势（预测测试）与蓝色趋势（实际数据）重叠所示。这意味着预测与预期的PBLH强烈 线性回归模型的RMSE为0.05，而LSTM的结果为0.05。为了进一步评估预测，对来自WRF-Chem的测试数据和来自LSTM的预测数据进行从测试数据中减去WRF-Chem模型生成的测试数据的平均值（c）第（1）款图 6 ： （ a ） 单 个 位 置 的 每 小 时 WRF-Chem PBLH（ 35.3382 ， -90.31128 ） （ b ） 单 个 位 置 的 线 性 回 归（35.3382，-90.31128）每小时预测的PBLH（c）单个位置的LSTM（35.3382，-90.31128）每小时预测的PBLH图7：相关性研究-将WRF-Chem模型PBLH与LSTM预测的位置PBLH（35.3382，-90.31128）进行比较的均值-次均值结果。并且LSTM模型预测数据的平均值是从预测数据中减去的。然后将结果绘制在图7中。相关性研究的结果表明，测试数据的真实PBLH之间存在很强的相关性以及从LSTM模型预测的PBLH结论和今后的工作在这项研究中，我们提出了一个堆叠的LSTM模型作为跟踪行星边界层高度（PBLH）时间变化的预测工具。我们针对从WRF-Chem模型生成的两个数据集训练了LSTM模型，以选择位置。我们展示了在测试数据子集上推断模型的性能，并提供了结果的可视化。在这项工作中，我们展示了使用LSTM网络进行时空时间序列PBLH预测的前景。在我们未来的工作中，我们的目标是设计多变量LSTM网络，以便使用单个网络对多个位置进行同步PBLH预测。致谢这项工作得到了以下资助：NASA资助NNH 16 ZDA001-AIST 16 -0091和NSF CARTA授予17747724.引用Caicedo，V.; Rappeng luck，B.; Lefe r，B.; Morris，G.;Toledo，D.;和Delgado，R.2017年。用云高计气溶胶后向散射资料探测边界层高度的气溶胶激光雷达反演方法的比较。大气测量技术10（4）.Delgado，R.; Caicedo，V.; Demoz，B.; Szykman，J.;Sakai，R.; Hicks，M.; Posey，J.; Atkinson，D.;和基隆吉岛 2018. Ad-Hoc云高仪评估研究（ACES）：Li-dar/云高仪混合层高度和网络。 在AGU秋季会议摘要。Fente，D. N.的;和Singh，D. K. 2018.人工神经网络在天气预报中的应用2018年第二届创新通信与计算技术国际会议1757-1761。Gayathiri Kathiresan，Krishna Mohanta，K. V. A. 2019.FORETELL：通过增强的LSTM和L1正则化预测环境数据。国际现代技术与工程杂志（International Journal ofRecent Technology and Engineering，IJRTE）Greff，K.;斯里瓦斯塔瓦河; Koutn 'ık，J.; Steunebrink，B.; 和 Schmidhuber ， J. 2017. LSTM ： A Search SpaceOdyssey. IEEE Transactions on Neural Networks andLearning Systems28：2222-2232.格雷尔湾，加-地一、Peckham，S. E.的; Schmitz，R.;McKeen ， S. 一 、Frost ，G.; Skamarock ，W. C.的 ;和Eder，B. 2005. WRF模型中的完全耦合大气环境39（37）：6957Hewage，P.R. P. G.地; Behera，A.;Trovati，M.;佩雷拉，E. 2019年。使用地面天气资料的有效短期天气预报模式的长短期记忆在AIAI。洪圣- Y的;和Lim，J. - O. J. 2006. WRF单矩六类微物理方案（WSM6）. 亚太大气科学杂志42（2）：129洪圣- Y的;和潘，H.- L. 1996.中期预报模式中的非局部边界层垂直扩散。每月天气评论124（10）：2322Iacono，M.J.道：Delamere，J.S.的; Mlawer，E.J.道：谢泼德，M. W的;克拉夫，S。一、Collins，W. D. 2008.长寿命温室气体的辐射强迫：用AER辐射传输模式计算地球物理研究杂志113（D13）。Karevan，Z.; Suykens，J. 2018.时空堆叠LSTM用于天气预报中的温度预测。ArXivabs/1811.06341。洛佩斯先生。 J. T.; Archil la，Y. B.人; 和Quintana，P.J. V. 2020年。PBL团队工作的个人评估程序及其工具. 国际工程教育杂志36（1）：352Peckham，S.E. 2012年。WRF/Chem 3.3版用户Poornima ， S.; 和 Pushpalatha ， M.2019 年 。 基 于 强 化LSTM的带权线性单元递归神经网络的降雨预报。大气层10：668。Samad，A.;Bhagyanidhi; Gautam，V.;Jain，P.;Sangeeta;and Sarkar，K.2020.一种基于长短期记忆神经网络的降水预报方法。2020年IEEE第五届计算通信与自动化国际会议190-195。Sleeman，J.;Halem，M.;Caicedo，V.;Demoz，B.;德尔加多，R. M.; 等人2020年。基于LIDAR的边界层高度检测的深度 机 器 学 习 方 法 IEEEInternational Geoscience andRemote Sensing Symposium。斯图尔河B. 1988.平均边界层特性。在边界层气象学导论中，1-27。斯普林格。扎韦里河一、伊斯特河C.的;快，J.D.;和Peters，L. K.2008.气溶胶相互作用和化学模拟模式（MOSAIC）. 地球物理研究杂志：大气层113（D13）.扎韦里河一、和Peters，L.K. 一九九九年。一种新的用于大规模应用的集总结构光化学机理。地球物理研究杂志：大气104（D23）：30387-30415。Zaytar，A.;和Amrani，C.E. 2016年。序列到序列天气预报与长短期记忆递归神经网络。国际计算机应用143：7