基于卷积LSTM的PBLH高度预测模型及其应用

卷积LSTM用于行星边界层高度（PBLH）预测Dorsa Ziaei，1Jennifer Sleeman，1Milton Halem，1Vanessa Caicedo，2，3Ruben Delgado，2，3Belay Demoz2，31马里兰大学巴尔的摩县分校计算机科学电气工程，巴尔的摩，MD 21250美国2马里兰大学，巴尔的摩县，物理系，巴尔的摩，MD 21250美国3地球系统技术联合中心，巴尔的摩，MD，21250，美国dorsaz1@umbc.edu，jsleem1@umbc.edu，halem@umbc.edu，vacaiced@umbc.edu，delgado@umbc.edu，bdemoz@umbc.edu摘要我 们 描 述 了 使 用 深 度 学 习 来 学 习 行 星 边 界 层 高 度（PBLH）的时间变化这项工作是结合一个深边缘检测方法，识别图像中的边缘的基础上，从激光雷达观测的云高计后向散射信号。我们实现了一个卷积长短期记忆（LSTM）来预测PBLH估计中的小时间变化。在有雨、云和其他不利条件的情况下，PBLH高度的估计具有挑战性卷积LSTM充当外部部分可观察环境的内部状态表示，补充了深度边缘检测方法，在缺乏可靠估计的情况下提供了PBLH的预测在基于图像的帧上训练的卷积LSTM（其定义图像中的伪影的移动，诸如移动MNIST数字）已经被用于预测序列中的一组帧的这些伪影的移动。我们展示了如何扩展一个类似的网络，以学习跨帧的更复杂的运动，并学习在每个帧引入的新信息。利用卷积LSTM模型和我们提出的应用于十分钟帧的增强方法，我们以良好的准确度预测了被识别为PBL的边缘移动随时间的变化。我们展示了基于PBL的边缘的预测结果，并使用三种不同的度量来评估性能。介绍行星边界层是地球边界层的高度，或PBLH，被确定为湍流层的顶部，并用于空气质量预报和空气污染研究。PBL包含大部分污染源（Stull 1988）。PBLH可以使用天气研究和前向预报模型、无线电探空仪以及地面云高仪观测系统LIDAR技术来计算有许多复杂性阻碍了PBLH的准确估计，例如云和本公司于二零二一年十二月三十一日刊发有关论文作者的个别论文。从白天到夜晚的过渡 已经有通过使用LIDAR反向散射轮廓 来改进PBLH估计的努力（ Mexanu et al. 2006 年 ;Compton 等 人 2013; Sawyer and Li 2013; Caicedo etal.2017; Delgado 等 人 2018 年 ） 。 在 Sleeman et al.（Sleeman et al.2020），提出了一种基于机器学习的深边界层边缘检测算法（ML-PBLH）。图1：Lufft-CHM 15 K-UMBC-（左）24小时激光雷达反向 散 射 曲 线 和 （ 右 ） 反 向 散 射 图 像 边 界 检测 （ML-PBLH）-2016年12月1日。在图1中，我们显示了2020年12月1日检测到的后向散射轮廓和边缘的示例在图2中，我们显示了由我们的ML-PBLH方法估计的PBL高度，由洋红色点表示。从图2中可以看出，从0：00到9：00 UTC，边缘检测方法由于不利条件的存在而检测到错误点我 们 通 过 扩 展 这 项 工 作 并 利 用 卷 积 长 短 期 记 忆（LSTM）网络来预测PBLH估计中的小时间变化来解决这个问题。卷积LSTM先前已应用于数据集，例如移动MNIST，以识别MNIST数字如何从帧到帧移动。 这些数据集使用具有相同MNIST数字的帧集，这些数字在帧之间的空间中移动。我们将PBLH估计预测问题转化为一个时空图像序列预测问题. 在序列预测中，先前观察到的数据点用于预测未来数据点的固定长度。我们创建一个2021年，该杂志作为其编辑的一个集合。基于云高计后向散射轮廓的边缘数据集本卷及其论文在Creative CommonsLicense Attribution 4.0International（CC BY 4.0）下出版。从2016年12月1日到2016年12月16日PBL数据引入了两个新的复杂性，图二：Lufft-CHM 15 K- UMBC - 24小时激光雷达后向散射轮廓和由后向散射图像边界检测（ML-PBLH）生成的PBLH点-2016年12月1日。渐进LSTM：1）帧具有比先前研究中使用的数据集更多的信息，以及2）在每个帧处引入新的信息。使用先前研究中现有的卷积LSTM方法，当应用于PBL数据时，网络无法学习预测微小的时间变化。我们提出的增强方法克服了这些挑战，使网络能够学习帧之间的变化。背景由于PBLH的大气性质和时空特征，开发一个有效的预测模型是具有挑战性的。先前关于时间序列大气数据集预测的研究基于传统和数学方法（Sun等人，2014;Cheung和Yeung，2012; Reyniers，2008）。机器学习的应用是这一领域的新视角（Shi et al. 2015; Agrawal et al.2019）。基于机器学习的模型可以被训练为在接收到新数据时近实时地预测数据点的序列，这可以比传统的数值方法更好地解决用于序列图像预测的深度学习的最新进展，例如递归神经网络（RNN）和长短期记忆（LSTM）模型（Cho et al. 2014; Donahue et al. 2015;Sutskever，Vinyals和Le 2014; Karpathy和Fei-Fei 2017;Srivas-tava，Mansimov 和Salakhutdinov 2015; Xu et al.2015）有助于应对为时空数据集开发有效预测模型的挑战相关工作Shi等人(Shi等人2015）提出了用于降水临近预报问题的卷积在他们的工作中，作者首先展示了该模型在移动MNIST数据集的帧预测上的性能。移动MNIST数据集 已 广 泛 用 于 评 估 视 频 预 测 和 图 像 序 列 模 型（Srivastava ， Man-simov 和 Salakhudinov 2015 ） 。然后，他们将他们的模型应用于具有8148个训练序列的雷达回波数据集，并显示他们捕获了云的运动使用端到端卷积LSTM模型。雷达回波数据集包括雷达地图，在云的形状和空间信息方面，帧之间的变化最小。Agrawal et al.（Agrawal et al. 2019）将降水预测作为图像到图像的转换问题。在他们的论文中，他们利用了一个U-net卷积神经网络，该网络来自NOAA国家严重风暴实验室开发的2016年）。Yao等人（Yao和Li 2017）采用卷积神经网络架构来预测CIKM AnalytiCup 2017挑战数据集的短期降水，包括1.5小时内的雷达地图参赛者（深圳-气象和阿里巴巴集团2017）。这项研究不同于以往的努力，因为我们应用这种方法来预测随着时间的推移，使用边缘检测图像的PBLH的微小变化我们描述了我们的方法来解决我们的数据集的复杂性。据我们所知，这是第一次使用卷积LSTM来尝试预测PBLH的变化。模型架构我们利用了Shi等人提出的卷积LSTM架构卷积LSTM模型由两个堆叠LSTM层的网络组成：编码网络和预测网络。卷积层的使用有助于表示图像序列的特征。编码网络将输入图像序列压缩成隐藏状态张量，预测LSTM将对隐藏状态进行重构以输出最终预测。该模型的体系结构如图3所示。这种卷积LSTM模型的强大之处在于使用卷积LSTM层，并将输入、隐藏和输出向量设计为3D张量。卷积层被认为是最好的表示工具，它与LSTM层相结合，完美地捕捉了图像的时空属性。使用3D张量进行编码和预测，其中最后两个维度显示行和列有助于保留所有空间信息。该设计的另一个关键特性是通过使用零填充来保持所有状态的维度相同。预测状态具有与输入状态相同的维度，因此所有状态可以在预测网络中串联并馈送到1x1卷积层以生成最终预测。数据集预处理管道和模型实现已在Python中使用Keras和OpenCV、Pillow和Matplotlib等库实现，以实现结果的可视化图3：ConvLSTM架构（Shi等人）图4：原始数据集的5个PBLH层图像序列，时间间隔为10分钟图5：来自合成数据集方法我们提出了一种方法来解决处理基于激光雷达的后向散射轮廓时，不利的条件下存在的挑战PBLH边缘检测数据集（Slee-man等人，2020）用于生成以10分钟时间间隔改变估计PBLH边缘的图像（帧）序列，并通过应用形态学增强方法预测序列中给定的下一组帧。在使用PBLH边缘检测数据集训练模型的多次试验中，我们观察到，随着时间的推移，线条的形状经常发生变化，并且由于天气条件而丢失数据点，模型面临着逐帧学习这些变化的挑战。为了帮助平滑序列帧之间的变化，我们使用增强来合成数据集中的图像，这导致同质序列，使得模型可以捕获线的特征和位置的变化。我们生成了估计的PBLH层图像的时空序列，其中每个序列示出了估计的PBLH边缘的形状和位置随图像帧的变化。通过这种方式，我们将复杂的估计PBLH边缘数据集映射到更平滑的时空数据集，这使得卷积LSTM模型能够捕获序列中帧之间的通过包含我们的方法，网络能够预测估计的PBLH边缘。数据集为了研究卷积LSTM模型的行为，我们进行了一项实验，用PBL边缘检测图像的数据集训练卷积LSTM模型，以预测序列中的下一帧。该数据集中的图像以10分钟的时间间隔捕获。数据集中的PBLH边缘检测图像序列如图4所示。这些图像是使用Sleeman et al.（Sleeman等人，2020）。与移动MNIST数据集相比，PBLH边缘检测数据集中的图像在线条形状和空间信息方面经常变化。移动MNIST数据集中的帧包含两个重复模式（两位数），它们在帧中轻微移动。图像中存在的估计的PBL是通过图案改变形状，线条的粗细和连续性以及线条在每帧中的位置变化，这是训练图像序列预测模型的最大挑战。我们将PBLH边缘检测图像数据集构造为具有五帧的序列。为了解决帧与帧之间图像变化频率高的挑战，我们通过对图像应用增强来减少方差。我们用形态变换（如旋转和移位）增强了数据集中的每个图像原始数据集中图像（帧）之间的方差计算为361.575，增强后图像之间的方差降低至275.700，这表明图像（帧）之间的变化已降低。数据集中的原始图像为885 x 656像素，我们将图像调整为不同的分辨率（即32x32、64x64和128x128像素）。我们描述了128x128像素图像的结果，因为对于更高分辨率的图像，基于像素的问题不太突出（不需要应用插值）。这意味着对像素的数量有一定的敏感性，但是需要更多的实验来进一步理解这种敏感性。我们生成了一个具有大约10k个序列的训练数据集，并使用了大约5000个序列来训练模型和用于预测的测试数据集。我们用128 x 128像素的图像序列训练了卷积LSTM模型图5中示出了合成数据集中的序列，其示出了帧之间的形状和空间信息的轻微变化。图4中的序列中的第三帧已在图5中选择、增强和可视化，以显示数据集是如何被简化和合成的。实验结果作为实验研究，我们使用“logcosh”损失函数和ADAM优化器对模型进行了15个epoch的训练，并将训练后的模型用作测试数据集上的预测工具。图6显示了两个单测试序列的预测结果。在测试阶段，将序列中的三帧作为模型的输入，并对接下来的两帧进行预测。通过将预测帧与地面实况进行比较，我们观察到训练模型捕获了帧的变换以及估计PBLH边缘形状的微小变化。该模型捕捉帧中的空间变化，并预测序列中的下两帧预测模型成功预测下一帧（第四帧）。然而，可以改进第五帧通常，随着预测帧的增加，准确度降低。我们目前的重点是改进网络，以便更好地预测多帧。（一）(b)图6：128x128像素图像的对于定量分析，我们将预测模型应用于具有3000个序列的保持测试数据集，并评估了诸如准确性、结构相似性指数Metric（SSIM）（Larkin 2015）（用于测量 两 个 图 像 之 间 的 相 似 性 的 度 量 ） 、 检 测 概 率（POD）（Wehling等人，2011）（用于量化检测特定缺陷的概率的度量）和误报率（FAR）（Barnes等人，2012）等指标。2009），其是预期在给定图像中出现的假阳性的数量表1显示了使用上述方法评估模型的结果。表1的SSIM度量表明，预测图像与地面实况图像具有83.88%的相似性，这表明预测图像的质量。POD测试的准确率为98.10%，而FAR测试的准确率为98.10%，表1：保留测试数据集的结果评价Image size/mm精度SSIMPOD远128x128图片97.6783.8898.103.89阳性率为3.89。总体而言，用于测量预测图像（帧）的性能的度量是有利的。准确性本身并不是评估机器学习模型性能的指示性指标我们可以通过将相对高精度的结果与可视化的预测进行比较，考虑到序列中最后一帧（第五帧）的不完美预测，在感知上得出上述结论对于未来的工作，我们将考虑使用更大尺寸的数据集，调整序列的长度（增加序列中的帧数）和调整模型参数，以训练更通用的模型用于PBLH预测任务。结论和今后的工作在不利条件下，PBLH高度难以估计。我们描述了一种卷积LSTM，它可以在部分可观察的环境中补充现有的边缘检测LSTM在缺乏可靠估计的情况下提供对估计的PBLH的预测在这项工作中，我们描述了一种将卷积LSTM应用于边缘检测PBLH反向散射输出的方法，并展示了我们的增强方法如何扩展现有方法，以预测跨帧估计PBL我们展示了当图像具有大量信息以及每帧中存在新信息时，我们如何克服我们描述了如何开发图像序列数据集。由于边界层的湍流性质，PBLH边缘检测图像有很多信息变化。预测这样的数据集中的下一组帧仍然是非常具有挑战性的。我们未来的工作包括扩展模型架构和增强和图像变换，以及输入序列长度和大小调整，以便能够预测具有更多内容信息变化的PBLH估计中的小时间变化致谢这项工作得到了以下资助：NASA资助NNH 16 ZDA001-AIST 16 -0091和NSF CARTA授予17747724引用Agrawal ， S.; 巴 林 顿 湖 ;Bromberg ， C.;Burge ，J.;Gazen，C.; Hickey，J. 2019.雷达图像降水临近预报的机器学习。arXiv预印本arXiv：1912.12132。巴恩斯湖的R.; Schultz，D.M.; Gruntfest，E.C.的; 海登M. H.的;和Benight，C. C. 2009.更正：误报率或误报率？天气预报24（5）：1452-1454。Caicedo，V.; Rappeng luck，B.; Lefe r，B.; Morris，G.;Toledo，D.;和Delgado，R. 2017.用云高计气溶胶后向散射资料探测边界层高度的气溶胶激光雷达反演方法的比较。大气测量技术10（4）.Cheung，P.;和Yeung，H.2012年。光流技术在香港终端区重要对流临近预报中的应用在第三届WMO国际临近预报和甚短期预报研讨会（WSN 12）上，6周 ， K.;Merrienboer ， B.五 、 CaglarGu ？lcehre;Bahdanau ， D.;Bougares ， F.;Schwenk ， H.; 和Bengio，Y.2014年。使用RNN编码器-解码器学习短语表示用于统计机器翻译。ArXivabs/1406.1078。Compton ， J.C. 的 ; Delgado ， R.;Berkoff ， T. 一 、 和Hoff，R.M. 2013. 在短的空间和时间尺度上行星边界层高度的确定：在地基风廓线仪和激光雷达测量中协方差子波变换大气和海洋技术杂志30（7）：1566Danchovski ， V.; Dimitrova ， R.; Vladimirov ， E.;Egova，E.;和Ivanov，D. 2019.云高仪、探空仪和WRF模式对城市混合层高度的比较在AIP会议论文集，卷2075，120005中。AIP出版。Delgado，R.; Caicedo，V.; Demoz，B.; Szykman，J.;Sakai，R.; Hicks，M.; Posey，J.; Atkinson，D.;和基隆吉岛2018. Ad-Hoc云高仪评估研究（ACES）：Li-dar/云高仪混合层高度和网络。在AGU秋季会议摘要。Donahue ， J.; 亨 德 里 克 斯 湖 一 、 Rohrbach ，M.;Venugopalan ， S.; Guadarrama ， S.; 萨 延 科 ，K.;Darrell，T.2015年。用于视觉识别和描述的长期递归卷积网络2015年IEEE计算机视觉和模式识别会议2625-2634。Gaur，Y.2020年。使用深度学习技术的降水临近预报Karpathy，A.;和Fei-Fei，L. 2017.用于生成图像描述的深 度 视 觉 语 义 对 齐 。 IEEE Transactions on PatternAnalysis and Machine Intelligence39：664Larkin，K.G. 2015年。结构相似性指数SSIMplied：在图像质量测量的核心真的有一个更简单的概念arXiv预印本arXiv：1503.06680。Reyniers，M. 2008. 基于雷达观测的定量降水预报：原理、算法和业务系统。比利时贝尔吉克厄塞尔Ro yalMe'te' orologiquedeBel-gique Escherzel研究所Sawyer，V.;和Li，Z。2013.从无线电探空仪、激光雷达和红外光谱仪对行星边界层深度的探测、变化和相互比较。大气环境79：518深圳气象;和阿里巴巴集团。 2017. CIKM分析杯网址http://www.cikmconference.org/CIKM2017/CIKMAnalytiCup task1.html。施，X.;陈志;王，H.; Yeung，D.- Y的; Wong，W.- K.的;Woo，W。C. 2015年。卷积LSTM网络：降水临近预报的机器学习方法。神经信息处理系统的进展28：802-810。Sleeman，J.; Halem，M.; Caicedo，V.; Demoz，B.; 德尔加多，R. M.;等，2020年。基于LIDAR的边界层高度检测的深度 机 器 学 习 方 法 。 IEEEInternational Geoscience andRemote Sensing Symposium。Srivastava，N.; Mansimov，E.;和Salakhudinov，R. 2015.使用lstms的视频表示的无监督学习。机器学习国际会议，843Srivastava ， N.; Mansimov ， E.; 和 Salakhutdinov ， R.2015.使用LSTM的视频表示的无监督学习。在ICML。斯图尔河B. 1988.平均边界层特性。在边界层气象学导论中，1-27。斯普林格。孙，J.;薛，M.;Wilson，J.W的; 扎瓦兹基岛;Ballard，S.P的;Onvlee-Hooimeyer，J.; Joe，P.; Barker，D. M.;李，P. -W的; Golding，B.;等，2014年。利用数值预报进行对流降水临近预报：最新进展和挑战。Bul-aoke of theAmerican Meteorological Society95（3）：409- 426.Sutskever，I.; Vinyals，O.;和Le，Q.五. 2014年。序列到序列学习与神经网络。在NIPS。Chelanu，C.;Nicolae，D.;Ciuciu，J.;Ciobanu，M.;还有巴宾五. 2006年。根据激光雷达测量探测行星边界层高度。Journal of Optoelectronics and Advanced Materials8（1）：243.Wehling，P.;拉布德河一、Brunelle，S.L.的; 纳尔逊，M. T. 2011.检测概率（POD）作为定性方法验证的统计模型。Journal of AOAC International94（1）：335Xu，K.; Ba，J.; Kiros，R.;周，K.; Courville，A. C.的;Salakhutdinov，R.; Zemel ，R.;和Bengio ，Y. 2015.显示，注意和告诉：神经图像字幕生成与视觉注意。在ICML。Yao，Y.;和Li，Z。2017. CIKM AnalytiCup 2017：基于雷达反射率图像的短期降水预报信息和知识管理会议论文集，短期定量预测挑战，新加坡，6张，J.; Howard，K.; Langston，C.; Kaney，B.;齐，Y.;唐 湖 ; Grams ， H. M.; 王 玉 ; Cocks ， S. B. 人 ; Martinaitis，S. M.; Arthur，A.; Cooper，K.; Brogden，J. W.;Kitzmiller，D. 2016.多雷达多传感器（MRMS）定量降水估算：初始操作能力。美国气象学会公报97：621