用于行星边界层高度（PBLH）预测的卷积 LSTM

卷积LSTM用于行星边界层高度（PBLH）预测Dorsa Ziaei，1Jennifer Sleeman，1Milton Halem，1Vanessa Caicedo，2，3Ruben Delgado，2，3Belay Demoz2，31马里兰大学巴尔的摩县分校计算机科学和电气工程，巴尔的摩，MD 21250美国2马里兰大学，巴尔的摩县，物理系，巴尔的摩，MD 21250美国3地球系统技术联合中心，巴尔的摩，MD，21250，美国dorsaz1@umbc.edu，jsleem1@umbc.edu，halem@umbc.edu，vacaiced@umbc.edu，delgado@umbc.edu，bdemoz@umbc.edu摘要我 们 描 述 了 使 用 深 度 学 习 来 学 习 行 星 边 界 层 高 度（PBLH）的时间变化这项工作是结合一个深边缘检测方法，识别图像中的边缘的基础上云高计后向散射信号从激光雷达观测。我们实现了卷积长短期记忆（LSTM）来预测PBLH估计中的小时间变化。在存在雨、云和其他不利条件的情况下，PBLH高度难以估计。卷积LSTM充当外部部分可观察环境的内部状态表示，补充深度边缘检测方法，在缺乏可靠估计的情况下提供PBLH的预测在基于图像的帧上训练的卷积LSTM（其定义图像中的伪影的移动，诸如移动MNIST数字）已经被用于预测序列中的一组帧的这些伪影的移动。我们展示了如何扩展一个类似的网络来学习跨帧的更复杂的运动，并学习在每个帧引入的新信息。利用卷积LSTM模型和我们提出的应用于十分钟帧的增强方法，我们以有利的准确度预测了被识别为PBL的边缘的移动随时间的变化。我们展示了基于PBL的边缘的预测结果，并使用三种不同的方法来评估性能。介绍行星边界层是地球PBL的高度，或PBLH，被确定为湍流层的顶部，并用于空气质量预报和空气污染研究。PBL包含大部分污染源（Stull 1988）。PBLH可以使用天气研究和前向预报模型、无线电探空仪以及还使用基于地面的云高仪观测系统LIDAR技术来计算（Danchovski et al.2019年）。存在许多阻碍PBLH的准确估计的复杂性本公司于二零二一年刊发有关论文作者的个别论文。从白天到夜晚的过渡 已经努力通过使用LIDAR反向散射轮廓来改进PBLH估计（Talianu et al. 2006; Compton等人2013; Sawyer和Li 2013; Caicedo等人2017; Delgado等人2018）。在Sleeman et al.（Sleeman et al.2020），基于一种新的深边界层边缘检测方法描述了机器图1：Lufft-CHM 15 K-UMBC-（左）24小时LIDAR反向散射曲线和（右）反向散射图像边界检测（ML-PBLH）-2016年12月1日。在图1中，我们显示了2020年12月1日检测到的后向散射轮廓和边缘的示例在图2中，我们示出了由品红色点表示的由我们的ML-PBLH方法估计的PBL高度。如图2所示，从0：00到9：00UTC，边缘检测方法由于不利条件的存在而检测到错误点我 们 通 过 扩 展 该 工 作 并 通 过 利 用 卷 积 长 短 期 记 忆（LSTM）网络来预测PBLH估计中的小时间变化来解决这个问题。卷积LSTM先前已应用于数据集，例如移动MNIST，以识别MNIST数字如何从帧到帧移动。 这些数据集使用具有相同MNIST数字的帧集，这些数字在帧之间的空间中移动。我们制定PBLH估计预测作为一个时空图像序列预测问题。 在序列预测中，先前观察到的数据点用于预测未来数据点的固定长度。我们创建一个Co pyrightc 2021forthevolumeasacollectionbyitseditors.基于云高计后向散射轮廓的边缘数据集本卷及其论文在Creative CommonsLicense Attribution 4.0International（CC BY 4.0）下出版。从2016年12月1日到2016年12月16日PBL数据引入了两个新的复杂性，用于控制图2：Lufft-CHM 15 K- UMBC - 24小时激光雷达后向散射 轮 廓 和 由 我 们 的 后 向 散 射 图 像 边 界 检 测 （ ML-PBLH）生成的PBLH点-2016年12月1日。渐进LSTM：1）帧具有比先前研究中使用的数据集更多的信息，以及2）在每个帧处引入新的信息。使用来自先前研究的现有卷积LSTM方法，当应用于PBL数据时，网络无法学习预测小的时间变化。我们提出的增强方法克服了这些挑战，并使网络能够学习帧之间的变化。背景由于PBLH的大气性质和时空特征，开发有效的预测模型是具有挑战性的。 以前关于时间序列大气数据集预测的研究是基于传统和数学方法（Sun等人，2005）。2014; Cheung和Yeung 2012; Reyniers 2008）。机器学习的应用是这一领域的新视角（Shi et al.2015; Agrawal等人2019年）。基于机器学习的模型可以被训练以在接收到新数据时近实时地预测数据点序列，这可以比传统的数值方法更好地解决用于序列图像预测的深度学习的最新进展，例如递归神经网络（RNN）和长短期记忆（LSTM）模型（Cho et al. 2014; Donahue等人2015; Sutskever、Vinyals和Le 2014; Karpathy和Fei-Fei2017; Srivas-tava，Mansimov，and Salakhutdinov 2015;Xu et al. 2015）有助于解决为时空数据集开发有效预测模型的挑战。相关工作Shi等人(Shi等人2015）提出了用于降水临近预报问题的卷积在他们的工作中，作者首先展示了该模型在移动MNIST数据集的帧预测上的性能。移动MNIST数据集 已 被 广 泛 用 于 评 估 视 频 预 测 和 图 像 序 列 模 型（Srivastava 、 Man-simov 和 Salakhudinov 2015 ） 。然后，他们将他们的模型应用于具有8148个训练序列的雷达回波数据集，并表明他们捕捉到了云的运动使用端到端卷积LSTM模型。雷达回波数据集，包括雷达地图在云的形状和空间信息方面，帧之间的变化最小。Agrawal等人（Agrawal et al. 2019）集中于作为图像到图像转换问题的降水预测。在他们的论文中，他们利用了来自多雷达多传感器（MRMS）系统的数据集的U-网卷积神经网络，该系统由NOAA国家严重风暴实验室开发2016）。Yao等人（Yao和Li 2017）采用卷积神经网络架构来预测CIKM AnalytiCup 2017挑战数据集的短期降水，其中包括1.5小时内的雷达图参赛者（深圳-气象和阿里巴巴集团2017）。这项研究不同于以往的努力，因为我们应用这种方法来预测随着时间的推移，使用边缘检测图像的PBLH的小变化我们描述了我们的方法，以解决我们的数据集的复杂性。据我们所知，这是第一次使用卷积LSTM来尝试预测PBLH的变化。模型架构我们利用了Shi等人提出的卷积LSTM架构。（Shi et al.2015）。卷积LSTM模型由两个堆叠的LSTM层网络组成：编码网络和预测网络。卷积层的使用有助于表示图像序列的特征。编码网络将输入图像序列压缩为隐藏状态张量，预测LSTM将解压缩隐藏状态以输出最终预测。该模型的体系结构如图3所示。该卷积LSTM模型的强大之处在于使用卷积LSTM层并将输入、隐藏和输出向量设计为3D张量。卷积层被称为最好的表示工具，其与LSTM层结合完美地捕获了图像的时空属性。使用3D张量进行编码和预测，其中最后两个维度显示行和列有助于保留所有空间信息。该设计的另一个关键特征是通过使用零填充来保持所有状态的维度相同。预测状态具有与输入状态相同的维度，因此所有状态可以在预测网络中级联并馈送到1x1卷积层中以生成最终预测。数据集预处理管道和模型实现已在Python中使用Keras和OpenCV、Pillow和Matplotlib等库实现，以实现结果的可视化图3：ConvLSTM架构（Shi等人）图4：原始数据集的5个PBLH层图像序列，时间间隔为10分钟图5：来自合成数据集方法我们提出了一种方法，以解决处理基于激光雷达的后向散射剖面时，不利的条件下存在的挑战PBLH边缘检测数据集（Slee-man et al. 2020）用于生成以10分钟时间间隔改变估计的PBLH边缘的图像（帧）序列，并且通过应用形态学增强方法来预测序列中给定的下一组帧。在使用PBLH边缘检测数据集训练模型的多次试验中，我们观察到，随着时间的推移，线的形状频繁变化，并且由于天气条件而丢失数据点，模型面临着逐帧学习这些变化的挑战。为了帮助平滑序列的帧之间的变化，我们使用增强来合成数据集中的图像，这导致同质序列，使得模型可以捕获线的特征和位置的变化。我们生成了估计的PBLH层图像的时空序列，其中每个序列示出了估计的PBLH边缘随着图像帧的形状和位置的变化。以这种方式，我们将复杂的估计PBLH边缘数据集映射到更平滑的时空数据集，这使得卷积LSTM模型能够捕获序列中帧之间的通过包含我们的方法，网络能够预测估计的PBLH边缘。数据集为了研究卷积LSTM模型的行为，我们进行了一项实验，以利用PBL边缘检测图像的数据集来训练卷积LSTM模型，以预测序列中的下一帧。该数据集中的图像以10分钟的时间间隔捕获。数据集中的PBLH边缘检测图像的序列在图4中示出。这些图像是使用Sleeman等人的工作中描述的方法。（Sleeman et al.2020年）。与移动MNIST数据集相比，PBLH边缘检测数据集中的 图 像在 线 形 和 空 间信 息 方 面 经 常变 化 。 MovingMNIST 数 据 集 中 的 帧 包 含 两 个 重 复 模 式 （ 两 个 数字），它们在帧中轻微移动。图像中存在的估计PBL通过图案改变形状、线的粗细和连续性以及改变线在每帧中的位置，这是训练图像序列预测模型的最大挑战。我们将PBLH边缘检测图像数据集构造为具有五帧的序列。为了解决帧与帧之间的图像中的高频率变化的挑战，我们通过对图像应用增强来减小方差。我们增强了数据集中的每个图像的形态变换，如旋转和移位。 原始数据 集中图像 （帧） 之间的方 差计算为361.575，增强后图像之间的方差降低至275.700，这表明图像（帧）之间的变化已降低。数据集中的原始图像为885 x 656像素，我们将图像的大小调整为不同的分辨率（即，32x32、64x64和128x128像素）。我们描述了128x128像素图像的结果，因为对于更高分辨率的图像，基于像素的问题不太突出（不需要应用插值）。这意味着对像素的数量有一定的敏感性，但是需要更多的实验来进一步理解这种敏感性。我们生成了一个具有大约10k个序列的训练数据集，并使用了大约5000个序列来训练模型和用于预测的测试数据集。我们用128 x 128像素的图像序列训练了卷积LSTM模型图5中示出了合成数据集中的序列，其示出了帧之间的形状和空间信息的轻微变化。图4中的序列的第三帧已被选择并在图5中被增强和可视化，以显示数据集是如何被简化和合成的。实验结果作为实验研究，我们使用“logcosh”损失函数和ADAM优化器训练了15个时期的模型，并将训练后的模型用作测试数据集上的预测工具。图6示出了对两个单测试序列的预测结果。在测试阶段，来自序列的三个帧被认为是模型的输入，并且对接下来的两个帧执行预测。通过将预测的帧与地面实况进行比较，我们观察到训练的模型捕获了帧的变换以及估计的PBLH边缘的形状的轻微变化。该模型捕获帧中的空间变化，并预测序列中的下两个帧预测模型成功预测下一帧（第四帧）。然而，可以改进第五帧通常，随着预测帧增加，准确度降低。我们目前的重点是改进网络，以更好地预测多帧。（a）(b)图6：具有128x128像素图像的对于定量分析，我们将预测模型应用于具有3000个序列的保持测试数据集，并评估度量，例如准确性、结构相似性指数度量（SSIM）（Larkin 2015）（其是用于测量两个图像之间的相似性的度量）、检测概率（POD）（Wehling et al. 2011），其是量化检测特定缺陷的概率的度量，以及虚警率（FAR）（Barnes et al.2009），其是预期在给定图像中出现的假阳性的数量表1示出了使用上述度量评估模型的结果。表1的SSIM度量示出了预测图像与地面实况图像具有83.88%的相似性，这示出了预测图像的质量。POD显示了测试的准确性，对于我们的测试预测和FAR，发生错误的数量，它表1：保留测试数据集的结果评价图像大小/指标精度独运吊舱远128x128图片97.6783.8898.103.89阳性3.89总体而言，用于测量预测图像（帧）的性能的度量是有利的。准确性本身并不是评估机器学习模型性能的指示性指标我们可以通过将相对高精度的结果与可视化预测进行比较，考虑到序列中最后一帧（第五帧）的不完美预测，在感知上得出上述结论对于未来的工作，我们将考虑使用更大尺寸的数据集，调整序列的长度（增加序列中的帧数）并调整模型参数，以训练用于PBLH预测任务的更通用的模型。结论和未来工作在不利条件下，PBLH高度难以估计。我们描述了一种卷积LSTM，它可以在部分可观察的环境中补充现有的边缘检测LSTM在不存在可靠估计的情况下提供对估计的PBLH的预测在这项工作中，我们描述了一种将卷积LSTM应用于边缘检测的PBLH反向散射输出的方法，并展示了我们的增强方法如何扩展现有的方法来预测跨帧估计PBL我们展示了当图像具有大量信息并且每帧中存在新信息时，我们如何克服我们描述了如何开发图像序列数据集。由于边界层的湍流性质，PBLH边缘检测图像具有大量的信息变化。预测这样的数据集中的下一组帧仍然非常具有挑战性。我们未来的工作包括扩展模型架构和增强和图像变换，以及输入序列长度和大小调整，以便能够预测具有更多内容信息变化的PBLH估计中的小时间变化致谢这项工作得到了以下赠款的资助：NASA资助NNH 16ZDA 001-AIST 16 -0091和NSF CARTA授予17747724引用Agrawal ， S.; 巴 林 顿 湖 ;Bromberg ， C.;Burge ，J.;Gazen，C.;和Hickey，J. 2019.雷达图像降水临近预报的机器学习。arXiv预印本arXiv：1912.12132。巴恩斯湖R.; Schultz，D.M.; Gruntfest，E.C.; 海登先生H.;和Benight，C.梭2009.更正：误报率还是误报率？天气预报24（5）：1452-1454。Caicedo，V.; Rappeng luck，B.; Lefer，B.; Morris，G.;Toledo，D.;和Delgado，R. 2017.用云高计气溶胶后向散射资料探测边界层高度的气溶胶激光雷达反演方法的比较。大气测量技术10（4）。Cheung，P.;和Yeung，H.2012年。光流技术在香港终端区重要对流临近预报中的应用在第三届WMO国际临近预报和甚短期预报研讨会（WSN 12）上，6Cho ， K.;Merrienboer 、 B.V.;CaglarGulcehre;Bahdanau ， D.;Bougares ， F.;Schwenk ， H.; 和Bengio，Y.2014年使用RNN编码器-解码器学习短语表示用于统计机器翻译。ArXivabs/1406.1078。Compton，J.C.; Delgado，R.;Berkoff，T.A.; 和Hoff，R.先生2013. 在短的空间和时间尺度上确定行星边界层高度：地基风廓线仪和激光雷达测量中的协方差小波变换的演示。大气和海洋技术杂志30（7）：1566Danchovski ， V.; Dimitrova ， R.; Vladimirov ， E.;Egova，E.;和Ivanov，D. 2019.云高仪、探空仪和WRF模式对城市混合层高度的比较在AIP会议论文集，第2075卷，120005中。AIP出版。Delgado，R.; Caicedo，V.; Demoz，B.; Szykman，J.;Sakai，R.; Hicks，M.; Posey，J.; Atkinson，D.;和基隆吉岛2018. Ad-Hoc云高计评价研究（ACES）：激光雷达/云高计混合层高度和网络。在AGU秋季会议摘要。Donahue ， J.; 亨 德 里 克 斯 湖 A.; Rohrbach ，M.;Venugopalan ， S.;Guadarrama ， S.;Saenko ，K.;Darrell，T.2015年。用于视觉识别和描述的长期递归卷积网络2015年IEEE计算机视觉和模式识别会议2625-2634。Gaur，Y.2020年。使用深度学习技术的降水临近预报Karpathy，A.;和Fei-Fei，L. 2017.用于生成图像描述的深 度 视 觉 语 义 对 齐 。 IEEE Transactions on PatternAnalysis and Machine Intelligence39：664Larkin，K.例如2015年。 结构相似性指数SSIMplied：图像质量测量的核心真的有一个更简单的概念吗？arXiv预印本arXiv：1503.06680。Reyniers，M. 2008. 基于雷达观测的定量降水预报：原理、算法和业务系统。比利时布鲁塞尔Ro yalMe´ te´orologique研究所Sawyer，V.;和Li，Z. 2013.无线电探空仪、激光雷达和红外光谱仪对行星边界层深度的探测、变化和相互比较。大气环境79：518深圳气象;阿里巴巴集团。2017. CIKM分析杯网址http://www.cikmconference.org/CIKM2017/CIKMAnalytiCup task1.html。Shi，X.; Chen，Z.; Wang，H.; Yeung，D.- Y.; Wong，W. K.; Woo，W。梭2015年。卷积LSTM网络：降水临近 预 报 的 机 器 学 习 方 法 。 Advances in NeuralInformation Processing Systems28：802- 810.Sleeman，J.; Halem，M.; Caicedo，V.; Demoz，B.; 德尔加多室M.;等人2020.基于LIDAR的边界层高度检测的深度机器学习方法。IEEE国际地球科学与遥感研讨会。Srivastava，N.; Mansimov，E.;和Salakhudinov，R. 2015.使用lstms的视频表示的无监督学习。机器学习国际会议，843Srivastava ， N.; Mansimov ， E.; 和 Salakhutdinov ， R.2015.使用LSTM的视频表示的无监督学习。在ICML中。斯图尔河芽孢1988. 平均边界层特性。 边界层气象学导论，1-27。斯普林格Sun，J.;Xue，M.;Wilson，J.W.; 扎瓦兹基岛;Ballard，S.P.;Onvlee-Hooimeyer，J.; Joe，P.; Barker，D. M.; Li，P.-W.; Golding，B.;等人2014。使用数值预报模式进行对流 降 水 临 近 预 报 ： 最 近 的 进 展 和 挑 战 。 Bul-of theAmerican Meteorological Society95（3）：409- 426.Sutskever，I.; Vinyals，O.;和Le，Q.五. 2014年。序列到序列学习与神经网络。在NIPS。Talianu，C.;Nicolae，D.;Ciuciu，J.;Ciobanu，M.;巴宾五. 2006年。根据激光雷达测量探测行星边界层高度。Journal of Optoelectronics and Advanced Materials8（1）：243.Wehling，P.;拉布德河A.; Brunelle，S.L.; 尼尔森，先生没有2011.检测概率（POD）作为定性方法验证的统计模型。Journal of AOAC International94（1）：335Xu，K.; Ba，J.; Kiros，R.; Cho，K.; Courville，A. C.;Salakhutdinov，R.; Zemel ，R.;和Bengio ，Y. 2015.显示，出席和告诉：神经图像字幕生成与视觉注意。在ICML中。Yao，Y.;和Li，Z. 2017. CIKM AnalytiCup 2017：基于雷达反射率图像的短期降水预报。信息和知识管理会议论文集，短期定量预测挑战，新加坡，6Zhang，J.; Howard，K.; Langston，C.; Kaney，B.; Qi，Y.;Tang ， L.; Grams ， H. M.; Wang ， Y.; Cocks ， S. B.;Marti- naitis，S. M.; Arthur，A.; Cooper，K.; Brogden，J. W.; Kitzmiller，D. 2016.多雷达多传感器（MRMS）定量降水估计：初始操作能力。美国气象学会公报97：621