基于图像的深度学习模型估计城市降雨强度的研究

工程21（2023）162研究水利工程―文章使用基于图像的深度学习模型估计降雨强度尹航a，郑菲菲a，段焕锋b，萨维奇c，d，e，卡普兰d，fa浙江大学土木工程与建筑学院，浙江杭州310003b香港理工大学土木及环境工程系，中国香港999077cKWR水研究所，Nieuwegein 3430 BB，荷兰dCentre for Water Systems，University of Exeter，Exeter EX4 4QF，UK电子工程与建筑环境学院，马来西亚Kebangsaan大学，Bangi 43600，马来西亚f荷兰代尔夫特2600 GA代尔夫特理工大学水管理系阿提奇莱因福奥文章历史记录：2021年7月9日收到2021年9月27日修订2021年11月15日接受2022年1月27日在线提供保留字：城市洪水降雨图像深度学习模型卷积神经网络（CNN）降雨强度A B S T R A C T城市洪涝灾害是世界性的重大问题，造成了巨大的经济损失和严重的公共安全威胁。一个有希望的方法来减轻其影响是开发一个实时的洪水风险管理系统，然而，建立这样的系统往往是具有挑战性的，由于缺乏高时空降雨数据。虽然一些方法（即，虽然现有的方法（例如地面雨量站或雷达和卫星技术）可用于测量和/或预测降雨强度，但使用这些方法很难获得具有理想时空分辨率的准确降雨数据本文提出了一种基于图像的深度学习模型来估计具有高空间和时间分辨率的城市降雨强度。更具体地，使用从现有密集传感器收集的降雨图像（即，智能手机或交通摄像机）及其相应的测量降雨强度值。训练的irCNN模型随后被用于基于传感器的降雨图像有效地估计降雨强度分别利用人工降雨资料和实际降雨图像，探讨了irCNN结果表明，irCNN模型提供的降雨估计值的平均绝对百分比误差在13.5%到21.9%之间，超过了文献中其他最先进的建模技术的性能。更重要的是，所提出的irCNN的主要特点是其低成本，有效地获取高时空城市降雨数据。irCNN模型为城市降雨强度的估算提供了一种很有前途的替代方案，可以极大地促进城市洪水风险管理的实时发展。©2022 The Bottoms.Elsevier LTD代表中国工程院出版，高等教育出版社有限公司。这是一篇CC BY-NC-ND许可下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）中找到。1. 介绍城市洪水的发生可归因于许多因素，包括气候变化导致的降雨量增加[1]，城市化导致的地表径流增加[2]，以及城市径流和下游高水位之间的复杂相互作用（即，复合洪水事件）[3]。极端降雨常常导致城市洪水，特别是山洪暴发，降雨强度是其主要因素[4]。值得注意的是，与其他洪水类型（例如，洪水泛滥，包括大量的伤亡[5]。造成这种后果的主要原因是，*通讯作者。电子邮件地址：feifeizheng@zju.edu.cn（法国）Zheng）。城市山洪灾害过程具有突发性强、强度大的特点，往往导致防洪资源配置不足、疏散延误[6]。为了减轻城市洪水的影响，在过去的几十年中提出了许多不同的解决方案[7一种方法是开发一个实时的城市洪水预警系统，以实现准确的洪水预测，这将使防洪资源和疏散能够及时运作。然而，与实时城市洪水预警系统相关的一个重大挑战是缺乏具有高时空分辨率的城市降雨数据[11，12]。数据的缺乏是因为城市降雨过程往往是复杂的，因为它不仅受到大规模陆地-海洋相互作用的影响，而且还受到当地气象演变的影响因此，城市降雨事件往往呈现出复杂的时空分布https://doi.org/10.1016/j.eng.2021.11.0212095-8099/©2022 THE COMEORS.由爱思唯尔有限公司代表中国工程院和高等教育出版社有限公司出版。这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可从ScienceDirect获取目录列表工程杂志首页：www.elsevier.com/locate/engH. Yin，F. Zheng，H.- F. Duan等人工程21（2023）162163×特性.例如，Berg等人[14]和Wasko和Sharma[15]已经指出，许多观测到的降雨事件的时间分布在气候变化中变得更加陡峭，并且强度可以在短时间内显著变化（例如，10分钟）。在降雨空间性方面，有报道称，空间距离为3-5 km的城市极端降雨的时空特性会显著影响城市洪水的分布特征，包括不同城市区域的淹没范围、水深和洪水时间[19，20]。因此，为了考虑降雨事件的时空特征，开发实时城市洪水预警系统是非常重要和必要的[21]。这种系统使用实时降雨数据（即，1分钟分辨率）与整个城市的高空间分辨率（即，100米100米），洪水预测可以在时间和空间上准确。这些准确的洪水预测可以随后被用来使防洪资源的有效运作和有效的疏散策略的发展。城市实时洪水预警系统由实时降雨数据和高效的水文水力模型组成。由于近年来计算技术的快速发展，后者的挑战较小[22]。 有许多不同的方法可用于获取或预测城市降雨数据。这些方法可以分为两类：基于模型的方法和基于设备的方法。基于模型的方法，如天气研究和预报模型（WRF）[23]或全球气候模型（GCM）[24]，通常无法提供准确的降雨量估计，并具有较高的时空分辨率。基于设备的方法包括地面雨量站[26]、天气雷达[27]和卫星遥感[28]。地面雨量站可以准确测量雨量数据，但由于城市地区的雨量站数量有限，空间分辨率通常较低[29]。天气雷达可以根据电磁波的散射效应以高时间分辨率预测雨强[30]。然而，由于降雨垂直分布不均匀、电磁波异常传播和高层建筑物等多种影响因素，天气雷达方法的预报精度无法保证[27]。更重要的是，由于许多国家的地面雷达站数量往往很少，这种方法提供的空间覆盖范围往往有限。相比之下，卫星遥感方法可以在大空间覆盖范围内提供降雨预测，但其时空分辨率在城市尺度上往往不足[31]。近年来，众包方法被认为是作为收集降雨数据的替代方式，包括在移动的汽车中使用智能雨刷（例如，特斯拉汽车）[32]或带有声学传感器的智能雨伞[33]。最近，Jiang等人提出了一种新方法。[34]根据普通监控摄像机获取的视频更具体地说，研究人员开发了一种凸优化算法来有效地分解下雨的图像，然后通过几何光学和摄影分析来估计降雨强度[34]。虽然这些众包方法很有趣，但由于相关的高实现复杂性，它们在获取具有高时空分辨率的降雨数据方面的广泛应用是困难的[32]。这项研究提出了一种新的方法，使用基于图像的深度学习模型来测量具有高时空分辨率的城市降雨数据。所提出的方法的动机是：①降雨事件的图像在城市中广泛可用，因为它们可以以非常低的成本从交通摄像机、安全摄像机和智能手机获取;②降雨图像在整个城市中具有高度的时间和空间分布可以通过使用现有的传感器（相机）或通过公民科学（智能手机）获得在这项工作中，一种称为卷积神经网络（CNN）的深度学习方法被用来根据从城市传感器收集的图像预测降雨强度近年来，深度学习方法在环境遥感[35]和地球系统科学[36]领域得到了广泛的应用，证明了它们在解决这些领域传统挑战方面的巨大潜力在这些深度学习方法中，CNN越来越多地用于水文气象学领域，其应用包括提高厄尔尼诺发生的预测准确性[37]，预测河水中的蓝藻浓度[38]，从流场图像中提取速度和压力场[39]，以及加速城市洪水模型计算[40]。然而，据我们所知，这是第一次将CNN用于基于城市传感器的高时空分辨率降雨建模该方法的最大特点是在获取高度时空化的城市降雨数据时具有极低的成本，这使得开发实时洪水预警系统成为可能。此外，这些降雨量数据可用于了解气候变化和城市化如何影响城市规模的当地水文循环。由于近年来城市“数字孪生”的发展趋势是对各种类型的城市感觉数据进行同化和整合，因此，预计所提出的总体估计方法将有希望减轻城市噪音特别是闪光噪音的影响。本文的其余部分组织如下。第2节介绍了所提出的方法的方法，并提供了所提出的基于图像的降雨CNN（irCNN）模型架构的概述。第3节介绍了模型开发的数据，第4讨论了模型训练和验证。第最后一节介绍了结果和讨论。2. 方法2.1. 的方法框架图1说明了所提出的方法的总体概念，其中包括收集降雨图像和模型开发和应用。在降雨事件中，大量图像首先从现有的传感器中收集-主要是在城市中广泛安装的公共摄像机（图1）。随后，所提出的irCNN模型被用来预测基于这些图像的降雨强度。最后，每个分析位置的降雨强度（即，每个位置，Fig. 1. 提出的方法的概念。H. Yin，F. Zheng，H.- F. Duan等人工程21（2023）162164×·×提供雨量图像），从而获得具有高时空分辨率的雨量数据。由于以下问题，基于图像的降雨模型的发展是令人困惑的：①来自不同城市位置的降雨图像具有不同的背景;以及②单个位置的背景可以由于天气和环境状态的变化而变化（例如，交通）。幸运的是，CNN模型在图像识别方面表现出了很强的能力，正如人工智能领域所证明的那样[41，42]。因此，本研究采用CNN模型框架。所提出的方法的整个过程包括模型设置，数据采集模型开发，模型训练和验证。在模型设置阶段，提出了irCNN框架，其中回归层被添加到现有的CNN架构中，以在结果中生成连续值。考虑到CNN参数的数量很大，在使用irCNN估计降雨强度之前，使用开源ImageNet数据集对irCNN进行预训练随后，收集降雨数据用于irCNN模型开发，并以预训练的框架为条件，数据源包括合成降雨图像，智能手机图像和原位相机图像。然后，这些数据用于进一步训练irCNN。最后，验证了模型2.2. 基于图像的降雨CNN模型的建立2.2.1. 所述CNN模型CNN是一种典型的深度学习方法，最初是为文档和图像识别而开发的[43]。CNN模型是一种基于表示学习的方法，其特征在于使用多级表示（即，参数）来表示不同的特征级别。更具体地说，CNN模型可以提供原始数据，并自动发现检测或分类所需的表示。图2显示了CNN模型的典型架构，通常包括输入层、卷积层、子采样层、全连接层和输出层。为了解释CNN使用的过程，给出了以下示例，该示例应用CNN来识别数字 如图 2，输入平面接收具有近似尺寸归一化的数字（由像素矩阵表示）的图像[41]。接下来，使用一组不同的卷积核（通常使用3 × 3矩阵）在卷积层内生成具有不同权重向量的多个特征图随后，子采样层用于执行局部平均或最大值，以降低特征图的分辨率和输出对原始输入的移位和失真卷积和子采样过程必须执行多次以识别输入图像的特征最后，采用完整的收集层来基于特征图生成输出（0到9的数字的概率值得注意的是，每次会议的特色地图数量需要基于规则来预先指定选择层和子采样层CNN架构的细节可以在参考文献中找到[43]第43段。由于过去几十年计算能力的快速发展，在计算机科学和工程的研究领域中提出了许多CNN模型变体，包括AlexNet[44]，视觉几何组网络（VGG）[45]和残差网络（ResNets）[42]。这些模型已被证明是有效和高效的分类图像和检测复杂图像中的对象[46，47]。2.2.2. irCNN模型基于典型CNN结构的总体框架，本研究提出了一个irCNN模型，其目的是基于降雨图像估计降雨强度。从直观的角度来看，降雨强度可以通过图像中雨滴的密度和大小来表示。换句话说，具有相对大的雨滴密度和大小的降雨图像通常与较大的降雨强度相关联，反之亦然。这种关系可以用数学表示如下：I¼ fZd;s 1其中I是降雨强度（mm h-1）;Z是降雨图像;d和s分别是雨滴的密度和大小;f表示降雨图像和降雨强度之间的潜在非线性关系，必须使用CNN模型导出在文献中，已经开发了许多不同的CNN类型，它们在模型架构方面有所不同，例如层数，卷积核的大小，启用子采样的方式等;更多细节在He等人的工作[42]第42段。在这项研究中，irCNN模型基于ResNet34模型类型（其中34表示模型中共有34层），该模型已广泛用于计算机科学和工程[42]。更重要的是，ResNet34模型已被证明在许多应用中比其他替代方案（如AlexNet（2012年开发），VGG 16（2014年开发）和Graph NN）表现更好[48，49]。图3概述了irCNN模型架构，共有38层（包括额外的输入和输出层）。如图所示，ResNet34模型过程从带有照片的输入图像开始（L= 1，其中L是irCNN模型中的层数在第二层（L= 2）中，64个卷积核（每个卷积核是一个7 × 7矩阵）用于为原始输入图像生成64个不同的特征图（图2中的平面）。然而，应当注意，通过在子采样过程中每两列移动（卷积步长s= 2）来将卷积核应用于输入图像的像素矩阵，因此，卷积和子采样在第二层（L = 2）中联合执行，这也是L = 10，18和30的情况，如图中的绿色块所示。3.第三章。在irCNN模型架构中（图 3），共29个卷积-使用具有相同卷积核的标准层（不包括具有二次采样过程的层）（黄色块）图二. 用于数字识别的典型CNN架构，其中每个平面都是一个特征图。H. Yin，F. Zheng，H.- F. Duan等人工程21（2023）162165×××B图三.所提出的irCNN模型的架构。大小（3 × 3矩阵），但特征图的数量不断增加（范围从64到512）。irCNN模型中使用了两个特殊的子采样层（L = 3和36）（图中的蓝色块）。 其中L = 3和36分别标识特征图的每个3 × 3矩阵的最大值（最大子采样方法）和平均值（平均子采样方法）。值得注意的是，图1中使用的每个卷积核的值。 3必须进行校准，因此总共需要校准6.310 7个参数。ResNet34模型的这种特定架构是由He等人[42]基于全面的模拟分析提出的。在irCNN模型架构内，遵循He等人的工作，使用深度残差学习方法[42]，以解决退化问题（即，早熟收敛），这是CNN模型应用中经常存在的问题。更具体地说，涉及快捷连接（图3中的红色箭头线），irCNN模型架构，其中快捷连接跳过两层，如图3所示。这些快捷连接简单地执行身份映射，其输出被添加到堆栈层的输出（图1）。 3）。典型的CNN模型主要用于对象分类;因此，将回归层（图3中L= 37）添加到所提出的irCNN模型中，以估计降雨强度。这种适应可以表示如下：^I¼W TXb2其中I表示预测的降雨强度;W表示线性回归层的参数，该参数将自动在irCNN模型的训练过程中自动确定;X表示前一层（L= 36）的输出（a向量）;b表示偏置项。由于要校准的irCNN模型参数数量很大，因此充分的模型训练需要大量的降雨图像，而这在本研究中是不可用的。为了解决这个问题，一个名为ImageNet的开源数据集，由1000个类和128万张图像组成，用于预训练irCNN模型来分类目标（例如，不同的动物）在这些图像[50]。换句话说，irCNN模型首先在与降雨无关的图像上进行训练，因为它们在很大程度上是可用的;因此，在预训练过程之后可以获得irCNN参数的近似值[50]。完成后，基于降雨图像数据的后续训练（第3节）确定最终的CNN参数值。上述方法通常用于CNN域[42]，因为尽管图像包含不同类型的对象，但所有这些对象都具有与其检测和分类相关3. 用于irCNN模型开发的降雨数据采集3.1. 合成雨图像共有4000张不同的公开可用的图像[51]用于生成合成降雨图像。这些公共图像被认为是背景层;然后使用图像处理软件Photoshop CC2017[52]添加H. Yin，F. Zheng，H.- F. Duan等人工程21（2023）16216681Dt4064.Σ雨滴层（即，噪声层）到这些图像。在雨滴层内，一系列不同的雨滴密度、大小和角度（即，风的影响）可以被认为产生足够多样的降雨事件。经过初步分析，雨强主要受雨滴密度和大小的影响（公式1）。（1）），我们假设雨滴密度、大小和强度之间的映射关系如下：使用上述方法生成两个不同的合成数据集，背景图像取自参考文献[51]。两个合成数据集的详细信息如下所示。合成数据集1（SD1）：该数据集用于研究背景多样性的增加如何影响模型性能。在SD1中，验证子数据集由1000张具有不同背景的降雨图像组成。这些是通过使用1SI¼ 100d×16sð3Þ100个不同的背景图像，每个图像由噪声层叠加（即，雨层），具有十个不同的SI值（从10到19，分辨率为1）。对于训练子数据集，背景图像的数量（N）从式中SI为合成降雨强度，无量纲，d表示背景层上的雨滴密度，其被定义为噪声点的像素相对于总像素的比率。在Photoshop CC 2017中，d的范围从0.1%到100%;因此，100d的范围从0.1到100。在本研究中，d被限制在10%-19%范围内，分辨率为1%，导致总共10个不同的SI值。将d限制在10%由方程式（3），s表示雨滴大小，其被定义为雨滴层的面积与背景层的面积之比[52]。在这项研究中，三个不同的s值-即350%，400%和450%-用于雨滴大小;其中，s= 400%被认为是默认雨滴大小，因为与真实雨滴大小相比，该大小被视觉判断为最合适[52]。我们使用以下策略来改变雨图像中雨滴的大小：首先，雨滴层被叠加到具有特定背景的图像的背景层上，使用s= 400%。通过增大或缩小雨滴层的面积，雨滴大小s可以以变化率k增大或减小，其中面积变化率为k2。这种变化导致相应的减少或增加的d的值与k2的速率作为在背景层中的雨滴的数量然而，SI值在Eq.（三）、例如，当s从400%增加到450%时，雨滴层的面积增加了452¼81，而背景层上的雨滴密度减少了64;因此，SI值保持不变（公式10）。（3））。100至1200，分辨率为100;背景图像从总背景数据集中随机选择。这里，应当注意，对于特定的N，每个背景图像只能被选择一次，并且在验证数据中使用的图像不在训练子数据集中使用。随后，对于每个背景图像，使用十个不同的SI值来生成降雨图像，在SD1中产生12个训练子数据集。例如，如果N= 500，则总共产生5000个降雨图像，全部具有不同的背景。其他详细信息见表1。合成数据集2（SD2）：该数据集用于研究降雨强度多样性的增加如何影响预测性能。SD 2的验证子数据集与SD 1中使用的子数据集相同。对于训练子数据集，背景图像的数量是固定的;从十个SI值中选择一系列不同大小的不同降雨强度组合（C更具体地说，在本研究中，C的大小从2（两个SI值的组合）增加到10（所有可用SI值的组合对于C中的每个SI值，固定的800个背景图像被联合用于使用上述方法产生合成图像SD2的其他详细信息见表2。3.2. 来自智能手机的真实降雨图像为了进一步验证irCNN模型的性能，在中国浙江大学校园的降雨事件中使用智能手机收集了真实的降雨图像，如图5所示。一个时间分辨率为1分钟，雨强精度为0.1毫米的翻斗式雨量器安装在校园内，位置如图所示。 五、在降雨事件期间，便携式当量（3）用于生成合成降雨图像的降雨强度，这些图像相应地用作irCNN模型开发的数据标签。图4显示了三幅合成降雨图像，它们是为同一背景层生成的，但雨滴密度不同。对于给定的雨滴密度，其分布和相对大小遵循高斯分布，如Photoshop CC2017教程中所述[52]。而Eq.（3）在本研究中，假设（1）是雨滴密度、大小与降雨强度之间的映射，其他映射方程也可以很容易地应用来合成降雨图像。见图4。具有增加的SI值的效果的合成雨图像的示例：（a）SI = 10;（b）SI = 13;和（c）SI = 18。智能手机在不同地点如图5所示。值得注意的是，雨量器以每1分钟一次的分辨率记录下的模拟雨量，但照片的曝光时间非常短（约1/200秒）;这导致雨量器记录的雨量与智能手机上的照片捕捉到的真实强度之间可能不匹配。针对这一问题，我们采用线性插值方法来估计降雨强度。由于其非常简单，在这项工作中使用了线性插值;然而，未来的研究应该开发和使用更先进的降雨降尺度方法，以进一步提高irCNN模型的预测性能。如示于图图6中，记录时段（从T0到T0 + Dt，本研究中Dt = 1min）的每个中间时刻（TL时刻的IL和TR时刻的IR）的降雨强度被假定为该时段结束时（图6中T0 + Dt，T0 + 2Dt）的累积降雨深度所测量的强度。这之后是使用以下等式估计在照片捕获时间t处的ItItILt-tLIR-IL42H. Yin，F. Zheng，H.- F. Duan等人工程21（2023）162167表1应用于SD1的五次irCNN模型运行的性能指标的平均值（验证性能）。图像中不同背景的数量MAE MAPE（%）R2NSE KGE1001.077.670.770.750.872000.735.270.880.870.873000.624.470.910.910.904000.604.280.910.910.915000.574.100.920.920.926000.564.010.910.910.967000.543.850.930.930.968000.543.810.940.940.969000.543.800.940.940.9510000.533.730.930.930.9611000.523.650.940.940.9612000.523.680.940.940.96MAE：平均绝对误差; MAPE：平均绝对百分比误差;R2：决定系数;NSE：表2应用于SD2的五次irCNN模型运行的性能指标的平均值（验证性能）。SI数量所选SIMaeMAPE（%）R2NSE KGE2SI = 10，191.4710.290.810.590.65SI = 13、161.4510.560.780.610.47SI = 14、152.0615.040.800.280.17平均1.6611.960.790.490.433SI = 10、15、190.775.480.900.880.90SI = 11、14、170.845.710.880.860.81SI = 13、14、151.6811.780.840.480.34平均1.097.660.880.740.684SI = 10、13、16、190.624.300.920.910.96SI = 13、14、17、180.947.440.870.820.71SI = 13、14、15、161.309.500.880.690.50平均0.957.080.890.810.725SI = 10、12、15、17、190.543.810.940.930.98SI = 12、14、15、17、180.755.770.920.890.78SI = 13、14、15、16、171.078.290.900.770.59平均0.795.960.920.860.786SI = 10、12、14、15、17、190.563.910.930.920.97SI = 11、12、14、15、16、180.584.120.940.930.88SI = 12、13、14、15、16、170.835.950.920.870.73平均0.664.660.930.910.867SI = 10、12、13、15、16、18、190.533.670.940.940.97SI = 11、12、14、15、17、18、190.564.050.930.930.93SI = 11、12、13、14、15、16、170.755.090.920.880.80平均0.624.270.930.920.908SI = 10、11、13、14、15、16、18、190.533.690.940.940.96SI = 10、12、13、14、16、17、18、190.533.760.940.940.97SI = 11、12、13、14、15、16、17、180.604.320.930.920.87平均0.563.920.940.930.939SI = 10、11、12、13、14、16、17、18、190.513.620.940.940.95SI = 10、11、13、14、15、16、17、18、190.533.730.930.930.96SI = 10、11、12、13、14、15、16、17、180.573.910.930.920.92平均0.543.750.940.930.9410SI = 100.543.890.940.940.95其中It为拍摄时间t时的降雨强度。IL、IR、tL和D t都在图1中示出。六、智能手机拍摄了2020年5月至7月期间在图1所示地点发生的11次降雨事件的图像。 五、结果共产生960幅不同背景的雨量图像. 图 7提出了四个例子的降雨图像与强度估计使用的方法在图6和方程。（四）、随机选择上述图像中的768张（80%）来训练irCNN模型;其余192张（20%）图像用于验证模型性能。3.3. 现场监控摄像头拍摄的真实降雨图像在本研究中，在图5所示的位置安装了一台现场监控摄像机，以拍摄降雨视频。2020年6月和7月发生的六次降雨事件被记录下来，现场摄像机，视频被用作补充材料。降雨视频被分成具有1秒分辨率的降雨帧静态图像），以实现所提出的irCNN模型的应用降雨强度数据取自图1所示的雨量器。 5;中 描 述 的线性插值方法H. Yin，F. Zheng，H.- F. Duan等人工程21（2023）162168图五. 用于收集降雨图像的传感器（智能手机和相机）的位置。见图6。使用线性插值法估算任意给定时间t的降雨强度。黑线代表线性插值结果，蓝色直方图代表记录的降雨深度。图6和Eq. 公式（4）用于为每个视频帧分配降雨强度。根据六次降雨事件，从相机视频中产生了总共7117个降雨帧。在这项研究中，随机选择了5694（80%）帧来训练irCNN模型，剩余的1423（20%）帧用于测试模型的性能（该数据集表示为CD 1）。此外，六个降雨事件中的五个用于训练irCNN模型，而剩余的降雨事件用于模型验证（该数据集表示为CD 2）。4. IrCNN模型训练和验证4.1. 模型训练虽然各种深度学习模型在一系列应用中取得了成功，但由于涉及大量模型参数，模型训练通常很困难[53]。在本研究中，见图7。智能手机上的降雨图像和估计强度示例。随机梯度下降（SGD）方法用于训练irCNN模型，这是由于其先前证明的优异的效率和有效性[53]。在SGD方法中，采用循环学习率（cyclical learning rate，简称SGD）方法来加快训练过程。模型训练方法的细节可以在Ref.[53]第53段。4.2. 性能度量在水文领域广泛使用的五个指标用于衡量irCNN模型的性能[54]。这些是平均绝对误差（MAE），平均绝对百分比误差（MAPE），决定系数（R2），H. Yin，F. Zheng，H.- F. Duan等人工程21（2023）162169n.PMAE¼n我. 是的-是的。ð5Þ联系我们.R2<$i <$1i iNSE1-I10000-10000Robs-1-11X1/1LOBSNash-Sutcliffe模型效率（NSE）和Kling-Gupta效率（KGE）。MAE和MAPE的公式如下：^.1倍。Yi-Y^i。1/1Yi其中，n是数据点的总数，Yi是第i个观测值，Yi是第i个预测值。 MAE或MAPE的值越低，表示性能越好。R2、NSE和KGE的指标用于测量模型的拟合优度;这些指标的方程如下所示：. Pn .是的。Y-Y轴2Pn .Y-Ye2Pn .Y-Y-21 12 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 19 19我Pn .Y-Y^2n1/1 . Y-Y-2s2。ffiffiffirffiffiffi ffipffirffi ffieffidffiffiffiffiffiffiffiffiffiffi ffiΣffiffiffi ffi2ffiffiffiffiffiffiffi ffi.ffiffiffilffiffiffipffiffirffiffieffidffiffiffiffiffiffiffiffiffiffiffiΣffiffiffi2ffiffi其中Y是观测值的平均值;r是观测值与预测值之间的线性相关性;rpred和lpred分别是预测值的标准差和平均值;robs和lobs是标准差和平均值的观察，分别。R2、NSE或KGE的值越高，表示整体性能越好，R2、NSE或KGE = 1表示完美的模型性能。5. 结果和讨论5.1. 收敛和效率分析在这项研究中，使用Python计算机语言实现了所提出的irCNN模型。所实现的算法在具有3.3GHz的Intel Core i9- 9820 X和32 GB随机存取存储器（RAM）以及NVIDIA RTX 2080 Ti 11 GB图形处理单元（GPU）的个人计算机（PC）上运行。应该注意的是，irCNN模型是使用名为ImageNet的开源数据集进行预训练的[50]。换句话说，下面的收敛性和效率分析是以预训练的irCNN模型为条件的。图8（a）显示了应用于合成数据集SD 1的所提出的irCNN模型的收敛轨迹，其中训练损失的最小化是目标函数，如Smith和Topin[53]所定义的。如图所示，虽然不同的模型运行可能表现出不同的收敛特性，但它们都能够在10-50个训练时期之间达到收敛 此外，发现尽管具有相对低数量的背景图像的irCNN模型（即，低背景多样性）趋向于在大量训练时期内收敛，每个训练时期需要相对低的时间预算。使用上述计算机配置，应用于合成数据集的每个irCNN模型运行图8（b）显示了应用于智能手机真实降雨图像的irCNN模型的收敛轨迹。可以看出，真实数据所需的训练时期的数量此外，前者的每个训练时期需要大约3分钟，这明显长于见图8。所提出的irCNN模型的收敛轨迹运行：所提出的模型的收敛轨迹应用于（a）合成数据集SD 1和（b）来自智能手机的真实降雨图像。对于合成数据集。这是由于真实降雨图像中存在的噪声，这大大增加了训练难度。如图8（b）所示，所有irCNN模型运行都在3小时内成功收敛，使用前面提到的计算机配置。可以对应用于合成数据集SD2的irCNN模型以及由现场监视相机获得的真实降雨图像进行类似的观察。记录使用训练的irCNN模型估计降雨强度所用的时间。虽然不同的输入降雨图像略有不同，但irCNN模型需要1-2秒以提供100幅图像的降雨强度估计。这一发现强调了irCNN模型在使用历史数据城市地区的观察。5.2. IrCNN模型在合成降雨图像上的性能表1显示了应用于合成数据集的irCNN模型的性能指标，其中提供了验证数据的指标值。可以看出，对于SD 1中的每个固定数量的背景图像，执行具有不同随机选择的背景图像的五个不同模型运行，得到表1中所示的平均性能度量值。值得注意的是，对于固定数量的背景图像，不同的模型运行显示出性能度量值的低变化（此处未示出）。如表1所示，irCNN模型性能总体良好（例如，如果能保证足够的背景多样性，R2、NSE和KGE的平均值均在0.9以上nð6Þð7Þð8ÞKGE¼ 1-þþ.ð9ÞH. Yin，F. Zheng，H.- F. Duan等人工程21（2023）162170····模型训练过程。此外，当背景图像的数量从100增加到600时，irCNN模型的性能得到改善，随后随着背景图像数量的进一步增加，整体模型性能相似换句话说，只要使用足够数量的不同背景图像进行模型训练，irCNN模型就可以将雨滴与背景图像区分开根据表1所示的结果，我们决定使用800张固定背景图像来分析SD2中的合成数据，即调查不同降雨情景对模型性能的潜在影响。表2列出了应用于SD 2中每个数据子集的5次模型运行的验证数据的平均性能指标值。如表所示，降雨情景的数量对模型性能有很大例如，如果SI的数量为9，则irCNN模型运行的平均MAE、MAPE、R2、NSE和KGE（对于验证数据）分别为0.54、3.75%、0.94、0.93和0.94。与考虑两个或三个不同SI值的情况相比，这表示显著改进的性能，如表2所示。根据表2，对于固定的SI值集合，如果所选择的备选方案可以覆盖总选项的大跨度，则irCNN模型的性能提高。这一发现表明，irCNN模型可能无法为降雨强度超出训练数据集中提供的降雨强度的sce- narios提供准确的估计。这种限制对于大多数机器学习方法来说都是典型的，因为它们在插值方面的表现往往比在用于训练的数据集之外进行外推要好得多。根据表2所示的结果，可以得出结论，降雨情景的多样性和降雨强度的跨度对模式的性能有很大的影响。这一发现意味着收集足够多的具有不同降雨强度的事件对irCNN模型的性能至关重要。5.3. IrCNN模型在智能手机表3显示了基于应用于智能手机捕获的真实降雨图像的irCNN模型的验证结果为了能够进行严格的分析，使用不同的随机选择的训练数据进行五次运行;结果在表3中给出。该表显示，虽然度量值在不同的运行中可能略有不同，但在实际中都可以接受，以准确确定降雨强度。这一结果反映在irCNN模型模拟3.79mm h-1降雨时MAE、MAPE、R2、NSE和KGE的平均值分别为18.53%、0.96、0.95和0.91图9描绘了表3中所示的试验3的结果的预测与观察，其中红线表示完美的模型性能。如图所示，尽管存在一些差异，但irCNN模型预测与降雨强度观测结果总体上匹配良好。这一结果表明，irCNN模型在实践中可以提供可接受的降雨强度估计图9.第九条。基于irCNN模型的预测与观测，应用于智能手机的真实降雨图像（验证数据）。基于智能手机捕捉的降雨图像。虽然这种估计可能不如地面雨量站的估计准确，但可以以较低的相关成本获得较高的时间和空间分辨率。5.4. IrCNN模型在来自监控摄像机的监控摄像头共记录了6次降雨事件（详情见表4）;如前所述，这些视频被分割成1 s分辨率的帧，以启用irCNN模型应用表4概述了根据雨量计1分钟分辨率记录计算的每次降雨事件的持续时间、平均根据参考[14]，大于0.1 mm min-1的降雨量数据（即，6 mm h-1）用于irCNN模型开发。值得注意的是，杭州（安装监控摄像头的城市）经常在6月至7月期间发生暴雨突发事件，因此，记录的事件主要是持续时间相对较短的极端降雨事件，如表4所示。这样的降雨事件更有可能导致山洪暴发比平均降雨事件，因此，他们的时空强度值在城市地区的实时防洪（这是本文的重点）是很重要的然而，未来的研究还应该验证irCNN模型在估计平均降雨事件的降雨强度方面的持续时间长的低强度事件）。五个不同的模型运行，不同的随机选择进行训练数据;验证结果见表5。如表所示，irCNN模型可以根据监控摄像头的真实降雨图像提供合理准确的降雨强度估计，MAE，MAPE，R2，NSE和KGE的平均值分别为3.10 mm h-1，16.54%，0.92，0.92和0.95。试验4的irCNN模型预测与观察结果（表5）见图5。 10个。而表3irCNN模型运行的性能指标值应用于智能手机的真实降雨图像（验证结果）。试验次数MAE（mm·h-1）MAPE（%）R2NSEKGE14.1618.110.950.930.9023.9219.270.950.940.9033.3617.890.970.960.9343.9116.300.960.940.9153.5821.080.960.960.92平均3.7918.530.960.950.91H. Yin，F. Zheng，H.- F. Duan等人工程21（2023）162171·表4监控摄像头记录的六次降雨事件的细节降雨事件日期持续时间（分钟）平均雨强（mm·h-1）最大雨强（mm·h-1）12020/6/211716.942.022020/6/216919.066.032020/6/262122.360.042020/7/101211.036.052020/7/161813.742.062020/7/263323.660.0表5irCNN模型的性能指标值应用于来自监控摄像头的真实降雨图像（验证结果）。试验次数MAE（mm·h-1）MAPE（%）R2NSEKGE13.0215.780.910.910.9423.2117.170.910.910.9532