基于虚拟近红外通道的深度学习方法进行植被分割

农业中的人工智能6（2022）199基于虚拟近红外通道估计的深度卷积神经网络RGB图像受损植被分割Artzai Picona，Arantza Bereciartua-Pereza，Itziar Eguskizab，Javier Romero-Rodriguezc，Carlos Javier Jimenez-Ruizc，Till Eggersd，Christian Klukasd，Ramon Navarra-MestredaTECNALIA，巴斯克研究和技术联盟，Parque Tecnológico de Bizkaia，C/Geldo。Edificio700，E-48160 Derio-Bizkaia，西班牙b西班牙毕尔巴鄂市Plaza Torres Quevedo巴斯克大学，邮编48013cBASF Espanola S.L. Carretera A376，41710 Utrera塞维利亚，西班牙dBASF SE，Speyererstrasse 2，67117 Limburgerhof，Germanya r t i c l e i nf o文章历史记录：2022年6月30日收到收到修订版，2022年9月12日接受， 2022年2022年9月24日网上发售保留字：植被指数估算植被覆盖图近红外估算卷积神经网络深度学习a b s t r a c t对植被进行准确和自动的语义分割是迈向更复杂模型的第一步算法，这些模型可以提取有关作物健康，杂草存在和物候状态等的准确生物信息。传统上，基于归一化差异植被指数（NDVI），近红外通道（NIR）或RGB的模型已经是植被存在的一个很好的指标。然而，这些方法不适合于准确地分割显示损害的植被，这排除了它们用于下游表型分型算法。 在本文中，我们提出了一个全面的鲁棒的RGB图像，可以应付受损植被分割的方法。该方法由第一回归卷积神经网络组成，以从RGB图像估计虚拟NIR通道其次，我们计算两个新提出的植被指数从这个估计的虚拟近红外：红外暗通道减法（IDCS）和红外暗通道比（IDCR）指数。最后，RGB图像和估计的指数都被馈送到语义分割深度卷积神经网络中，以训练模型来分割植被，而不管损害或状况如何。该模型进行了测试，84个地块，其中包括13个植被物种表现出不同程度的损害，并获得超过28天。 结果表明，当输入图像用虚拟NIR通道（F1=0：94）和IDCR和IDCS植被指数（F1=0：95）增强时，得到的分割效果最好，而仅使用图像或RGB植被指数（RGB（F1 =0：90）、NIR（F1=0：82）或NDVI（F1=0：89）通道）的分割效果较差。该方法提供了一个端到端的土地覆盖图分割方法，直接从简单的RGB图像，并已成功地在实际领域的条件下进行了验证版权所有© 2022作者。出版社：Elsevier B.V.我代表科爱通信公司，公司 这是CC BY许可下的开放获取文章（http://creativecommons.org/licenses/by/4.0/）。1. 介绍植被覆盖图估计作为更复杂算法的第一阶段是非常重要的，该算法旨在自动评估作物状态、测量营养物的影响、评估作物中的胁迫情况或量化现有农业实践的影响（Bendig等人，2015;Picon等人，2022年a）。 生成准确的植被分割图服务于其他算法和模型，以在该分割的分割图上执行后续和精确的评估，例如损害估计（Picon等人，2019 a）、杂草分析（Picon et al.，2022a）或瘟疫的存在（Bereciartua-Pérez等人，2022年）等。传统上，植被指数计算（Bannari等人， 1995年，被用于植被覆盖率的估算。叶宿存*通讯作者。电子邮件地址：artzai. tecnalia.com（A.Picon）。在可见光（450-750 nm）范围内具有特别低的反射率，其余的可见光波长只有少数代表。这鼓励研究人员通过结合更多的光谱波长而不仅仅是可见光范围内的波长来定义植被指数在2014年的研究综述中，Li et al.等人（2014）声称，叶叶肉-我们可以想象为叶纤维组织-反射可见光谱中的低光，但对近红外（700-1200 nm）具有主要贡献。此外，他们说，近红外辐射可以穿透植物冠层从上部叶片到下部叶片，这使得实际结构决定了最终的近红外反射率。冠层结构是由叶片厚度、重叠度、高度和生长习性等因素组成的。这就是为什么近红外被认为最适合于估计植物生物量的主要原因事实上，许多植被指数（VI）涉及https://doi.org/10.1016/j.aiia.2022.09.0042589-7217/© 2022作者。Elsevier B.V.代表KeAi Communications Co.提供出版服务，这是CC BY许可证下的开放获取文章（creativecommons.org/licenses/by/4.0/）。可在ScienceDirect上获得目录列表农业中的人工智能杂志主页：http://www.keaipublishing.com/en/journals/农业人工智能/A. Picon，A.贝雷西亚图阿-佩雷斯岛Eguskiza等人农业人工200¼近红外反射率与其他光谱和通道的组合用于植被-土壤区分的广泛使用的通道是归一化差异植被指数-NVDI-（Rouse等人，1974），其是NIR和用于视觉照相机的通常RGB颜色编码的红R通道的组合。这些植被指数不仅用于推断植物覆盖图或生物量。生物量相关植被指数，如Gitelson等人报告的绿色生物量。（2003），可以提供关于叶覆盖、叶面积指数、每地面面积的叶绿素和利用NIR和RGB通道的组合的辐射截取分数的信息。 这些组合包括广为人知的NVDI，但也包括简单比率（SR）、红边（λRE）、光化学反射率指数（PRI）、结构独立颜料指数（SIPI）等。 他们注意到，通过测量水位、色素、生物量等指标，他们可以推断植物是否遭受疾病，是否有火灾或盐胁迫等情况的风险几项研究试图将基于光通道的NDVI和其他植被指数（VI）与植被覆盖估 计 相 关 联 （ Price ， 1992; Huete 等 人 ， 1997; Wu 等 人 ， 2007;Zhengwei等人，2009; Roth和Streit，2018; Devia等人，2019; Ren和Zhou，2019）。其中大多数是基于获得不同光通道的土壤和叶片反射率的实验数据，并将这些反射率与这些通道的组合（称为植被指数）相关联。他们还试图通过线性和非线性回归分析将这些植被指数与实际生物量测量值（鲜重、干重）相上述研究工作通过逐像素线性或非线性回归分析将不同的VI与实际生物量加权相关联另一个问题是，除了标准RGB通道之外，还需要NIR图像通道来获得这些植被指数。这提出了两个重要的缺点：第一，这些相机的高价格和低可及性，这通常伴随着终端用户缺乏特定知识的可用性其次，不可能解决需要标准、低成本设备或光采集设备的特定用例。 这与无人驾驶飞行器（UAV）特别相关，例如无人机或基于手机的应用（Johannes等人， 2017年）等。然而，这些指数缺乏生成复杂模型的能力（Hemming和Rath，2001年），因为它们是基于单像素信息的。基于图像处理的方法将空间信息集成到RGB图像或植被指数通道上，可以处理复杂的任务，例如物种识别（Hemming和Rath，2001年）、疾病分类（Johannes等人，2017; Huddar等人， 2012）、昆虫计数（Bereciartua-Pérez等人，2022年）等。然而，随着深度学习技术的出现，基于图像处理的模型已经能够以与人类相同或更高的性能执行复杂的图像识别任务（Picon等人，2019 a）在放射学等场景中（Yala等人， 2019），棋盘游戏（格兰特等人，2017年）等。在精准农业中，深度神经网络已成功用于害虫分类 （ Picon 等 人 ， 2019 a; Picon 等 人 ， 2019 b; Argüeso 等 人 ，2020）、作物和杂草分割（Milioto等人，2018; Sa等人，2018; Picon等人，2022a），昆虫计数（Bereciartua-Pérez et al.， 植被指数与图像处理和分析算法的结合已成功用于更复杂的应用，如森林动态分析（Sader和Winne，1992年）、灌溉水稻制图（Nguyen等人，2012）、环境质量分析（Fung和Siu，2000）或作物识别（Jakubauskas等人，2002年）。 尽管这些基于RGB 的模型 已经 证明 能够 执行 植被分割（Hassanein等人，2018; Netto等人， 2018年），他们还没有进行测试，以分割受损植被。2. 相关作品克服对特定多光谱采集设备的需求的研究路线之一是生成能够从RGB图像虚拟地估计近红外通道的算法在从这个意义上说，几位作者在过去几年里一直在这一领域工作。大多数作者仅使用像素信息并基于该像素的红色、绿色和蓝色通道的值来推断NIR通道（Rabatel等人，2011 a; Rabatel等人，2011年b）。 在这个意义上，Arai等人（2016）发现了NIR和绿色通道之间的线性相关性，使他们能够通过回归分析使用传统的RGB相机估计NIR反射率。 此外，他们使用安装在无人机上的可见光相机的图像计算了NDVI指数，其他作者分析了高光谱端元，以开发基于像素的方法来估计来自RGB数据的NIR图像（de Lima等人，2019年）。这些方法，虽然简单和快速，不利用包含在像素邻域的空间信息 这些强度水平关系包含关于视觉形状和纹理的信息（Picón等人，2009; Picon等人， 2011），其允许NIR通道的更准确估计和图像处理方法的更好性能。一些更现代的研究整合了从RGB像素中发现的空间信息来推断NIR通道。例如，Khan et al. （2018）; Lima等人， 2019提出了一种通过神经网络估计几个植被指数的方法。然而，他们使用的神经网络不估计像素级分辨率的植被指数，仅估计整体的平均植被指数平均测定系数为R20： 92。最近的方法利用卷积神经网络进行NIR信道估计。例如，Aslahishahri et al.（2021）和de Lima et al. （2022）采用pix2pix（Isola等人， 2017）来准确地估计来自基于UNet的发生器的RGB图像的NIR通道（Ronneberger等人，2015年）。这些pix2pix方法已经成功地扩展到医学领域（Picon等人，2021; Picon等人，2022 b）通过采用更有效的损失函数和基于全卷积DenseNet的生成器架构（Jégou等人，2017），其比传统UNet更参数有效。在这项工作中，我们提出并验证了一个端到端的方法，鲁棒损坏的植被分割RGB图像，而不需要一个红外功能的相机。该方法可以从RGB图像中估计出一个虚拟的近红外通道，并将其与扩展图像一起输入植被分割神经网络，从而获得比基于RGB的分割模型更好的分割结果，无论其受损情况如何。该方法提供了以下贡献：• 定义了两个新的植被指数：暗通道指数（IDCS）和暗通道比率指数（IDCR），这两个指数对植被覆盖度图估算植被受损情况敏感。• 一个卷积语义回归网络，从RGB图像（RGB2NIR）中估计近红外通道，可以选择性地合并对抗性损失。• 一种植被生物量覆盖度估计语义分割网络，该网络将由R、G、B通道和（估计的）NIR组成的多通道图像以及植被指数作为输入• 一个端到端的方法，采取RGB图像，估计所需的指数和分割的图像的植被覆盖图3. 材料为了开发和验证所提出的模型，选择了13个蔬菜物种：3种作物：GLXMA（Glycine max）、HELAN（Helianthus annuus）、ZEAMX（ Zea mays ） ， 7 种 阔 叶 物 种 ： ABUTH （ Abutilon theophrasti ） 、AMARE （ Amaranthus retroplaceexus ） 、 CHEAL （ Chenopodiumalbum ） 、 DATST （ Datura stramonium ） 、 POLCO （ Fallopiaconvolvulus ） 、 POROL （ Portulaca oleracea ） 、 SOLNI （ Solanumnigrum）和3种禾本科物种：DIGSA（Digitaria sanguanus）、ECHCG（Echinochloa crus-galli）、SETVE（Setaria verticillata）。种植了84个地块，结合了不同物种的存在。24个小区含有GLXMA，24个HELAN和24个ZEAMX，而杂草是随机分布的A. Picon，A.贝雷西亚图阿-佩雷斯岛Eguskiza等人农业人工201在主要情节中每个作物田（地块）遵循不同的杂草控制处理以对不同物种产生损害每个绘图图像用Micasense RedEdge MX相机从2米高度采集。这款相机有五种不同的传感器：蓝色（450 nm），绿色（560 nm），红色（650 nm），红边（730 nm）和NIR（840 nm），并提供1280 x 920px的图像。由于每个图像带由不同的单色传感器拍摄，因此通过应用最小化通道之间的Mattes互信息的自适应滤波变换来共配准所获取的图像（Klein等人，2009;Shamonin等人，2014），遵循我们在Picon等人（2022 b）中进行的相同方法。在作物播种后的不同天数拍摄图像（DAS= 14、16、32、35、38、42、44、49）。约5%的图像由于采集距离短而未正确配准，并从数据集中删除，从而从84个图中获得504个 RGB-NIR从这些图像中随机选取358幅图像，使用CVAT注释工具手动分割植被覆盖度图 1显示了一些采集的图。为避免偏倚，通过绘图选择训练、验证和测试数据集的图像分布这意味着每个作物田（地块）被分配一个标识号，并且属于相同作物田（地块）的所有图像被分配给相同的数据子集（训练、验证、测试）。这确保了连续几天拍摄的同一图中的图像被分配到同一组，避免了训练集、验证集和测试集的污染随机选择80%的作物田地（地块）用于训练，而剩余的20%被分配到验证和测试集中，并且所有图像都被纳入由其作物田地（地块）编号确定的集合中，从而产生24个地块用于训练，2个用于验证，3个用于测试。4. 该方法在我们的方法中，我们提出了使用语义回归神经网络来估计一个虚拟的近红外通道从RGB图像。然后，该虚拟通道用于丰富原始RGB图像以生成用于训练多光谱植被分割卷积神经网络的该多通道图像不仅包括原始的红、绿、蓝通道和估计的虚拟NIR通道，而且还包括从这四个通道导出的不同的多光谱这背后的直觉是基于这样的事实，即NIR通道是植被的良好估计器，其对植被损害相对稳健，如图1A和1B所示。图8和图9中，植物的受损部分呈现类似的NIR响应。 将此虚拟NIR信息补充到原始RGB图像中可能有助于植被分割。所提出的方法如图所示。二、RGB图像通过RGB2NIR网络，该网络负责估计图像的虚拟近红外通道。该虚拟通道与原始RGB图像一起用于生成包含植被指数（NDVI、IDCS和IDCR）的附加图像通道这些生成的通道被聚合在多通道图像中。这种增强的和更多信息的图像馈送负责估计图像的植被覆盖图的语义分割神经网络下面，我们将介绍并详细介绍用于RGB图像上鲁棒植被分割的端到端方法的不同模块4.1. RGB2NIR：从RGB图像估计近红外通道所提出的方法的第一个模块（图1中的rgb2nir模块）被构造为： 2）负责从RGB图像估计NIR信息。为此，我们采用了完全卷积的DenseNet架构Jégouet al. （2017）类似于我们在Picon等人中使用的方法。（2021年）。 该网络结合了基于完全卷积版本的传统分割网络的描述能力，例如SegNet（Badrinarayanan等人， 2017），其中边界检测的准确性由U-Net分割网络上的跳过连接提供（Ronneberger等人，2015年）。具体地，提出的完全卷积DenseNet网络（Jégou等人， 2017）被设置为224x224像素的输入大小。Architec- ture遵循原始论文实现，其中初始卷积滤波器的数量设置为48。编码器由5个向下传输块（TD）和4个卷积层组成，每个卷积层的增长率为16。对于解码器部分，我们使用5个向上过渡（TU）层，每个层都与其相应的编码器块相链接这允许恢复输入图像的高级细节，因为这些跳跃连接将低级特征和空间信息从源域转移到目标域的详细重构图1.一、生成的图像的示例：a）RGB图像，b）红边图像，c）近红外图像，d）植物覆盖的地面实况。A. Picon，A.贝雷西亚图阿-佩雷斯岛Eguskiza等人农业人工202图二、 覆盖估计图隐藏-暗通道比指数模型图：RGB图像经过RGB 2NIR变换网络，计算出虚拟NIR通道。利用R、G、B通道和估算的NIR通道，通过相应的公式估算了NDVI、暗通道差（IDCS）和暗通道比指数（IDCR）通道。所有这些通道都用于生成多通道图像，该图像被馈送到植被分割卷积神经网络（见第4.3节）。该网络的最后一层已被S形激活函数所取代，并且损失函数已被平均绝对误差损失所取代，以便学习将图像从源域转换到目标域的逐像素回归最后一层由执行NIR重建的224x224x1组成 通过最小化平均绝对误差损失函数来训练网络，该平均绝对误差损失函数可以通过遵循pix2pix架构的对抗性感知损失函数来增强（Isola等人，2017年）。感知对抗损失函数的添加确保了所生成的图像在视觉上是合理的，并且估计的图像不能通过专门训练的网络与真实图像 Aslahishahri等人也采用了类似的方法。（2021）; de Lima等人， 2022年，包括感知对抗性损失。然而，它们使用UNet architec-ture作为生成器，这增加了可训练参数的数量。建议的全卷积DenseNet网络具有2，3 M参数，而其UNet对应网络具有24 M参数。4.2. 植被指数用于植被评估现有的植被指数植被分割植物损伤或直接光照的存在下失败 这是由于植物上损伤的存在通常会增加对特定可见波长的反射率，这使得诸如NDVI或负CIE-a的指数（Johannes等人， 2017）渠道未能适当分割不健康的植被。此外，由于图像的暗区域和照明区域之间的强度尺度变化，照明强度的变化降低了其他生物标记物（例如NIR通道）的鲁棒性。 为了克服这个问题，我们提出了两个新的指数，它们模糊地受到了暗通道先验的启发（He等人，2010; Galdran等人， 2015）方法。该方法用于估计图像上的雾度以用于图像增强的目的。它通过考虑R、G和B通道的最小值来估计雾度水平，该最小值利用图像上雾产生的白色暗通道被计算为每个像素的空间邻域上的红色、绿色和蓝色通道的最小值。然而，对于我们的方法，我们将只考虑每个像素的R，G和B通道的最小值，而不考虑它们的邻域（第4.3节）。DC在这项工作中，我们适应这个公式提出了两个新的植被指数：暗通道减法（IDCS）（方程。（3））指数，其通过减去暗通道和暗通道比指数（IDCR）来反映NIR通道的相对强度（等式（3））。（2）），其反映NIR通道相对于暗通道的强度比该公式可以被扩展用于多光谱或高光谱图像，其仅获得所有光谱范围或特定光谱范围的最小值IDCS¼NIR-最小值R，G，B，NIR值：1000IDCR¼NIR=最小值R，G，B，NIR最小值：103如果我们分析图。 3、所提出的指数与样地图像上的植被的存在相关，并且对植被上的损害的存在更鲁棒。 图图3显示了一个地块的RGB图像及其相应的NIR通道和NDVI值以及建议的IDCS和IDCR指数的示例。 可以理解的是，所提出的IDCS和IDCR植被指数可以更好地分离植被和非植被像素，甚至对于植物的不健康部分。为了获得植被-土壤分离能力的定量度量，将所提出的指数与其他指数和颜色通道进行了比较：r，g和b通道，CIELab Zhang和Wandell（1997）的CIE-L，CIE-a和CIE-b颜色通道，NDVI Rouse等。（1974）和NIR通道。 一方面，我们计算概率密度函数的交点（Lee等人， 2005）从植被和非植被类之间的指数值。该度量测量两个类别（土壤和植被）的强度值分布之间的现有重叠，示出0： 0的交叉，这是类别之间的完美可分离性，而1： 0的值指示类别之间的完全重叠另一方面，我们还测量了应用于不同类别的植被指数的假设朴素贝叶斯分类器的曲线下面积度量（Fawcett，2006）该曲线测量真阳性率与假阳性率。理想分类器将呈现1.0的ROC值，而随机分类器将产生0.5的ROC值表1显示了每个植被指数的平均结果和标准偏差。 可见，NIR、NDVI和CIE-a通道的AuC值分别为0.916、0.989和0.937，是适合于植被估算的植被指数。A. Picon，A.贝雷西亚图阿-佩雷斯岛Eguskiza等人农业人工203图3. 绘图图像：a）RGB图像，b）NIR图像，c）NDVI，d）拟议的IDCS，e）拟议的IDCR。底部特写镜头的一个不健康的叶子。然而，最好的结果是通过所提出的IDCS和IDCR估计通道获得的，其获得0.998和0.997的AuC值以及0.166和0.198的直方图交集值这可以解释为该植被指数对植物的损害和非均匀图像照明更鲁棒图图4和图5描绘了对于给定图像，包含植被的像素相对于包含其它元素的像素的强度值的概率密度分布。4.3. 植被分割卷积神经网络第二个网络与第4.1节中定义的网络具有相似的结构，用于植物覆盖估计。在这种情况下，网络大小的输入层是MxNxK，其中M和N表示输入图像的高度和宽度，K表示所使用的通道的数量在我们的例子中，输入通道的数量是K= 7。这些通道是由原始图像的R、G、B通道和所有用以前的方法（NIR、NDVI、IDCS和IDCR）估计的通道组成的该网络的最后一层由大小为M和N（MxNx2）的两个输出通道组成，类似于图像的原始大小其中一个输出通道映射用于植物覆盖分割的估计，而另一个输出通道包含其他类别。 softmax激活层，确保两个类的互斥性。该网络在分类交叉熵损失函数上最小化5. 结果5.1. RGB图像在第4.1节中定义的用于从RGB图像估计近红外通道的两个模型在以下训练集上进行训练：表1 AuC和直方图交叉值，通过整个数据集的每个图像的不同图像植被指数或通道获得。图像通道AuC（平均值）标准交叉点时间：2019 - 01 - 0500：00：002019 - 06- 21 00：00：00零点二百三十分2019 - 01 - 2600： 00：000点 117分沪ICP备16011566号-10：172© 2019-2019版权所有0：173© 2018- 2019 www.cie-b.com版权所有并保留所有权利0点 213分00：00：00 00： 00：00：000：189归一化植被指数0： 989 0： 008 0： 2610： 0812019 - 01- 18 00： 02： 060点126分时间：2019 - 01 - 0400：00：000：120在第3节中描述了100个时期的mae损失方法和40个时期的pix2pix方法。训练是在从全尺寸图像中随机提取的224x224像素图块上执行的由于图像的大小为1280x920像素，因此平铺过程确保了用于训练的约12096个平铺的等效数量，考虑到没有平铺重叠。为了在输入数据集上产生更多的可变性，对图像执行了几种增强技术，例如移位、旋转和缩放。为了模拟光变化条件，RGB和NIR强度通道乘以随机常数因子，模拟与二色反射模型（Tominaga，2020）相关的光强度变化这些瓦片被送入神经网络，如第4.1节所述。Adam optimiser被用于训练，学习率被设置为10- 5。的减少学习率是在有效期上的损失函数值时执行的动作组升高或停滞。表2显示了所提出的模型的推断结果。Pearson系数和平均绝对误差都被显示为性能度量。我们已经比较了建议的DenseNet为基础的模型与Aslahishahri等人。（2021）基于UNet模型。 我们可以认识到，指标稍好时，使用建议的DenseNet架构，而不是UNet架构。 这可能是由于DenseNet模型的参数效率更好。图1和图2中描绘了获胜模型的损失演变和回归图。分别为7和6。值得注意的是，在pix2pix相关模型中，仅描述了平均平均误差损失，因为对抗性损失是基于生成器中的竞争和对抗性损失部分之间的竞争获得的回归结果（图6）显示了真实NIR值和估计值之间的相关图使用完全卷积的DenseNet提供了比使用UNet架构更好的反射性能还可以理解的是，使用pix2pix（Isola等人， 2017）的对抗性损失不仅有助于生成更合理的图像，而且有助于减少预测与真实NIR图像之间的误差，其呈现出较低的误差率（5%）和较好的相关系数（r = 0.96）。他赞同基于pix2pix的设计方法（Aslahishahri等人，2021; de Lima等人， 2022年）。 图图8和图9示出了用于两种配置的图像块的估计的示例。可以理解的是，NIR估计是准确的，即使对于植物的受损部分，其包括沿着图像的发白坏死点5.2. 植被覆盖度图估计如第4.3节中定义的语义分割网络用于估计植物覆盖图。为此，网络在第3节中描述的训练集上进行训练。在30个时期期间从全尺寸图像中随机提取的224x224像素图块上执行训练这些瓦片被送入近红外估计A. Picon，A.贝雷西亚图阿-佩雷斯岛Eguskiza等人农业人工204图四、上图）表示目标植被指数的实地图像，下图）包含植被和不包含植被的像素对于其对应图像的各自植被指数的概率分布。A. Picon，A.贝雷西亚图阿-佩雷斯岛Eguskiza等人农业人工205图五、上图）表示目标植被指数的图像，下图）包含植被和不包含植被的像素的概率分布。A. Picon，A.贝雷西亚图阿-佩雷斯岛Eguskiza等人农业人工206表2两个近红外估计模型的性能由它们的皮尔逊系数p和平均绝对误差（MAE）给出算法名称网络损失RMaeRGB2NIR（我们的）全卷积DenseNet平均误差0.930.05RGB2NIR pix2pix（我们的）全卷积DenseNet有对抗性损失的MAE（pix2pix）0.960.04RGB2NIRAslahishahrietal. （ 2021年）平均误差0.910.06RGB2NIR pix2pixAslahishahrietal. （ 2021年）有对抗性损失的MAE（pix2pix）0.940.05图第六章拟议模型的真实和预测NIR值之间的回归图。左）平均误差损失，右）平均误差+对抗损失。神经网络得到估计的近红外通道。 根据R、G、B和估算的近红外通道计算其他植被指数（NDVI、IDCS和IDCR）。在3中描述的数据集的训练集上执行训练。训练后，使用数据集的验证子集来计算最大化平衡准确度（BAC）的最佳阈值。这些阈值应用于测试集。为了测量使用估计的NIR通道代替真实通道的效果，已经使用真实NIR通道进行了具体的实验。我们进行了一项消融研究，显示了用于馈送植被分割神经网络的多光谱输入图像的不同通道组合测试集的植被覆盖图估计结果如表3所示。基于语义分割的两个常见度量来分析不同算法的性能：1）平衡准确度（BAC），其表示真阳性率和真阴性率之间的平均值（等式1）。（4）），和2）F-分数（等式（4））。（7）），其返回精度之间的几何平均值（Eq.（6））和回忆（方程。（五）图第七章平均误差（MAE）的演变和所提出模型的验证平均误差。左）平均误差训练模型，右）平均误差（MAE）+对抗损失训练模型。在对抗模型中，仅绘制MAE损失A. Picon，A.贝雷西亚图阿-佩雷斯岛Eguskiza等人农业人工207图八、 使用RGB2NIR算法进行NIR通道预测的示例。NIR重建可以用于植物的健康和不健康（白色坏死点）模型的精确度计算为真实植被像素的数量除以所有预测植被像素的数量，而召回率是真阳性植被像素的数量除以所有真实植被像素的数量。对于语义分割中的不平衡数据集，F-Score通常优于BAC，因为它忽略了真负类（非植被像素）的影响TP、TN、FN和FP分别指真阳性、真阴性、假阴性和假阳性BAC/1/2/3/4/5/6/7/8/9/10/11/12调用1/4TP= 1/4TP/ 5精密度¼TP= ±TP ±FP± 6 °F11/2精确度精确度召回率=精确度精确度召回率图第九章使用RGB2NIRpix2pix算法进行NIR通道预测的示例。NIR重建可以用于植物的健康和不健康（白色坏死点）A. Picon，A.贝雷西亚图阿-佩雷斯岛Eguskiza等人农业人工208表3不同算法组合对植被覆盖度图估计的结果图像通道通道数AUCBAC灵敏度Specifi cityNPVPPVF1近红外（真实）10.9810.9370.9160.9250.9790.7690.836NIR10.9770.9240.9260.9220.9810.7410.823NDVI10.9910.9580.9670.9500.9920.8230.889IDCs10.9960.9740.9820.9660.9950.8740.925IDCR10.9920.9640.9720.9560.9930.8410.902RGB30.9920.9620.9670.9580.9920.8480.904RGB+ NIR（Real）40.9950.9760.9780.9790.9970.9030.939RGB+ NIR40.9970.9780.9820.9740.9960.9010.940RGB+ NDVI40.9970.9770.9800.9730.9950.9000.939RGB+ IDCS40.9950.9670.9640.9690.9920.8780.919RGB+ IDCR40.9980.9810.9860.9740.9970.9030.943RGB+ NIR+ NDVI+ IDCS+ IDCR70.9980.9800.9800.9960.9140.9130.946RGB+ NIR+ IDCS+ IDCR60.9980.9840.9880.9800.9970.9190.952图10. 该图示出了针对不同组合的覆盖图估计的示例。a）原始图像，b）RGB，c）NIR，d）NDVI，e）IDCS，f）IDCR，g）GroundTruth。图十一岁 该图示出了针对不同组合的覆盖图估计的示例。a）原始图像，b）RGB+ NIR，c）RGB+ NDVI，d）RGB+ IDCS，e）RGB+ IDCR，f）GroundTruth。A. Picon，A.贝雷西亚图阿-佩雷斯岛Eguskiza等人农业人工209图12个。该图示出了针对不同组合的覆盖图估计的示例。a）原始图像，b）RGB+ NDVI+ NIR+ IDCS+ IDCR，c）RGB+ NIR+ IDCS+ IDCR，（d）GroundTruth。正如我们在表3中所看到的，单独使用RGB图像产生了0： 904的F分数当仅使用一个通道/索引来生成植被图时，我们可以理解，使用已经存在的植被指数（例如，NDVI和NIR）提供了降低的性能（F分数分别为0： 823和0： 889然而，仅使用其中一个建议的植被估计指标IDCS（F-Score=0：925），IDCR（F-Sco re =0：902）的结果更好。如果我们比较使用真实NIR通道或估计的NIR通道的效果，我们可以理解，使用估计的或真实的NIR通道几乎是等效的 图图10示出了不同组合下的分段字段的示例。图图11示出了RGB与其中一个植被指数的组合的分割结果。表2上的结果表明，RGB通道与所提出的索引的组合处理比RGB基线更好RGB与建议的IDCR指数的组合获得了最佳的F分数，其值为0： 943。然而，它是与几个拟议的植被指数相结合时，取得更好的结果 最佳结果（见图） 12）是通过RGB + NIR + IDCS + IDCR的组合获得的，其实现了BAC=0：9 8 4和F-sc〇re=0：952。6. 结论在这项工作中，我们已经提出了一个端到端的方法，鲁棒的植被分割RGB图像，这是能够适当的分割植被，即使植被呈现损坏的条件，而不需要一个红外功能的相机。我们提出了一种卷积语义回归网络，用于从RGB图像（RGB2NIR）中估计虚拟近红外通道，该通道可以选择性地包含对抗性损失。 在这种对抗性损失的情况下，所提出的网络可以准确地估计NIR通道（p_value =0.96，RMS= 4%）。这表明，对抗性损失有助于为NIR通道生成比仅采用卷积语义回归网络更有效的估计本文提出了两种新的植被指数：红外暗通道指数（IDCS）和红外暗通道比指数（IDCR）。我们已经证明，这些指标具有良好的可分性，区分植被，无论其损害。这些植被指数可以独立地用于植被分割目的。我们已经生成了一个植被分割网络分割受损植被。当仅使用RGB图像馈送所示模型时，F1得分为0： 90。当RGB图像用所提出的虚拟NIR通道（F1=0：94）扩展或用从估计的NIR通道导出的新的预处理器（F1=0： 95）扩展时，该分割性能增加拟议的近红外估计方法可以在未来进行调整，不仅适用于植被覆盖率估计，但其他农业使用情况下，近红外信息可能是相关的。这将减少对红外摄像机的需求，而不需要昂贵的红外摄像机，这可以扩展这些方法的应用范围竞争利益声明作者声明，他们没有已知的竞争性经济利益或个人关系，可能会出现在这篇论文中报告的工作引用Arai，K.，Gondoh，K.，Shigetomi，O.，Miura，Y.，2016. 基于ndvi回归的可见光相机nir反射率估算方法及其在稻田虫害检测中的应用。Int. J. Adv. Res. 第内特尔5，17-22。Argüeso ， D. ， Picon ， A. ， 伊 鲁 斯 塔 大 学 ， Medela ， A. ， San-Emeterio ， M.G. ，Bereciartua，A.，阿尔瓦雷斯-吉拉，A.，2020年。利用田间图像进行植物病害分类的少样本学习方法。Comput.电子农业175，105542。Aslahishahri，M.，Stanley，K.G.，Duddu，H.，Shirtliffe，S.，Vail，S.，Bett，K.，波兹尼亚克角，斯塔夫内斯岛，2021.从rgb到nir：从可见光预测近红外反射率A. Picon，A.贝雷西亚图阿-佩雷斯岛Eguskiza等人农业人工210农作物的光谱航空图像在：IEEE/CVF计算机视觉国际会议论文集1312-1322.Badrinarayanan，V.，Kendall，A.，奇波拉河2017. Segnet：一种用于图像分割的深度卷积编码器-解码器架构。IEEE传输模式分析马赫内特尔39，2481Bannari，A.，Morin，D.，波恩，F.，休特，A.，1995. 植被指数综述。RemoteSens. Rev.13，95-120.Bendig，J.，Yu，K.，Aasen，H.，Bolten，A.，Bennertz，S.，Broscheit，J.，Gnyp，M.L.，Bareth，G.，2015. 结合作物表面模式、可见光和近红外植被指数的uav植物高度监测大麦生物量。国际应用地球观测地球信息杂志39，79-87.Bereciartua-Pérez，A.，戈麦斯湖Picón，A.，纳瓦拉-梅斯特雷河Klukas角，Eggers，T.，2022年通过基于深度学习的密度图估计进行昆虫计数。Comput.电子。农业197，106933。Devia， CA， Rojas， J.P.， Petro ， E.， 马丁 内斯 角， 蒙德 拉根 ， I.F. ，Patino ，D. ，Rebolledo，M.C.，科罗拉多州，2019. 利用uav多光谱图像高通量估算水稻