农业中基于条件学习的植物生长模型泛化性能评价

农业中的人工智能6（2022）189基于条件学习的植物生长模型泛化性能评价Hafi z Sami Ullah，Abdul Bais加拿大萨斯喀彻温省里贾纳大学工程与应用科学学院电子系统工程a r t i c l e i nf o文章历史记录：2021年9月20日收到收到修订版，2022年9月24日接受，2022年2022年9月28日网上发售保留字：杂草检测语义分割对抗训练发芽后期甜菜作物分割种植植物领域变化a b s t r a c t针对现有语义分割模型在农作物和杂草分割领域通用性不足的问题。我们比较了经典和对抗两种训练机制，以了解哪种方案最适合特定的编码器-解码器模型。我们使用简单的U-Net，SegNet和DeepLabv 3+与ResNet-50骨干作为分割网络。这些模型在经典训练中使用交叉熵损失，在对抗训练中使用PatchGAN损失通过采用条件生成对抗网络（CGAN）的分层设置，我们使用PatchGAN鉴别器惩罚不同的生成器（G）(D)和L1损失来生成分割输出。一般化是表现出更少的故障，并表现出可比的植物生长与不同的数据分布。我们利用甜菜四个不同阶段的图像我们对数据进行了划分，以便将完整的阶段用于训练，而早期阶段则完全用于测试模型。我们的结论是，在对抗性环境中训练的U-Net对数据集的变化更具鲁棒性经过对抗训练的U-Net报告结果总体改善了10%，四个不同生长阶段的mIOU评分分别为0.34、0.55、0.75和0.85版权所有© 2021作者。出版社：Elsevier B.V.我代表科爱通信公司，公司 这是CC BY许可下的开放获取文章（http://creativecommons.org/licenses/by/4.0/）。1. 介绍杂草是可以使用除草剂消除的不期望的植物传统上，这些除草剂在整个田地上均匀使用。这种均匀的喷洒可以消除杂草，但也会影响作物它还消耗不必要的除草剂，对环境和人类健康产生不利影响选择性喷洒可减少除草剂用量。 农业机器人可以进行杂草和作物检测，以进行精确喷洒，这将有助于减少除草剂的使用。然而，这些机器人缺乏通用的杂草检测机制，使它们不适合商业用途。此外，用于检测杂草的典型方法不会转化为分布外的数据;因此，每个新的杂草类型或田地都需要更新，这是耗时的。解决杂草检测问题，使用颜色，骨架，基于区域的手工制作特征易于出错，因为植物的形状由于生长、一天中的时间、天气条件和温度而经历变化。因此，这些手工制作的基于特征的分类仅在数据变化有限的情况下才实用基于卷积神经网络（CNN）的编码器-解码器架构对于使用语义的*通讯作者。电子邮件地址：hsz248@uregina.ca（H.S. Ullah），abdul. uregina.ca（A. Bais）。分割（Milioto等人，2017年），但仍然需要一个可以在不同数据分布的多个阶段工作的系统。本文提出了一种更好的模型泛化的解决方案在这项工作中，我们进行实验，以实现更可靠的模型调整，可以在机器人上实现选择杂草。此外，所得到的模型在其训练的数据和其他生长阶段上表现得更好，而无需任何额外的训练要求。 用于本研究的数据集由从甜菜作物的多个阶段收集的图像组成（Chebrolu等人， 2017年）。它有十九个阶段，分为四个部分。前三节各有五个阶段，最后一节由其余四个阶段组成。在语义分割中，给定对标记数据的有限访问和在像素级的困难注释，用于植物的未知阶段的模型参数的泛化变得困难。为了阐明这一点，我们探索了不同模型在对抗性（使用CGAN）和经典方式训练时从不同阶段分割作物和杂草的能力。主要重点是训练不同的模型，以适应对数据访问最少的看不见的信息，即，只训练最后四个阶段。目标数据集具有不同的光照、多种杂草和不同的土壤质地。使用一个完全生长的阶段进行理解，我们正在寻找一种机制，以提高模型的性能，为不同阶段的作物。此外，我们专注于https://doi.org/10.1016/j.aiia.2022.09.0062589-7217/© 2021作者。Elsevier B.V.代表KeAi Communications Co.提供出版服务，这是CC BY许可证下的开放获取文章（creativecommons.org/licenses/by/4.0/）。可在ScienceDirect上获得目录列表农业中的人工智能杂志主页：http://www.keaipublishing.com/en/journals/农业人工智能/H.S. Ullah和A. Bais农业人工190在概括模型的参数，改变土壤质地和光照条件。在这项工作中，我们的贡献是：• 提供有关更换发电机的影响的深入研究(G)在CGAN• 在数据我们比较了不同模型在以经典方式训练时的性能，其中模型可以直接访问分割掩码，而在对抗性设置中，分割掩码通过一个条件来提供经典训练使用加权交叉熵损失进行，而对抗训练使用L1损失和分块熵损失进行。CGAN（Isola等人， 2017年，用于对抗训练。 CGAN在（Isola等人， 2017年）由两个单独的模型，D和G。D试图将输入分类为假或真，而G的目标是生成逼真的假图像来欺骗D。 图 1显示了CGAN设置以及输入如何在模型中流动。实验是基于经典和对抗训练的编码器-解码器模型。首先，我们使用以经典方式训练的不同编码器-解码器模型进行实验。模型的输入是四通道（RGB-NIR）图像。其次，在对抗性环境中训练相同的模型。我们用先前使用的编码器-解码器模型替换G这些编码器-解 码 器 模 型 包 括 U-Net （ Ronneberger 等 人 ， 2015 ） 、 SegNet（Badrinarayanan等人， 2017）、以ResNet-50为主干的U-Net和SegNet以及DeepLabv 3+（Chen et al.， 2018年）。并对模型与培训机制进行了比较这种比较有助于充分理解模型和训练设置对生长中的植物执行语义分割的能力本文共分五个部分。在第2中，我们提出了相关的工作，杂草检测方法进行了审查。数据分析、实验和模型架构的描述在第3中描述。第4介绍了模型性能的比较结果最后，我们在第5结束了本文。2. 相关工作现有的杂草检测方法可以大致分为两类：基于特征和基于CNN。此外，基于CNN的方法分为两种，一种基于经典训练，另一种基于对抗训练。Haug等人提出了一种使用随机森林分类器（RFC）的基于特征的检测方法（Breiman，2001）。首先，他们为每个重叠的80 × 80像素窗口提取归一化差异植被指数（NDVI）掩模接下来，用户绘制基于类的多边形，将类标签分配给附近的像素。特征和标签被馈送到分类器，训练（Haug等人， 2014年）。Lottes等人采用了类似的方法其中局部二进制模式（LBP）用于在R、G和NDVI通道上找到统计特征LBP算子基于八个邻域内的中心像素值生成基于形状的特征被计算用于植被遮罩。这些特征然后用于训练RFC以检测杂草和植物（Lottes等人，2016年）。这些方法依赖于基于形状的特征，这些特征对于植物的相同或生长阶段而变化。Milioto等人提出基于CNN的分类器用于杂草检测。植被掩模用于检测大小为64 × 64像素的连接植被斑点，并在每个斑点周围计算边界框。RGB + NIR斑点被用作CNN的输入，CNN将它们分类在具有输入图像块的概率分布的向量中，作为植物或杂草（Milioto等人， 2017年）。Mortensen等人 提出VGG-16（Simonyan和Zisserman，2014）模型的修改版本以执行语义分割任务，实现79%的像素准确度（Mortensen等人， 2016年）。 Milioto等人致力于在具有不同分布的数据中进行杂 草 检 测 。 最 初 ， 基 于 编 码 器 - 解 码 器 的 模 型 、 SegNet 的 修 改（Badrinarayanan等人，2017），针对均匀分布的数据进行训练，并且针对相同和交叉数据集测量性能（Milioto等人，2018年）。Cicco 等 人 提 出 植 物 建 模 以 增 强 数 据 集 并 使 用 SegNet 模 型（Badrinarayanan等人， 2017）用于杂草和农作物的语义分割。他们设计不同的叶片模型，然后根据叶片的类型和数量为其他植物建模。这些植物随机分布在土壤中，它们的叶子大小不同，代表着不同的生长阶段相应的类与类语义掩码一起散布在透明背景上以获得地面真实。生成的数据集被馈送到SegNet模型以进行分割（Di Cicco等人， 2017年）。此解决方案有助于增强数据以提高准确性。McCool等人使用编码器-解码器架构来执行杂草和作物分割任务（McCool等人，2017年）。Lottes等人使用一个解码器与扩大三维卷积可视化杂草和作物。该技术使用使用测距信息选择的非重叠图像序列。该方法提出了一种提取种植模式的顺序模块。它们实现了交叉验证数据集的mDICE得分0.86（Lottes等人， 2018年）。上述方案的共同挑战是变异特征利用和缺乏生长植物的泛化门形CNN（Takikawa等人， 2019）通过处理两个流中的信息来改进语义分割任务。代替在单个传统网络中处理颜色、形状和纹理信息，提出了基于形状的流基于形状的流专注于给定掩码的梯度计算。形状流中的中间层使用门控卷积层（GCL）连接。最后，使用Atrous空间池金字塔（ASPP）融合来自规则流和形状流的特征。他们报告了城市景观数据集的总体平均交叉点（mIOU）为80.8%。图1.一、 用于图像翻译的CGAN：G表示生成器，而D表示鉴别器，x表示输入（RGB和NIR）图像，G输出RGB语义图，该语义图与假标签一起馈送到D。在下一次迭代中，真实语义映射与x输入一起使用，以仅训练具有真实标签的DH.S. Ullah和A. Bais农业人工191¼×ð Þ¼×ð ÞAsad和Bais提出了一种新的农业图像标记方法，在杂草检测方面具有良好的效果（Asad和Bais，2020）。首先将油菜田的图像分割成背景和前景，然后手动标记杂草这种标记机制不是完全自动的，但它仍然降低了人工标记的复杂性具有现场图像的分割掩模被馈送到两个不同的模型SegNet（Badrinarayanan等人，2017）和U-Net（Ronneberger etal.，2015年）。基于ResNet-50的SegNet的mIOU为82.9%，优于U-Net架构。在不同的挑战下采用模型辅助标记（Ullah等人，2021）用于油菜中的作物和杂草分割。Chen等人提出了一种有效的语义切分方法。它们使用ASPP模块来提取多尺度信息。基于ResNet和Xception的主干用于提取高级特征。这些特征在编码器中以多个尺度放置解码器从特征提取器获取低级信息，并将其与高级特征组合以瞄准语义。这一模型的DepLabv3+，对Cityscapes数据集（Chen等人，2018年）。Wang等人使用不同的图像增强技术来改善杂草，以及在变化的照明下的作物分割（Wang等人，2020年）。他们使用直方图均衡化和深度照片增强器（GAN用于执行增强）进行图像增强。然后deeplabv3+（Chen等人，2018）模型经过训练，报告88.91% mIOU。语义分割也可以使用CGAN来完成最近对CGAN的大多数研究集中在从文本或图像的图像翻译上（Karras等人， 2019; Reed等人， 2016;Wang等人，2018年; Zhang等人，2017年）。Reed等人使用GAN转换文本特征以生成图像。随机分布的噪声与文本描述被馈送到发生器。该对象被调整为具有文本属性的图像 这个想法对于生成人工数据是有用的（Reed等人，2016年）。Zhang等人使用两阶段堆栈GAN改进了从文本生成图像。 第一阶段生成器提取草图，第二阶段生成器修正结果（Zhang等人，2017年）。文本描述到图像的转换可以用作数据增强技术。在图像到图像的翻译中，Isola et al. 建议使用CGAN对城市景观数据集进行语义分割。场景图像被馈送到基于编码器-解码器的G，并且G的输出被转发到D。D被训练用于地面实况，并为给定的场景图像生成分割掩模图像像素精度为86%，生成的图像看起来接近地面实况，但存在噪声。这种噪声的原因是G的不稳定性（Isola等人， 2017年）。Karacan等人利用语义布局来合成逼真的户外图像。 他们使用CGAN来学习在布局内绘制的目标内容（Karacan等人， 2016年）。Rezaei等人 提出CGAN用于分割脑肿瘤。 利用U-Net（Haug等人，2014）e20作为生成器和马尔可夫GAN（Radford等人，2015年，据报道，0.68mDICE评分（Rezaei等人， 2017年）。Wang等人使用CGAN进行高分辨率图像翻译。 他们使用70 × 70 Patch-GAN（Isola等人，2017年，网络？他们的重点是将语义地图转换为现实的图像。他们还报告了Cityscapes数据集实现63.9%mIOU的逆变换（Wang等人， 2018年）。Regmi等人工作自然图像合成和像素级分割使用CGAN。该生成器被配置为拍摄航空图像并将其转换为街道地图视图和相应的SEMANIC地图。该模型由一个编码器和两个解码器流。他们实现了41.3%的 mIOU（Regmi和Borji，2018）。Rammy等人提出了使用基于条件块的GAN的视网膜血管分割。具有潜在空间的噪声向量z的条件样本被馈送到生成器，从而产生合成映射。这个合成贴图在Windows中用作假样本更新。他们报告了所提出的方法的98.84%特异性（Rammy等人，2019年）。据我们所知，CGAN以前没有用于杂草分割。我们的目标是改进跨阶段数据集的杂草检测，而不依赖于手工设计的功能，并减少CGAN中的G不稳定性。3. 数据分析和实验在这项工作中，我们进行了一项基于比较的研究，以了解在对抗和经典训练环境下模型泛化的有效性。我们的重点是找到一个架构以及培训计划，可以有效地检测杂草和作物在多个生长阶段。在下面的小节中，我们执行探索性数据分析（EDA）以了解数据中的潜在模式和3.1. 数据分析在数据集中，图像收集在甜菜作物的生长季节 图 2分析了不同生长阶段杂草和作物叶面积（WLA和CLA）的百分比。等式（1）和（2）分别解释了CLA和WLA百分比的计算作物叶面积百分比∑Y作物100 1总数 像素Y裁剪表示与裁剪相关联的像素，并且对于与裁剪相关联的通道，像素值可以是1或0。杂草叶面积∑Y杂草100 2总数 像素Y杂草表示与杂草相关联的像素，像素值1或0分别代表杂草或无杂草。像素值基本上是一个独热编码向量，表示基于其热值属于特定类别的像素例如，具有值[1，0，0]的向量意味着像素属于第一类。图 2，第一列中的图表示CLA的百分比，而第二列报告WLA百分比。在图2（i和ii）中，报告了由五个初始时间戳组成的来自集合I的图像的CLA和WLA叶面积的百分比给我们一个形状和大小变化的指示。在图2（a）中，对于第一阶段，作物叶面积是一小部分（约100%）。0.05%），而在（b）中，杂草百分比接近于零，即，早期没有杂草 这在图中用蓝色表示。2（a和b）。杂草植物开始弹出在第三阶段在第一组（图。 2（b）），其大于作物，因为平均叶面积约为0.2%，而作物为0.11%。当我们在第二组中前进时，图。图2（c和d）显示出作物的显著生长，但对于杂草，没有一致的生长。作物的CLA平均值接近0.11%，而杂草的CLA平均值接近0.03%。 图 2（e和f），CLA百分比继续增长，平均值约为0.65%，而WLA百分比平均值约为0.10%。在第IV组中，平均WLA约为0.82%，而对于作物，平均值增加到4.52%，如图所示。 2（g和h）。该分析旨在了解与植物生长相关的潜在挑战，特别是当任务是对其进行分割从最小生长阶段（植物几乎不可见）到包含作物植物的第四组图像中的平均CLA几乎为10%（第四组中作物植物的CLA）的阶段，植物的形状发生了很多变化如果我们不获取任何先验信息，这种多样性的推广是另一个关键信息，可以从图提取。 2是兴趣类别的百分比分布。看看WLA和CLA，可以看出数据集是高度不平衡的。例如，背景数据中的像素比杂草和作物多。 对于一个模型来理解各种分布，如图1所示。第二，我们有时候无法获得足够的数据。每个类别和图像集的像素百分比为报告见表1。例如，与其他三个集合相比，集合IV具有最高的作物和另一方面，集合I中的像素主要属于背景，并且只有三个-H.S. Ullah和A. Bais农业人工192图二、 使用作物和杂草叶面积分布百分比进行数据分析。总共19个时间戳（阶段）被分组以形成4组。前三个集合每个包含5个时间戳，而最后一组（集合IV）具有最后三个阶段。H.S. Ullah和A. Bais农业人工193¼-p，cP损失Y真实，Y预∑ ∑wcYtruep，clog Ypred第1页第 2页1PC表1杂草、作物、背景数据的逐行像素分布设置图像像素的百分比分布每个班级的处罚经典学习的目标函数可以写为：.- 是的Σ其中Y为真 [0，1]是基础事实，Y是预测值。∈[0，1]是softmax0.25%有杂草和庄稼。这种分析是必不可少的研究，因为它有助于确定数据不平衡问题的解决方案在这项工作中，我们通过探索不同模型在两种训练设置下的泛化能力，最小限度地暴露于基于形状的数据多样性3.2. 实验植物形状的多样性是一个重大的挑战，如果没有数据，就很难解决在我们的例子中，虽然我们可以访问来自不同植物生长阶段的数据，但这里的目的是限制对数据的访问，并仅在最后几个阶段进行训练然后，我们首先，经典地训练具有多个骨干结构的不同的最先进的编码器-解码器模型在经典训练中，模型直接学习从给定的场图像到语义映射的映射，即，模型暴露于输出分割掩码。在第二种机制中使用对抗训练设置训练相同的当利用CGAN模型时，我们使用如pix2pix中所述的D（Isola等人， 2017）并使用先前描述的编码器-解码器架构改变G以查看结果的变化。在CGAN中，G生成图像，D将其分类为真实或虚假。D将图像分割成块，并决定图像的块是真的还是假的。这个过程一直持续到我们得到D和G之间的平衡背景在不同的阶段之间变化，影响模型的性能。为了减少模型对背景的依赖性，我们使用大小为5且标准差为1的高斯滤波器随机模糊图像。随机模糊改变了整个图像，而不仅仅是土壤。植物也得到模糊的效果，这有助于模仿地面成像系统中在这两种设置中，我们都训练了100个epoch的模型，4并保存模型的最佳权重。我们使用Adam优化器，学习率为0.0002，β1为0.5。此外，我们使用one-hot编码的分割掩码和加权交叉熵进行经典训练。加权交叉熵有助于缓解类不平衡问题。在对抗性设置中，我们使用二进制交叉熵损失，D和G的平均绝对误差（L1损失）它被称为PatchGAN损失输出. P表示像素的数量，C表示类的总数wc是分配给类别c的权重。对于这项工作，通过取数据分布百分比的倒数来选择wc3.4. CGAN的目标函数训练CGAN的主要目标是玩最小-最大游戏。通过为D生成真实和虚假标签来辅助训练这些标签是在每一个步骤中产生的真实标签对应于1的网格，并且仅在使用地面真实值时给出零代表假标签。它们是在使用生成器的预测时给出的D的输出具有24 × 32的形状生成的标签大小与D的输出大小相同最初，D将现场图像和条件作为输入。条件是G想要学习的基本事实可以说是一次真正的样品更新。然后，D将来自G的现场图像和预测作为输入。这是一个假的样本更新。在D中的每个真实和假样本更新结束时，G的权重被更新。当更新G的参数时，我们通过D执行换句话说，我们更新G，将D的所有层设置为不可训练。D的学习速率使用减重配置调整为G的一半，使得G比D学习得更快总的来说，CGAN的目标可以表达如下（Isola等人， 2017年）：LosCGANG，DEX，Ytrue½logDX，Ytrue]EX，Z ½log1-DX，GX，Z]4X和Z分别表示输入图像和对图像执行的操作Ytrue是基础真值，只给D。对于G，我们使用平均绝对误差（L1损失）进行参数更新。L1损失通过改善图像中的稀疏性而对低频分量很好地稀疏性与具有与原始图像更高差异的少数像素有关由于D和G的工作方向相反，G限制了高频分量，并阻止D仅对高频进行建模。对于G，我们的目标方程是：LosL1GEX，Y truee，Z½Y truee-GX，Z1]5总的来说，最终目标是玩下面给出的最小-最大游戏：最小最大损耗CGAN最大损耗CGAN最小损耗λ最大损耗L1最大损耗G D因为D生成指示图像是真实还是伪造的补丁3.3. 经典训练目标函数使用经典训练的语义分割是常见的。植物的大小和形状随着生长而变化如果没有足够的数据，这些变化和土壤质地的变化很难了解。此外，数据集是不平衡的，因为背景像素比杂草和作物多图3解释了整个数据集的分布。只有1.46%的像素总数由植被组成，杂草占0.23%，作物占1.28%几乎98.5%的像素来自背景类。加权交叉熵损失有助于解决数据不平衡问题。对于不平衡的数据集，加权交叉熵为每个类分配损失权重权重被设置为使得具有高样本数量的类获得较低权重，并且具有低样本数量的类对总体损失贡献较高的比例模型调优的重点直接关系到λ是为G的损失分配更多权重的调谐参数。λ的值设置为100。根据G和D的最小损失均衡选择最佳模型。如果D的训练速度与G相同，那么D的表现将优于G，并且很难获得平衡 图图1显示了输入如何通过网络。G获取RGB-NIR场图像并生成目标分割掩模。D的输出表示图像中的每个M×N换句话说，它在图像的M×N块上给出了惩罚D模型的惩罚模型体系结构和所做的改进在以下小节中描述。3.5. 模型架构我 们 使 用 U-Net （ Ronneberger 等 人 ，2015 ） 、 SegNet（Badrinarayanan等人， 2017年），U-Net与ResNet-50骨干网，SegNet与ResNet-50杂草作物背景ð3Þ我26790.02%百分之零点零五九十九点九三II34230.03%0.11%百分之九十九点八六III26730.10%0.65%九十九点二五H.S. Ullah和A. Bais农业人工194图3. 每个类别的像素数在总体数据中所占的百分比。骨架和DeepLabv3+（Chen等人， 2018）与ResNet-50骨干进行我们的实验。上述模型首先使用经典训练机制进行训练，然后使用对抗设置。所有模型都采用由RGB和NIR通道组成的输入输入图像的尺寸设置为384 × 512。所有的模型都学习将输入图像映射到表示类语义掩码的翻译每个模型在架构中有两个主要模块，编码器和解码器模块。编码器在减小空间尺寸的同时找到深层特征解码器执行将特征映射到图像平移的逆 操 作 。SegNet 和 U-Net 之 间 的 区 别 是 跳 跃 连 接 的 类 型（Badrinarayanan等人，2017; Ronneberger等人，2015年）。U-Net比SegNet共享更多的信息，其中只有最大池索引在未来的层中共享跳过连接有助于实现空间配置的额外稳定性。在U-Net中，使用转置卷积层实现可学习的上采样DeepLabv3+采用了Atrous Spatial PyramidPooling（ASPP）模块，该模块包含四个不同的深度可分离的扩张卷积层。在每个卷积层中使用不同的膨胀率，该模块在输入特征图的多个尺度上探测特征，这有助于保持更多样化的空间配置。表2比较基于可训练的模型表2不同模型的可训练参数。网络参数U-Net 36.96 MSegNet 29.46 MU-Net-ResNet-50 38.05 MSegNet-ResNet-50 34.88 MDeepLabv3+ 23.96 M参数在表2中，第一列表示模型名称，而第二列表示可训练参数的数量与其他报告的模型相比，U-Net需要最多的可训练参数DeepLabv3+只需要23.96M参数，其中M代表一百万。3.5.1. CGAN中的生成器架构在CGAN设置中，我们使用U-Net（Ronneberger等人， 2015）、SegNet （ Badrinarayanan 等 人 ， 2017 ） 、 U-Net-ResNet-50 、SegNet-ResNet-50和DeepLabv 3+作为G. U-Net、SegNet、U-Net-ResNet-50、SegNet-ResNet-50和DeepLabv 3+-ResNet-50在对抗环境中训练时被命名为C-U-Net、C-Segnet、C-U-Net-ResNet-50、C-SegNet-ResNet-50和C-DeepLabv 3+使用不同的模型作为G也有助于研究相同D模型的性能变化每个解码器的末端层是卷积层，在卷积层之后应用双曲正切活化输出结果在[-1，1]范围内，然后移位并缩放到[0，1]。3.5.2. 分块惩罚器（patch wise penalizer）D中共有6个卷积层，具有4 × 4滤波器大小和2 × 2步长。首先，它将源图像和目标图像作为输入。然后，它使用sigmoid激活来找到24 × 32的二进制输出补丁补丁的大小可以根据（Li和Wand，2016）和（Isola等人， 2017年）。4. 结果和评价对于语义分割任务的评估，IOU和DICE分数是目标的可靠评估指标我们使用平均IOU分数来比较我们的表现。mIOU分数可以使用等式计算。（五）、H.S. Ullah和A. Bais农业人工195表3测试集、训练集和验证集中使用的每个阶段的图像数阶段数据拆分火车测试验证我026790II034230III026730IV2000500300表4不同生长阶段（mIOU）的经典训练模型的比较U-NetSegNet U-Net-ResNet-50 SegNet-ResNet-50 DeepLabv 3+平均交集超过并集（mIOU）Y真实值Y预测值从第一阶段到最后阶段。这种增长趋势表明，随着作物和杂草的生长，它们与训练数据表现出更多的相似性。图4和图图5示出了来自四个不同阶段的结果，具有地面实况和预测的分割掩模。杂草是红色的，绿色代表作物，其他一切都被归类为背景。C-U- Net具有更好的整体性能。但其结果不适用于早期生长阶段。该模型难以在早期阶段检测杂草/作物，反而产生噪声这是因为土壤质地的高度变化，如图1第一行所示。 4和图 五、此外，在早期阶段区分杂草和作物的困难可能是性能差的主要原因土壤变化可以通过人工增重来解决。 改变野外图像的亮度和加入噪声可以有效地处理土壤变化。然而，由于杂草和作物在这个阶段非常相似，在早期阶段很难区分作物和杂草图5中的白色矩形框显示了一些错误检测（噪声）。这些错误检测是使用CGAN的成本，因为G看不到真实的数据分布，使其无法...借条真核生物predð7Þ稳定为了使G稳定，我们使用了去噪技术在随机的图像上。此外，我们研究了随机模糊图像有助于我们实现更好的广义参数，我们使用在我们的实验中的各个生长阶段捕获的来自波恩田地的甜菜图像（Chebrolu等人，2017年）。 杂草主要是双子叶植物和禾本科植物。 该数据集由RGB和NIR图像组成，具有三通道相应的分割掩模。从零生长阶段开始，在两个月内采集样品每个网络都在最后一个阶段进行训练，然后在同一个阶段和其余三个阶段的未知数据上进行测试我们使用2000张图像进行训练，其余的数据用于测试。数据分布见表3。从表3中可以清楚地看到，只有17%的数据用于训练，与80%的测试数据相比，这是一个很小的比例表4和表5中的结果分别涉及经典和对抗训练的模型两个表都基于mIOU评分比较了模型性能 通过比较训练方案，结果还可以更全面地了解模型在不同工厂阶段的整体性能。对于未知阶段，C-U-Net导致更高的准确性和IOU评分。它报告说，与其他模型相比，mIOU评分总体提高了约10%像U-Net和SegNet这样具有ResNet-50骨干的深度网络在经典训练中表现更好这表明更深的网络不适合CGAN中的G由于SegNet与U-Net具有类似的架构，C-SegNet中的对抗训练应该与C-U- Net类似，但U-Net具有丰富的跳过连接的优势DeepLabv3+在以经典的训练方式进行训练时，在训练阶段显示出明显良好的结果，报告了84.5%的mIOU分数。U-Net-ResNet-50是经典环境中第二个性能更好经过经典训练的SegNet在第三阶段对作物效果良好，报告了77%的mIOU分数。随着植物的生长，mIOU分数趋于增加。得分从32%提高到84%，模型，使G稳定。我们将模糊称为等式中的Z输入。（2）Eq. （三）、脱落层也有助于接近更稳定的G。关于数据集有一个有趣的事实一些像素在地面真理要么是未标记的或错误的标记。标记连接的杂草，使得杂草之间的区域被标记为杂草类别。这些像素属于背景类。此外，一些茎像素被标记为背景。茎像素属于杂草或作物，但不属于背景。同样，有些像素被标记为背景，但它们的实际类别是作物或杂草。几乎我们所有的模型都能检测到地面实况中大部分未标记或错误标记的像素类将错误标记的数据与良好的预测进行比较，会引起人们对结果比报告的结果更好的担忧图中的黄色矩形框。4和图 5代表我们索赔的视觉效果。土壤湿度的变化可能导致作物发芽延迟在图5（t）和（x）中，绿色矩形框突出显示了一些发芽较晚的植物。我们的模型将它们检测为杂草，因为错误标记的数据。数据集中的标签并没有说明发芽较晚的植物。这使得杂草和作物分割对于模型学习来说变得混乱和复杂。使用已经标记的数据进行改进可以导致更明显的结果。此外，可以看到模型在不同集合中的性能下降，多个因素可能会损害性能，土壤湿度，天气，相机设置，地面样本距离（GSD）和收集图像的时间是其中的一些GSD归一化、经典域自适应（直方图匹配）和丢弃样本以平衡数据可能是一些有价值的技术，可以提高模型性能。表5不同生长阶段（mIOU）的对抗训练模型的比较C-U-Net C-SegNet C-U-Net-ResNet-50 C-SegNet-ResNet-50C-DeepLabv 3+联合平均相交（mIOU）一阶段0.32960.32670.31280.31130.3240第二0.54380.47920.38950.40290.4063III期0.71990.77190.74120.70220.7496IV期0.80880.83190.84030.79240.8455一阶段0.34340.33570.33560.33360.3344第二0.54880.38860.47570.45010.4967III期0.75000.67560.65940.58370.6183IV期0.84720.73550.69050.63350.7023H.S. Ullah和A. Bais农业人工196图四、 四个不同生长阶段的模型比较：第一行是RGB场图像，第二行是NIR掩模，其余行遵循Ground truth，U-Net，SegNet，U-Net-ResNet-50，SegNet-ResNet-50和DeepLabv 3+的顺序。H.S. Ullah和A. Bais农业人工197图五、 四个不同生长阶段的模型比较：第一行是RGB场图像，第二行是NIR掩模，其余行遵循Ground truth，C-U-Net，C-SegNet，C-U-Net-ResNet-50，C-SegNet-ResNet-50和C-DeepLabv 3+的顺序。H.S. Ullah和A. Bais农业人工1985. 结论本文研究了CGAN中使用不同发电机的影响。我们使用经典学习和对抗学习执行了用于杂草检测的语义分割任务。我们通过仅在一个阶段训练我们的模型来检查甜菜作物的不同阶段。我们讨论了数据集中可能的改进，可以带来更好的结果。在CGAN设置中使用U-Net会比简单的经典训练产生更广义的权重，这从对不同阶段收集的结果的定量和定性分析中可以看出。C-U-Net在检测数据集中的生长变化方面表现出色。与其他网络相比，C-U-Net的mIOU得分提高了10%。如果数据集具有所有类的均匀分布，并且错误标记的数据被纠正，则结果可以得到改善。另一种方法是使用人工增强来增强数据集，这将提高准确性。有必要改进惩罚器。PatchGAN损失对训练深度模型没有太大帮助。特别是，我们下一步的研究将集中在增强D和杂草检测，不平衡类数据，重点是植物的后期发芽。CRediT作者贡献声明Ha fiz Sami Ullah：概念化，方法论，软件，写作-原始草稿。阿卜杜勒·拜斯：监督，验证，概念化。竞争利益声明作者声明，他们没有已知的竞争性经济利益或个人关系，可能会出现在这篇论文中报告的工作确认这 项工 作得 到了 加 拿 大自 然科 学和 工程 研究 委员 会发 现基 金（RGPIN-2021-04171）的支持，该基金名为“使用多源数据融合的作物应力管理”引用M.H.阿萨德，Bais，A.，2020年。使用最大似然分类和深度卷积神经网络的油菜田杂草检测告知。Proc. 农业。7，535-545。https://doi.org/10.1016/j.inpa.2019.12.002。Badrinarayanan，V.，Kendall，A.，例如，2017. Segnet：一种用于图像分割的深度卷积编码器-解码器架构。IEEE传输模式分析马赫内特尔39，2481布莱曼，L.，2001.随机森林马赫学习.45,5-32 Chebrolu，N.，Lottes，P.，例如，2017年。用于植物分类的农业机器人数据集，本地-在甜菜地上的应用Int. J. 机器人Res. 36，1045-1052。Chen，L.C.，Zhu，Y.，中国科学院，Papandreou，G.，Schroff，F.，亚当，H.，2018. 用于语义图像分割的具有粗糙可分离卷积的编码器-解码器。在：法拉利，五，Hebert，M.，Sminchisescu ， C. ， 韦 斯 湾 ， 澳 - 地 （ 编 ） ， 计 算 机 视 觉 SpringerInternationalPublishing，Cham，pp. 833-85 1.Di Cicco，M.，波坦纳角，例如，2017年。基于模型的数据集自动生成，用于快速准确的作物和杂草检测。IEEE/RSJ智能机器人与系统国际会议（IROS）IEEE，第 5188- 5195Haug，S.，Michaels，A.，例如，2014年。 用于无分割作物/杂草鉴别的植物分类系统。IEEE计算机视觉应用冬季会议IEEE，第1142-1149。Isola，P.，Zhu，J.，例如，2017. 使用条件对抗网络进行图像到图像的翻译。Proc. IEEEConf. Comput.目视模式识别。 1125-1134。卡拉坎湖Akata，Z.，例如，2016年。学习从属性和语义布局生成户外场景的图像arXiv预印本。arXiv：1612.00215。Karras ， T. ， Laine ， S. ， 例 如 ， 2019 年 。 A style-based generator architecture forgenerative adversarialnetworks. Proc. IEEE Conf. Comput.目视模式识别。 4401- 4410Li，C.，Wand，M.，2016. 基于马尔可夫生成对抗网络的预计算实时纹理合成。欧洲计算机视觉会议（ECCV）施普林格，pp. 第702- 716段。Lottes，P.，Hoeferlin，M.，例如，2016年。一个有效的分类系统，用于分离甜菜和杂草，用于精确农业应用。 IEEE机器人与自动化国际会议（ICRA）IEEE，第 5157-5163Lottes，P.，Behley，J.，例如，2018年具有序列信息的全卷积网络，可在精准农业中进行稳健的作物和杂草检测。IEEE机器人。自动售货机。Lett. 3，2870-2877。McCool，C.，Perez，