深度学习算法在不同背景下的杂草和作物识别的性能研究

农业中的人工智能6（2022）242不同图像背景下深度学习算法在杂草和作物种类识别中的性能研究Sunil G Ca，Cengiz Koparana，Mohammed Raju Ahmeda，Yu Zhanga，Kirk Howattb，Xin Suna，a美国北达科他州立大学农业和生物系统工程系，b北达科他州立大学植物科学系，邮政信箱6050，法戈，ND 58108-6050，美国a r t i c l e i nf o文章历史记录：2022年9月26日收到收到修订版，2022年11月8日接受，2022年2022年11月12日在线提供关键词：计算机视觉深度学习图像背景神经网络杂草分类a b s t r a c t杂草识别是开发基于深度学习的杂草控制系统的基础深度学习算法通过使用杂草和作物图像来帮助构建杂草检测模型动态环境条件（如环境照明、移动摄像机或变化的图像背景）可能会影响深度学习算法的性能关于不同的图像背景如何影响用于杂草识别的深度学习算法的研究有限这项研究的目的是测试深度学习杂草识别模型在具有盆栽混合（非均匀）和黑色鹅卵石（均匀）背景的图像中的性能。杂草和作物图像是在温室中由四台佳能数码相机在均匀和非均匀背景条件下获得的卷积神经网络（CNN）、视觉组几何（VGG16）和残差网络（ResNet50）深度学习架构被用于构建杂草分类模型。在具有非均匀背景的图像上测试从均匀背景图像构建的模型，以及在具有均匀背景的图像上测试从非均匀背景图像构建的模型。结果表明，在均匀背景下，由非均匀背景图像构建的VGG16和ResNet50模型的性能分别达到了82.75%和75%的平均相反，在非均匀背景图像上评估了从均匀背景图像构建的VGG16和ResNet50模型，分别实现了平均f1分数为77.5%和68.4%的模型性能当使用均匀和非均匀背景图像建立模型时，VGG16和ResNet50模型的性能都得到了改善，平均f1得分值在92%和99%当使用具有与用于构建模型的对象背景不同的对象背景的图像进行测试时，似乎模型性能降低© 2021作者出版社：Elsevier B.V.我代表科爱通信公司，公司这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍农业产量损失的主要原因之一是杂草。Oerke（2006年）报告说，杂草（34%）造成的产量损失大约是动物害虫（18%）和病原体（16%）的两倍（Oerke，2005年）。Soltani等人（2017）最近的一项研究估计，由于杂草干扰，大豆产量将减少约52%，相当于美国每年160亿除了产量损失之外，杂草使收获困难，给作物带来不希望的颜色和测试，并作为疾病和害虫的宿主（Holzner，1982）。因此，已经进行了许多研究，通过使用基于计算机视觉的深度学习架构和机器人技术来开发精确的杂草控制系统，这在Li等人最近的一篇综述文章中已经描述。（2022年）。深度学习是*通讯作者。电子邮件地址：xin. ndsu.edu（X. Sun）。机器学习，这是受人工神经网络算法的启发 它是计算机视觉领域中用于图像分类、对象检测和定位的突破之一，其已经有效地用于机器人杂草控制研究的杂草检测（Hasan等人，2021年）。深度 学 习 架构 和 算 法 能够 在杂草分类中实 现 近98% 的性能准确度（Espejo-Garcia et al.， 2020; Hu等人， 2020年）。然而，大多数研究是特定于地点、特定于作物和特定于杂草的（Espejo-Garcia等人， 2020;Hasan等人， 2021年; Khan等人， 2021; Olsen等人， 2019年）。 根据杂草和作物图像的某个部分构建的深度学习模型可能无法在另一部分中表现良好，这是由于不同的土壤类型，闪电条件或图像背景情况。然而，在缺乏通用性和鲁棒性的特定地点精确杂草控制图像领域中，对具有完全不同图像背景的图像的完全不可见性质的杂草分类深度学习模型评估的研究有限（Espejo-Garcia等人，2020年; Wu等人，2021年）。这种类型的https://doi.org/10.1016/j.aiia.2022.11.0012589-7217/© 2021作者。出版社：Elsevier B.V.我代表科爱通信公司，公司这是一篇CC BY-NC-ND许可证下的开放获取文章（http：creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表农业中的人工智能杂志主页：http://www.keaipublishing.com/en/journals/农业人工智能/S. G C、C. Koparan，M.R. Ahmed等农业人工243研究很重要，因为在深度学习计算机视觉模型训练期间，卷积神经网络架构使用作 物 和 杂 草 像 素 以 及 土 壤 背 景 像 素 来 概 括 杂 草 检 测 模 型（Kulawardhana，2011）。 模型训练图像和测试图像之间的图像像素的变化可能导致模型性能下降（Velumani等人， 2021年）。最近的一项研究交叉评估了农业疾病检测领域不同背景条件下的深度学习模型（Ferentinos，2018）。在Ferentinos（2018）之前的一项研究中，在田间获得的图像上测试了根据实验室条件图像构建的模型，由于背景图像像素与实验室图像像素完全不同，导致模型性能下降。与杂草检测图像相比，疾病检测研究图像中具有不同背景的概率更高，因为杂草检测图像捕获整个植物图像，而疾病检测图像捕获受疾病影响的植物特定区域。 类似的研究对于填补杂草识别中背景影响研究的现有空白非常重要，这有助于在农业行业中开发鲁棒的实时深度学习杂草检测模型。本研究的目的是：1）使用深度学习算法建立综合杂草分类模型，用于作物种类油菜和甜菜中的杂草种类Horseweed、Palmer Amaranth、Redroot Pigweed、Kochia、Ragweed和Waterhemp; 2）评估深度学习模型在温室条件下获取的杂草和作物图像图片的两种不同背景上的性能2. 材料和方法2.1. 杂草和作物温室布局设计、图像采集和图像标记作物和杂草在温室环境中生长在3.5立方英寸大小的盆中，用于室内数据收集。杂草种子在盆中种植马尾草、Palmer Amaranth、Redroot Pigweed、豚草、水麻和地肤以及油菜和甜菜的作物物种用于杂草鉴定研究。这些罐子被随机地放在一个长凳上。选定的杂草和作物物种是美国中西部地区的主要杂草物种和主要作物（Bryson和DeFelice，2010年）。为了创建两个不同的图像背景场景，将平均直径为2-5 mm的黑色熔岩卵石砾石材料放置在约6 mm厚的层的灌封混合物的表面处，以确保适当的表面覆盖。对于每个方形罐，砾石材料的平均重量为150 g 图图1描绘了具有盆栽混合物和砾石材料的杂草和作物盆，以创建图1中的背景场景-1（非均匀）。1a和背景场景-2（均匀）在图。 1 b分别。FourCanonEOST7digit a lcameras（CanonI nc. ，Tokyo，Japan）安装在工作台上方的固定位置，高度为（0.48± 0.5 in.），摄像机捕捉长凳的总宽度。使用四台摄像机的原因是为了覆盖整个工作台区域（148.8平方英尺）。基于云的自动图像采集系统被用来获取杂草和作物图像。在不均匀背景和均匀背景下捕获图像三天，以最小化由于植物生长可能导致的误差。该等图像于二零二一年三月三十日起计三天内于温室内拍摄，白天采用自然照明，晚上采用人工照明在获得图像之后，下一步是从单个图像中提取单个杂草和作物物种开发了Python（Python软件基金会，Wilmington，DE）脚本，以使用OpenCV库（Bradski，2000）标记一天的单个图像，该库保存边界框坐标，以便对同一天的剩余图像执行自动裁剪。在应用python脚本之前，手动检查图像是否存在任何干扰，例如人为干预、图像中的外部对象和照明变化包括干扰的图像图1.一、拍摄的图像;（a）添加砾石之前（非均匀背景），和（b）添加砾石之后（均匀背景）。S. G C、C. Koparan，M.R. Ahmed等农业人工244在处理数据集之前被删除。图2示出了根据本发明的一个实施例的详细实施例。图像标签和裁剪python脚本的流程图在裁剪所有物种的图像后，检查图像是否有任何植物改变了位置或仅改变了图像中的一小部分;这些图像将从数据集中删除 图图3示出了对于非均匀背景和均匀背景的所有种类的杂草和农作物的裁剪图像。通过为每个物种制作一个目录并通过python脚本将作物图像放置到相应的目录中来标记裁剪的图像为具有非均匀背景数据集的2868幅图像和具有均匀背景数据集的3488幅图像创建了两个目录表1显示了两种背景情景数据的每个物种图像数量的详细信息2.2. 基于卷积神经网络的作物和杂草图像分类在这项研究中，基于卷积神经网络（CNN）的视觉几何组16（VGG16）深度学习架构被用来比较杂草和作物图像的分类，- 均匀背景场景（S1）和均匀背景场景（S2）。已经在ImageNet 1000类上训练的VGG16架构用于使用杂草和作物图像数据集来调整模型（Abdalla等人，2019; Espejo-Garcia等人，2020年）。VGG16模型被训练到50个epoch，每个epoch中有32个步骤这种技术被称为转移学习，其中卷积和池化层被冻结，全连接层被修改以适应新的问题集而不是训练和优化冻结层，权重和偏差，使用了ImageNet数据集上先前训练的VGG16模型的权重和偏差只有完全连接的层被训练为八个类作为输出类。使用迁移学习是因为它使训练更快，并且能够用更少的数据实现出色的性能（GC等人， 2021年）。 图4 a显示了本研究中使用的VGG16架构模型层的完整框图及其输出和输入维度（Simonyan和Zisserman，2014）。完整的图表描述了ResNet50架构及其用于迁移学习方法的可训练和冻结层（He等人，2015年）。在训练过程中，有五个卷积和池化层块被冻结在VGG16模型中，总共有14，915，400个参数，其中200，712个参数是可训练的，并且剩余的14，714，688个参数是不可训练的，因为在迁移学习模型训练方法中仅训练了很少的最外层与VGG16类似，基于CNN的残差网络50（ResNet50）深度学习架构也被用于训练非均匀背景场景（S1）数据、均匀背景场景（S2）数据以及在合并两个场景的数据之后获得的组合数据集场景（C）对于这个训练，ResNet50模型已经在Olsen等人的DeepWeeds图像数据集上训练过。（2019）使用。迁移学习技术用于ResNet50，其中仅训练了20，488个参数，其余23，583，616个参数被冻结。ResNet50被训练了70个epoch，每个epoch有32个步骤删除了具有9个输出类和sigmoid激活函数的最外层，并为具有softmax激活函数的8个输出类a添加了新的外层Softmax分配小数图二、流程图显示了从相机捕获的单个图像中标记杂草和作物物种的每个图像。S. G C、C. Koparan，M.R. Ahmed等农业人工245图3. 从佳能相机捕获的图像中复制作物和杂草植物的图像，然后应用标记和裁剪Python脚本（a）。施用黑色砾石之前的杂草和作物图像（不均匀背景）（b）。杂草和作物图像后的应用程序的黑色砾石（统一的背景）。将概率分配给每类杂草和作物，其中具有最高概率的类被认为是预测的类（Alzubaidi等人， 2021年）。在S1、S2和C数据集上进行VGG16和ResNet50模型训练和验证标记的图像被随机分为两个场景数据的训练，验证和测试数据集，比例分别为60%，20%和20%有1719人，S1的作物和杂草图像的数量分别为1149而S2数据集分别有1984和1504幅作物和杂草图像关于单个杂草和作物物种的图像数量的更多细节在表1中简要示出。首先，使用S1和S2数据集建立模型后来，将训练和验证数据集混合起来，并使用组合数据开发了第三个模型，以创建C。VGG16和ResNet50步骤的详细流程图S. G C、C. Koparan，M.R. Ahmed等农业人工246表1非均匀背景场景（S1）和均匀背景场景（S2）数据的作物和杂草种类的训练、验证和测试图像的总数。培训验证试验总计总图五、 VGG16和ResNet50模型开发流程图，用于培训，验证和测试步骤。模型开发、验证和测试步骤如图所示。 五、Adam优化器（Kingma和Ba，2015）和分类交叉熵分别用作VGG16和ResNet50模型训练和验证的优化器和成本函数训练数据集仅被增强以增加数据集的数量，这也有助于在使用具有大量参数的模型进行训练时减少模型的过度拟合所用的图像增强技术包括重新缩放、剪切、移位、平移、旋转和缩放。最后，使用测试数据集对从训练和验证数据集开发的模型进行测试，以评估模型的 性 能 。 这 两 个 模 型 都 是 使 用 深 度 学 习 TensorFlow（ TensorFlow.org ） 和 Keras （ keras.io ） python 应 用 程 序 接 口（ API ） 构 建 和 测 试 的 培 训 和 测 试 在 具 有 Intel® Core™i7RoundRock，TX）。2.3. 作物和杂草数据分析在这项研究中，为了观察背景场景对模型性能的影响，使用与用于构建模型的图像不同背景的图像对模型进行 在使用S1模型、S2模型和C模型数据集训练和验证的三个模型上测试S1和S2的测试数据集。 当测试数据集的背景场景与开发模型的场景完全不同时，这有助于交叉检查模型。VGG16和ResNet50模型的性能通过精确度、召回率（灵敏度）、f1评分和准确度参数进行测量。 使用f1评分指标优于准确性，因为当每个类别 中 的 图 像 数 量 不 平 衡 时 ， 它 可 以 很 好 地 工 作 （ Johnson 和Khoshgoftaar，2019）。准确性是指正确分类的图四、VGG16和ResNet50架构，显示输入层、卷积层、池化层和输出层。冻结层参数不被训练，并且可训练层参数在训练期间被优化（一）. VGG16架构（b）。ResNet50架构。S1S2S1S2S1S2S1S2两马蹄草13214445484548222240462帕尔默12418042604260208300508苋菜反枝苋628722302230106147253豚草14019147654765234321555水麻13418245624562224306530卡诺拉52264017521417521487210681940Kochia9311431383138155190340甜菜5075481701841701848479161763总17142086577701577701286834886356S. G C、C. Koparan，M.R. Ahmed等农业人工247数据实例的总数当数据集不平衡时，准确性然而，f1分数，也就是精确度和召回率的几何平均值，清晰地描绘了每个类的模型性能精确度是正确预测的图像占预测图像总数的百分比，而召回率是正确预测的图像占实际类中图像总数的百分比。理想情况下，对于好的分类器，精确度和召回率值都应该是1，但它们相互抵消，增加一个通常会减少另一个（Aryaet al.， 2020年）。计算精确度、召回率和f1分数的宏观平均值和加权平均值混淆矩阵也被用来可视化的模型的预测结果的总结。为了计算所有指标并可视化混淆程度，使用了python sklearn API（Pedregosa etal.， 2011年）。通过计算误差百分比（PE）获得S1和S2的模型性能下降 它是通过找到在相同背景场景测试数据集和不同背景场景测试数据集上测试时模型的f1得分或准确度值之间的差异来计算的。此外，当使用组合数据集构建模型时，计算两种背景情景模型的改善百分比（PI）。误差PE和PI百分比的显著性也用单侧配对t检验进行检验3. 结果3.1. 用于作物和杂草分类在模型训练和验证过程中，针对S1、S2和C数据集对VGG16和ResNet50模型进行了模型性能评估，以检查模型的泛化能力。VGG16模型对S1和S2数据的训练和验证准确率均为97%图 6显示了VGG16和ResNet50模型训练的训练准确度、验证准确度、训练损失和验证损失。当epoch从epoch 1增加到epoch 50时，训练损失从1.6501减少到0.0469，训 练 准 确 率 从 54.42% 增 加 到 97.85% ， 验 证 损 失 从 0.6675 减 少 到0.0176，验证准确率从75%增加到99.02%。对于VGG 16-S1模型，似乎准确度增加，损失减少（图11）。（六）。在VGG 16-S2模型中发现了类似的趋势对于VGG 16-S2模型训练（图6），训练损失从1.8856降低到0.0262，训练准确度从49.02%提高到99.22%，验证损失从0.6767降低到0.0562;验证准确度从79.10%提高到97.85%。这表明VGG 16-S1模型的验证准确度高于VGG 16-S2模型。与VGG16类似，当epoch从1增加到70时，ResNet50模型在两种背景场景下的训练和验证准确度都有所提高，训练和验证损失有所减少（图10）。（六）。在ResNet 50-S1模型训练过程中，训练损失从1.3279下降到0.0698，训练准确率从57.62%提高到98.63%;验证损失从0.9317下降到0.1018，验证准确率从68.36%提高到97.27%。而在ResNet 50-S2模型的训练过程中，训练损失从1.3578下降到0.1217，训 练 准 确 率 从 55.27% 上 升 到 97.57% ， 验 证 损 失 从 0.9924 下降到0.1372，验证准确率从64.65%上升到95.31%，表明S1和S2 ResNet 50模型的验证准确率均达到95%以上。然而，ResNet 50-S1模型比ResNet50-S2模型实现了更高的验证精度。S1和S2的组合数据集用于训练和验证VGG16和ResNet50模型。在VGG 16-C模型（Cmodel）上从epoch 1到50的VGG 16模型训练期间，随着训练的继续，准确度和损失值如图所示发生变化。第六章训练损失从1.9313降低到0.0873，训练准确率从51.95%提高到97.66%，验证损失从1.0262降低到0.0339，验证准确率从70.51%提高到98.24%。同样，对于ResNet 50-C模型开发，随着epoch从1增加到70，训练损失从1.2242减少到0.1380，训练准确率从56.84%增加到95.31%，验证损失从1.0244减少到0.1563，验证准确率从64.26%增加到93.55%。VGG 16-C和ResNet 50-C模型的训练和验证准确率均超过95%（ResNet 50：epoch 66）。VGG 16-C模型的训练和验证精度高于ResNet 50-C模型，用于本研究中使用的杂草和作物数据集图6中的所有六个训练图都显示了模型在训练步骤中没有过度拟合3.2. VGG 16模型在杂草和作物分类测试图像上的预测性能对于深度学习模型性能评估，使用精度，召回率，f1-score和混淆矩阵来描述VGG 16模型在S1测试数据（S1 tedata）和S2测试数据（S2tedata）上的性能。在S1 tedata和S2 tedata上测试了VGG 16-S1、VGG 16-S2和VGG 16-C模型表2显示了VGG 16- S1模型在精确度、召回率和f1分数方面的性能当使用S1 tedata测试VGG 16-S1模型时，模型性能最高，平均f1得分为99%这个结果是可以预期的，因为模型是从具有相似背景的图像中学习的。然而，当VGG 16-S1模型用S2 tedata检验时，宏观平均f1分数下降到83%，加权平均f1分数下降到87%。在两种作物和六种杂草中，f1分数严重下降的前三个物种是反枝苋（100%至 46% ） ， 马 尾 草 （ 100% 至 79% ） 和 紫 红 色 （ 99% 至 80% ） 。Ferentinos（2018）在植物病害检测中观察到类似类型的性能下降，当测试图像发生变化时，当分别使用田间和实验室数据测试实验室和田间数据训练的模型时，模型成功率为32%至66%f1分数值的下降可以归因于低召回值，这是由于在实际类别中的图像总数中正确地分类了较少数量的Redroot Pigweed图像图图7a和图7 b显示了VGG 16-S1模型的混淆矩阵，其支持表2中的结果。用S1 tedata对VGG 16-S1模型进行测试，除甜菜外，其他类别的预测正确率均为100%然而，当用S2 tedata测试VGG 16-S1模型时，由于反枝猪草（100%至33%）和马尾草（100%至66.7%）的预测急剧下降，预测准确度从98.96%下降至88%，这在图7 b中清楚地描绘。在调查S1模型S2数据混淆矩阵时，14.6%的马尾草被误分类为豚草和油菜。而反枝苋分别有33%和20%当使用S2 tedata测试VGG 16-S1模型时，这些错误分类导致模型Redroot Pigweed没有希望，这可能是由于不同的背景场景和较低数量的训练图像。 10%的红根猪草被误分类为Palmer Amaranth，这可能是由于它们的叶具有相似的形态特征（Maet al.， 2015年）。使用S1 tedata和S2 tedata测试VGG 16-S2模型，其性能如表3所示。VGG 16-S2模型的性能似乎很有希望，S2 tedata的宏观和加权平均f1评分值分别为98%和99%。对于S2tedata测试，在八个类别中，水麻具有最低的f1分数值95%，而油菜和豚草具有最高的f1分数值100%。在研究混淆矩阵的模型性能时（图1）。 7 c）对于S2tedata，除了Redroot Pigweed、地肤和甜菜分别具有93.3%、97.4%和96.2%的准确度之外，所有类别都被100%正确地预测。然而，VGG 16-S1型号没有S. G C、C. Koparan，M.R. Ahmed等农业人工248图第六章VGG16和ResNet50模型开发期间的训练和验证进度，显示训练和验证准确性（train_acc，valid_acc）和损失（train_loss，val_loss）。VGG16_S1是在背景场景1（S1）数据上训练的VGG16模型，VGG16_S2是在背景场景2（S2）数据上训练的VGG16模型，VGG16_C是在来自两个背景场景的组合（C）数据上训练的VGG16模型， ResNet50_S1是在S1数据上训练的ResNet50模型，ResNet50_S2是在S2数据上训练的ResNet50模型，ResNet50_C是在来自两个背景场景的组合（C）数据上训练的ResNet50模型表2VGG 16-S1模型在精确度、召回率和f1分数指标方面的性能，来自S1 tedata（S1 modelS 1 tedata）和S2 tedata（S1 modelS 2 tedata）的测试。精度召回f1得分测试数据S1模型S1数据S1模型S2数据S1模型S1数据S1模型S2数据S1模型S1数据S1模型S2数据S1模型S1数据S1模型S2数据马蹄草1.000.971.000.671.000.794548芒苋0.980.771.000.830.990.804260反枝苋1.001.001.000.301.000.462230豚草1.000.861.001.001.000.924765水麻1.000.931.000.901.000.924562卡诺拉0.970.881.000.980.990.93175214Kochia1.000.941.000.891.000.923138甜菜1.000.880.960.880.980.88170184宏平均0.990.901.000.810.990.83577701加权平均0.990.890.990.880.990.87577701S. G C、C. Koparan，M.R. Ahmed等农业人工图第七章 VGG16模型的混淆矩阵检验结果。（一）. 使用S1tedata（b）测试S1模型使用S2tedata（c）测试S1模型使用S2tedata（d）测试S2模型使用S1tedata（e）测试S2模型。使用S1tedata（f）测试的Cmodel。用S2tedata（HW：马尾草，PA：Palmer Amaranth，RRPW：反枝猪草，RW：豚草，WH：水麻，甜菜）测试的C模型。S. G C、C. Koparan，M.R. Ahmed等农业人工表3250VGG 16-S2模型在S1 tedata（S2 modelS 1 tedata）和S2 tedata（S2 modelS 2 tedata）的精确度、召回率和f1分数指标方面的性能。精度召回f1得分测试数据S2modelS2tedataS2模型S1数据S2modelS2tedataS2模型S1数据S2modelS2tedataS2模型S1数据S2modelS2tedataS2模型S1数据马蹄草0.980.801.000.910.990.854845芒苋0.980.541.000.860.990.666042反枝苋1.000.770.930.450.970.573022豚草1.000.921.001.001.000.966547水麻0.900.701.001.000.950.836245卡诺拉1.000.741.001.001.000.85214175Kochia1.001.000.970.840.990.913831甜菜1.001.000.960.400.980.57184170宏平均0.980.810.980.810.980.78701577加权平均0.990.830.990.780.990.75701577对于S1tedata，表现良好，宏观和加权平均f1得分值分别为78%和75%对于S2模型S1tedata测试，红根猪草、甜菜和Palmer Amaranth具有最低的f1评分值，分别为57%、57%和66%。F1-评分值较低的反枝苋和甜菜，由于低召回值分别为45%和40%，然而，帕尔默苋有较低的f1-评分值，由于低精度值为54%。此外，在查看S2modelS1tedata的混淆矩阵时（图1）， 7 d），反枝苋和甜菜的预测精度分别下降到45.5%和40%。 在所有的反枝猪草和甜菜图像（31.8%）中，分别有31.8%被误分类为水麻和曼陀罗。 这可能是由于不同的测试图像背景场景、少量的RedrootPigweed图像以及Redroot Pigweed和Waterhemp之间的相似形态学。使用S1 tedata和S2 tedata对VGG 16-C模型进行了测试，表4中清楚地描述了模型性能。VGG 16-C模型的性能似乎很有希望，S1 tedata和S2tedata的宏观平均和加权平均f1得分值均超过98%。 对于S1tedata，8个类别的f1得分为99%或100%，然而，对于S2tedata，f1得分值在96%（地肤 ） 和 100% （ 豚 草 ） 之 间 。 此外， Fig.7 E 和 图 。 7 f 显 示CmodelS1tedata和CmodelS2tedata测试的混淆矩阵。对于S1tedata，除了甜菜（98.2%）之外，所有类别的预测都是100%正确的，而对于S2tedata，Redroot Pigweed，Ragweed，Waterhemp和Canola的预测都是100% 正确的。S2tedata的最低预测百分比是Horseweed图像（94%）。当使用组合数据集来训练和验证模型时，模型性能得到改善研究人员建议在训练深度学习模型时使用具有大量图像的更大数据集（Hasan et al.， 2021年）。3.3. Resnet50模型在杂草和作物分类测试图像上的预测性能在本研究中还使用了ResNet50模型，以查看在不同背景条件下的模型性能是否遵循类似的图为VGG16。用S1数据（S1tedata）和S2数据（S2tedata）测试从S1数据训练的模型表5显示了在S1 tedata和S2 tedata上测试的ResNet50-S1模型的精确度、召回率和f1分数。当使用S1 tedata测试ResNet50- S1模型时，该模型表现良好，加权和宏观平均f1得分为98%。然而，当使用S2 tedata测试ResNet 50-S1模型时，模型性能急剧下降，宏 观 和 加 权 平 均 f1 得 分 为 75% 和 80% 。 在 深 入 研 究 表 5 时 ，S1modelS1tedata 的 Horseweed 、 Ragweed 和 Kochia 的 f1 分 数 为100% ， 但 是 S1modelS2tedata 类 都 没 有 100% 的 f1 分 数 。S1modelS1tedata Redroot Pigweed的f1评分值最低，为93%。在S1模型S2tedata中，豚草的f1分数最高，为96%，帕尔默苋菜的f1分数最低，为44%，其中f1分数最低的3个类别是帕尔默苋菜（44%），红根猪草（49%）和水麻（75%）。Palmer Amaranth的准确率为94%，回忆率为28%，导致f1评分严重下降然而，RedrootPigweed具有较低的精确度（63%）和召回率（40%）值，导致S2tedata中的f1分数从S1tedata中急剧下降当测试数据的背景与训练模型数据的背景不同时，VGG16和ResNet50模型的模型性能退化模式相似ResNet 50-S1模型在S1 tedata和S2 tedata上的性能更清晰的图片如图所示。8 a和b混淆矩阵。对于S1modelS1tedata，该模型预测Horseweed，Palmer Amaranth，Ragweed和Kochia 100%正确。最低的预测百分比是获得反枝苋（90.9%），其中9.09%的图像被错误地预测为甜菜。然而，S1modelS2tedata混淆矩阵没有100%预测准确度的类，其中Horseweed的预测准确度最高，为97.9%，Palmer Amaranth的预测准确度最低，为28.3%。此外，红根苋（40%）也有最差的性能后，帕尔默苋。对于Palmer Amaranth和Redroot Pigweed，很大一部分图像被错误地预测为甜菜，导致预测准确性较低（图10）。 8 b）。除了这些物种，其余物种的预测准确率在79%和98%之间表4VGG 16-C模型在S1 tedata（CmodelS 1 tedata）和S2 tedata（CmodelS 2 tedata）的精确度、召回率和f1分数指标方面的性能。精度召回f1得分测试数据CmodelS1数据库CmodelS2tedataCmodelS1数据库CmodelS2tedataCmodelS1数据库CmodelS2tedataCmodelS1数据库CmodelS2tedata马蹄草1.000.981.000.941.000.964548芒苋0.980.971.000.970.990.974260反枝苋1.000.971.001.001.000.982230豚草1.001.001.001.001.001.004765水麻0.980.981.001.000.990.994562卡诺拉0.990.991.001.001.000.99175214Kochia1.000.951.000.971.000.963138甜菜1.000.990.980.970.990.98170184宏平均0.990.981.000.981.000.98577701加权平均0.990.980.990.980.990.98577701S. G C、C. Koparan，M.R. Ahmed等农业人工251表5ResNet 50-S1模型在S1 tedata（S1 modelS 1 tedata）和S2 tedata（S1 modelS 2 tedata）的精确度、召回率和f1分数指标方面的性能。精度召回f1得分测试数据S1模型S1数据S1模型S2数据S1模型S1数据S1模型S2数据S1模型S1数据S1模型S2数据S1模型S1数据S1模型S2数据马蹄草1.000.851.000.981.000.914548芒苋0.950.941.000.280.980.444260反枝苋0.950.630.910.400.930.492230豚草1.001.001.000.921.000.964765水麻1.000.720.910.790.950.754562卡诺拉0.980.960.990.830.990.89175214Kochia1.000.721.000.821.000.773138甜菜0.980.680.990.940.980.79170184宏平均0.980.810.970.750.980.75577701加权平均0.980.840.980.810.980.80577701表6中描述了S1 tedata和S2 tedata的ResNet 50-S2模型性能（以f1分数表示）。当在S2 tedata上评估ResNet 50-S2模型时，发现宏观平均f1分数和然而，当在S1tedata上评估模型时，性能显著下降，宏观和加权f1评分值分别为68%和63%。这可能有几个原因，但这背后的主要原因是由于测试图像上的背景与训练图像完全不同当使用S2 tedata评估ResNet 50-S2模型时，Horseweed获得了最高的f1得分值（100%），Redroot Pigweed获得了最低的f1得分值ResNet 50-S2模型在S1 tedata上的性能严重下降是由于甜菜、Palmer Amaranth和Redroot Pigweed中的f1评分值显著下降到45%以下（表6）。对于甜菜，f1-评分值的下降 是 由 于 召 回 值 下 降 到 21% ， 而 对 于 Redroot Pigweed 和 PalmerAmaranth，精确度和召回值都下降到51%以下。ResNet50-S2模型中S2 tedata和S1 tedata的混淆矩阵如图所示。8 C和D。对于S2modelS2tedata，Horseweed，Waterhemp和Canola测试图像被100%正确地预测，其中除了Palmer Amaranth（80%）之外，所有类别都具有大于90%的预测准确度对于Palmer Amaranth，6.67%的图像被误分类为甜菜，5%的图像被误分类为反枝猪草。当ResNet 50-S2模型在S1 tedata上进行评估时，模型性能与S2 tedata一致地下降 在图中S1tedata的混淆矩阵中。 8 d，由于将甜菜图像误分类为卡诺拉，甜菜预测精度显著降低。类似地，对Palmer Amaranth和Redroot Pigweed的预测然而，马尾草、油菜和豚草表现突出，预测准确率超过97%。在不同的背景试验数据下，ResNet 50-S2模型与ResNet 50-S1模型的性能退化总体规律ResNet50-C 模型在S1 tedata 和 S2 tedata 上进行了评估，以查看CmodelS 1 tedata和CmodelS 2 tedata的性能差异。 表7显示了使用S1tedata和S2tedata进行测试时ResNet50-C模型的精确度、召回率和f1得分值。S1tedata和S2tedata的宏观平均f1分数均为93%，两个测试数据的加权平均f1分数均为95%。因此，使用两个测试数据时没有显著的性