农业的效率与可持续性：CropAndWeed数据集的多模式学习方法

3729CropAndWeed数据集：一种用于作物和杂草高效操纵的多模式学习方法Daniel Steininger Andreas Trondl Gerardus Croonen Julia Simon VerenaWidhalmAIT奥地利技术{daniel.steininger，andreas.trondl.fl，gerardus.croonen，verena.widhalm，julia.simon} @ait.ac.at摘要随着可持续性和效率的考虑变得越来越重要，精准农业，特别是自动杂草干预的应用代表了一个越来越虽然卷积神经网络在检测、分类和分割任务中的潜力已经在其他应用领域得到了成功的证明，但这个相对较新的领域目前缺乏这种高度数据驱动的方法所需的训练数据的数量和质量。因此，我们提出了一个新的大规模图像数据集，专门在细粒度的识别74个相关的作物和杂草物种的高度强调数据的可变性。我们为超过8k的真实农业用地和稀有杂草类型的专门此外，每个样本都丰富了关于环境条件和记录参数的一组广泛的元注释。此外，我们进行基准实验的多个学习任务的不同变体的数据集，以证明其多功能性，并提供了有用的映射方案的例子，用于定制的注释数据，以满足特定应用程序的要求。在评估的过程中，我们还展示了如何将多种杂草纳入学习过程中，提高了作物检测的准确性。总体而言，评估清楚地表明，我们的数据集代表了克服数据差距和促进精准农业领域进一步研究的重要一步1. 介绍在全球人口增长的时代，农业面临着对粮食作物不断增长的需求，同时减少了对环境和人类健康的影响图1.具有语义掩码（右上）、边界框（左下）和茎位置（右下）的代表性注释示例描绘了74种作物和杂草物种中的4种。同时获得优先权。提供最大潜力的任务之一是有效去除杂草，否则杂草会与栽培作物竞争阳光、水、空间和养分等资源，从而显著降低其总产量[25，9]。代替通常使用的将除草剂大规模施用到整个耕作区域的技术，精确农业，特别是以作物和杂草的自动定位和分类的形式，提供了通过将除草剂精确施用到特定植物或甚至在不使用化学品的情况下机械地去除杂草来显著提高过程的效率和可持续性的机会此外，类似的方法可以用于其他任务，如生长跟踪，自动收获，甚至识别植物害虫或疾病[34，32]。卷积神经网络（CNN）[14，11，21]和最近出现的视觉变换器[3，37]都为精准农业任务提供了非常有前途的方法，例如分割，细粒度分类，3730鉴定以及植物和茎检测。然而，他们的强大的应用程序需要大量的高度可变的注释的训练数据，这是目前还没有在这个研究领域。此外，很少强调多个作物和特别是杂草的组合的相关性，在我们看来，这应该被利用，以提高在现实世界的情况下的检测性能。为了满足这一研究需求，我们的工作提出了以下贡献：• 我们为精准农业提供了一个新的大规模数据集，由高度可变的真实世界图像和丰富的作物和杂草类别的多模态注释组成。1• 我们通过训练和评估多个学习任务（包括对象检测、词干定位和语义分割）来展示其多功能性。• 我们引入了数据消融的概念，以有效地将数据集专门化以满足不同的应用需求。因此，我们证明了我们的假设，即作物检测显着受益于将杂草类除了相关作物。2. 相关工作CNN已成功应用于自然语言处理[35]和自动驾驶[24]等研究领域。它们的结构专门用于模式识别，使它们能够学习定义图像内容的丰富视觉表示集。除了网络架构和并行处理的进步之外，它们的性能不断提高还得益于可用数据集质量和数量相反，为了成功地集成到作物和杂草控制系统中，训练和测试数据的缺乏以及输入模式的异质性仍然构成这是深度学习应用的一个挑战。虽然有很有希望的初步方法证明了CNN在精准农业中的潜力[23，11，14]，特别是使用迁移学习[4，12]，但可用数据集的数量和可变性仍然不足以实现其稳健和广义适应。该领域的第一个较大的数据集之一是Plant Seedlings数据集[10]，它专注于分类和分割12种植物物种的4750个提取斑块以及在野外捕获的额外图像集。然而，由于大多数样品是在实验室条件下记录的，数据多样性，特别是关于背景和照明条件的变化一个大规模和精心设计的数据集是CropDeep [38]，1数据集的图像和注释可在https://github.com/cropandweed/cropandweed-dataset为31类水果和蔬菜提供了49K个实例，这些水果和蔬菜被注释用于检测和分类，并在温室环境中被捕获，以实现采摘过程的自动化。虽然数据包含广泛的背景变化，没有户外作物领域和偏向成熟水果限制了其适用性杂草干预系统。另一个相关数据集由[31]发表，包含6种作物和8种杂草。除了实验室设置之外，在现场条件下在三个位置记录了额外的图像数据，从而在1118张图像中总共有约8k个注释实例。此外，还有一些 专 注 于 特 定 作 物 类 型 的 小 规 模 数 据 集 ， 例 如DeepWeeds数据集[26]，它提供了8种类型的澳大利亚杂草的注释，这些杂草在图像级别进行了注释，或者是Carrot-Weed数据集[16]。此外，已经出现了少量消费者级别的植物虽然大多数贡献依赖于RGB图像数据，但也有一些作品呈现了多光谱图像[7，1，19]以及作物和杂草的合成数据生成器[2，30]。一般来说，这些数据集中的大多数集中在注释边界框或语义掩码上，但很少同时提供[8]，而词干检测仅由少数贡献（如[21]）解决。总之，大多数数据集在其应用领域、输入方式和注释类型方面都有很大的局限性。据我们所知，目前在精准农业的研究领域中没有数据集与我们关于用于检测、分类、茎定位和语义标记的注释实例和植物类的数量和可变性的工作相比较3. CropAndWeed数据集我们提出的数据集为克服精准农业中的数据差距迈出了重要的一步图像数据以及多模态注释可用于学术研究，并旨在通过与社区合作来增强，以通过添加在世界各地收集的样本来逐步增加多样性。3.1. 设计考虑在四年的时间里，我们记录了一组丰富的图像数据，集中在各种作物和杂草的早期生长阶段。一方面，我们从奥地利数百个商业种植区收集并注释了样品（应用集），这些样品代表了实际应用的真实验证和测试数据。通过整合来自不同地点的数据，该集合涵盖了土壤类型的高度多样性以及植物的典型组合和分布。第二部分（Experi- mental Set）描述了在受控的室外环境中专门生长的物种的广泛选择，以有效地丰富数据集，其中包含代表性不足的类的样本3731图2.数据集中包括的所有作物和杂草品种的代表性选择图3.为每个记录会话定义的参数的代表性图示。分类是基于视觉特征的独特性，例如水分的裂缝或照明情况下阴影的硬度。与前一组相反，这些作物和杂草被仔细选择并种植在类似于常规栽培区域的标准化地块上，但每种仅包括限定的物种或植物组合。虽然这种方法需要更多的人工灌溉和清除非预期的植被，但它有助于明确识别物种，即使在早期生长阶段。此外，由于这些阶段与自动监测和杂草清除等任务最相关，因此仅出于数据集创建的目的而培养植物使我们有机会通过比通常出于商业目的而收获的时间显著更早地在数据采集过程中，特别强调实现高度可变性，以包括常规农业操作中实际遇到的大多为了涵盖广泛的照明和天气条件以及不同的土壤类型，图像数据收集了四年的3月至7月。每个捕获会话指的是特定时间的唯一农业现场或特定实验地块，并且以至少三米的间隔产生平均仅20个图像以避免冗余。为了涵盖预期与当前和未来应用相关的一系列作物和杂草物种，我们总共选择了74种植物类别的集合，16种代表作物的物种，而其余的58种通常不是有意栽培的，因此被认为是杂草。图2中给出了这些类别实例的代表性组成，规范还包含后备类植被，用于由于其大小（16× 2像素）或外观而无法在真实世界应用设置或多物种实验地块中明确识别的实例，因为其边界框和分割掩码与测试目的相关。<植物物种的完整清单和描述见补充材料。除了植物类型及其组合，我们的目标是在白天，季节，光照条件，土壤粒度和水分，以及作物和杂草物种的不同组合的大量变化。此外，数据集通过不包含可见植被的负样本以及岩石、稻草、肥料或垃圾形式的背景杂波来丰富。据我们所知，我们在可变性和灵活 性 方 面 超 过 了 该 领 域 的 任 何 现 有 数 据 集 ， 使CropAndWeed数据集成为未来精准农业自动化作物和杂草管理领域方法的非常合适的基准3.2. 数据采集和注释数据收集使用半专业单反相机与全画幅传感器，以满足我们对机动性和图像质量的要求。所有图像都是在自动曝光模式下以50mm的恒定焦距从大约1.1米的高度处的近似自上而下的视角手动捕获的。对于每个捕获会话，我们记录在记录时遇到的相关环境参数，如图3所示。它们对于在数据集创建过程中识别数据缺口至关重要，并提供了评估CNN对特定环境条件的鲁棒性的机会。另外，元注释包括时间戳、GPS坐标作为时间戳。3732以及选定的相机参数。所有这些输入都被用来专门选择一组代表性的图像进行细粒度注释。表1给出了两个子集的统计学概述。ExpApp总会议记录1 3637382 101注释665264929记录的图像22 59721 21743 814注释4 9903 0448 034注释66 87745 076111 953表1.在实验种植地块（Exp）和传统农业应用地点（App）记录和注释的图像数据概述为了提高注释效率，每个图像自动预分割成土壤和植被像素。最初，这是使用基于颜色的阈值化的传统方法实现的[27]，后来被我们使用在注释数据上训练的初步模型的基于CNN的分割所因此，减少了评估和细化这些掩模的手动工作，同时分配目标类别。类似地，所得到的掩模用于自动生成每个植物实例的边界框，其通过每个植物的茎位置的注释被手动细化和增强。为了确保一致的注释质量，具有显著模糊性或大量植物的数据批次通过多个注释器的重复来审查，作为额外的验证步骤。图1中可视化的结果注释为训练和评估多个学习任务提供了全面的基础，以精确地指导植物干预系统，例如检测，亚种分类，语义和全景分割以及锚点回归。4. 方法为了证明我们的数据集对作物和杂草操作的适用性，我们对多个学习任务进行了训练和基准测试。为了这个目的，我们定义了多个数据集变量，通过映射原始标签到不同的超类集专门用于不同的应用场景。4.1. 数据消融最初的标签规格包含74个类别，旨在涵盖当前和未来应用中预期相关的广泛植物虽然他们中的一些人由于识别有效映射需要一定水平的专业知识和经验分析，因此本节为将数据集调整为特定地点的栽培作物和预期图4.Fine24中作物和杂草类的分布数据集变量。最粗糙的可能数据集变体（Coarse1）由只有两类区分土壤和任何类型的植被，因此提供了所有可用的作物和杂草物种的纯本地化。下面呈现的所有其他数据集变体以不同的粒度水平提供了植物实例的附加分类，并且被选择以突出所得到的灵活性以及将杂草品种并入训练过程中的益处最细粒度的变体Fine24将原始标签映射到8种作物和16种杂草类别，主要基于植物分类，在极少数情况下，视觉相似性。图4和图5示出了该基础变体的每个类的注释对象实例的分布及其大小 总 的 来 说 ， 作 物 占 所 有 实 例 的 18.7% ， 杂 草 占51.7%，其余属于植被类，该类包含数据集的所有Tiny实例作物和杂草类别的分布与其在现实世界条件下的发生频率密切相关，因为大部分数据是在商业使用的栽培区捕获的。然而，如第3.1节中所讨论的，为了创建该数据集，还增加了严重代表性不足的杂草类，从而确保了足够的代表性用于训练并部分减轻了数据集的长尾特征。一般来说，杂草往往比作物更频繁但更小，使它们成为注释和训练的最具挑战性的目标，特别是关于类分配。3733图5. Fine24数据集变体中作物和杂草实例的归一化大小分布，通过边界框区域聚类，图像大小为1920x1088像素：大型> 128 2>中型> 32 2>小型> 16 2>微型。通 过 将 所 有 类 型 的 杂 草 映 射 到 一 个 超 类（CropsOrWeed9）中并且此外也仅使用用于作物的单个类（CropsOrWeed2），可以将所呈现的类浓缩成其他变体。此外，我们包括包含每个作物作为单个类或与映射到一个超类的所有其他样本组合的变体，并将这些多个模型的集合分别表示为作物1和作物2在补充材料中提供了所有注释标签的精确映射，所得到的20个数据集变体中的每一个。4.2. 学习任务定义的数据集变量用于训练和计算多个学习任务和应用场景的专用模型。对于所有实验，在训练、验证和测试数据之间应用相同的恒定随机生成的70：15：15的分割，以确保即使在组合学习任务时也是独立的培训在配备两个NVIDIA RTX 3090 GPU的系统在所有实验中，我们使用随机梯度下降[15]进行优化，因为我们在使用PyTorch [28]时经历了Adam的不稳定收敛标准的数据扩充技术，如随机缩放和裁剪或归一化，并选择最佳验证性能的模型进行评估。检测对于对象检测，我们在Fine24数据集变体上试验了RetinaNet [17]和YOLOv5 [13]（6.0版）架构，最相关 的 结 果 见 表 2 。 由 于 其 卓 越 的 性 能 ， 我 们 选 择YOLOv5l6对所有数据集变体进行基准实验，并选择1280x1280像素的输入大小，因为考虑到训练时间的增加，增加在调整超参数之后，我们将线性学习率定为0.1，批量大小定为16。我们使用由[13]用于初始化并训练每个变量50个时期。分割分割实验进行的数据集的三个粗粒度的变体。由于分割旨在与检测相结合，YOLOv5s YOLOv5m YOLOv5l1280²47.4 51.7 54.61920²51.6 52.356.4表2.通过Fine24变体的验证集上的模型架构和输入分辨率以像素为单位的AP检测结果。为了满足实际应用的实时性，我们选择了一种受[36]启发的高效DLA-34模型我们从头开始训练，批量大小为4，裁剪大小为672像素，学习率为0.001，并在30个epoch后选择最佳模型。干定位我们将干定位制定为检测问题，为此，我们应用了预训练的SSD- 300单次检测器[20]和VGG-16 [29]骨干进行初始化。我们使用数据集的Coarse1变体进行训练，因为结果旨在与我们的检测模块实时结合，因此不需要冗余的细粒度分类。为了捕获每个主干位置周围的上下文，我们在注释锚点周围采样恒定大小的补丁。在使用多种配置进行实验之后，我们确定了81x81像素的补丁大小以及300x300像素的输入图像大小我们使用80张图像的批量大小和0. 0001的初始学习率进行训练，在第15个和第30个epoch之前减少了10倍基于50个时期后的验证结果选择最佳5. 评价为了建立我们的数据集在不同场景中的适用性的基准，我们对第4.1节中定义的所有数据集变体进行了多个学习任务的实验代表所有图像的15%的测试集完全独立于所有实验的训练和验证数据。5.1. 检测检测模型在每个数据集变体上进行训练，并在整个测试集上进行评估。 作为性能指标，我们将建立的平均精度（AP）报告为3734由[18]所描述，其依赖于类特定的交集（IoU）度量。与使用单个阈值来识别正确匹配相反，例如PascalVOC [6]所应用的，该更具挑战性的度量计算了0.5至0.95范围内的10个IoU阈值的结果的平均值虽然植被类的实例没有明确包括在训练模型中，但它们是测试集的一部分，用于在评估期间忽略任何与它们匹配的检测这是基于这样的想法，即检测到的不能被人类注释者分类的植物不应被视为假阳性或真阳性，因为它们的正确性不能被确保。出于同样的原因，我们只评估大于162像素的检测，这是在注释过程中分配类的最小大小。表3显示了在每个数据集变体上训练的模型的总体性能，以及在按实例大小过滤测试数据和检测结果后的得分S M L整体细2433. 1 57.4 72. 955. 4农作物或杂草932.2 71.6 87.071.5粮食产量236.1 67.4 84.863.8粮食作物118.5 47.9 65.157.3作物或杂草233.0 61.1 82.460.7粗129.7 59.0 84.255.230.4 60.7 79.4 60.6表3.通过在每个数据集变体上训练的模型的实例大小的检测性能（AP），其中Crop[2/1]表示8个crop类中的每个的相应变体的平均值。大小阈值类似于图5。毫不奇怪，检测性能随着实例的大小而显着提高然而，大小在162和322像素之间的小实例已经可以被分类，具有有希望的鲁棒性，而低于该阈值的微小实例先前被分配给植被类，如第3.1节所述，因此不包括在训练数据中。对于最粗粒度的Coarse1和最细粒度的Fine24变体，总体检测性能最低，其次是仅在一种作物物种上训练的8个单独模型，每个模型的平均值表示为Crop1。在这些边缘情况之间，性能随着并入类的数量而增加。然而，由于栽培作物类型的识别通常比这些总体措施中包括的杂草的个体类型之间的区分更相关于实际应用，表4提供了更详细的每类检测结果。在数据集的Coarse1变量上训练和评估的模型解决了最基本的任务，因为其目的仅仅是将数据集中注释的任何种类的植物与背景区分开。因此，它仅提供单个总体AP值，并且在以下情况下的适用性有限：实践Cro-pOrWeed 2提出了一个稍微困难的任务，它将作物和杂草区分为两个不透明的类别。尽管它们在视觉上相似，但它们仍然被模型以高精度分开。然而，精准农业的实际应用通常需要对特定作物类型进行更细粒度的识别。标记为Crop1和Crop2的行解决了此功能，它们表示经过训练以识别每种作物类型的多个模型的性能。在前一种变体的情况下，训练数据仅包含相关类的实例，代表了学习任务的最直接方法。因此，当模型面对测试数据中的其他植物的样本时，通过产生大量的假阳性检测，模型表现相当差。另一方面，Crop2模型通过合并由所有剩余植物实例的样本组成的第二类来缓解该问题，从而在大多数情况下显著提高相应作物的分数。然而，评估CropsOrWeed9模型清楚地表明，通过联合训练所有相关的作物类而不是将单独的模型专门化到每一个，可以实现最佳结果，这导致单个作物和包含所有杂草类型的单个类之间的更细粒度的区分。此外，将杂草类分解为单独的物种，如在Fine24数据集变体中，可以进一步提高得分，以获得更视觉上不同的作物，如豆和南瓜类可见。此外，该变体增加了杂草类型的鉴别能力，考虑到它们的评分现在代表超过15种杂草的平均AP，而不是CropsOrWeed9中的单一类别。总之，结果清楚地支持我们最初的假设，即纳入其他物种，特别是杂草，提高了识别特定类型作物的模型的性能。5.2. 分割分割实验使用[5]介绍的平均交联（mIoU）进行评估。表5显示了所有选定数据集变体的结果。分割性能急剧增加与反比例的类的数量。植物实例与土壤区域的总体差异对于所有模型都同样有效，如土壤类的分数所示。然而，由于作物和杂草的视觉相似性和与土壤像素相比的单个物种的代表性不足，作物和杂草的单个类别似乎代表了更具挑战性的任务。这种效应对于CropsOrWeed9变体尤其明显，其中单个作物物种产生极低的IoU，而充分代表的类别表现相当好，IoU高达74.1%（玉米），导致平均3735玉米甜菜豆豌豆向日葵大豆马铃薯南瓜杂草漂亮2476.579.082.766.980.653.970.889.245.6作物或杂草976.181.173.667.581.455.074.688.745.7作物277.679.575.167.378.554.165.487.5-作物175.074.468.329.462.952.821.274.3-CropOrWeed272.648.8表4.在每个数据集变量上训练的模型的检测性能（AP），包括每个作物类别的结果，以及杂草类别的平均值（如适用）。请注意，Crop[2/1]的行合并了所有相应作物特定变体的分数，每个变体仅产生一个特定类别的结果。作物杂草土壤总体作物或杂草919. 9 47. 6 99. 5 55. 7CropOrWeed270.0 27.199.565.5粗176.099.487.7表5.测试集上的分割性能，如每类IoU和总体mIoU，Crop得分在CropOrWeed的所有8种作物物种中平均9。总价值19.9%。最好的结果是通过Coarse1变体实现的，它仅将任何种类的植物与背景土壤区分开来。除了为语义分割提供有希望的第一个基准之外，所得到的模型可以直接用于在注释阶段之前预分割植物实例，如第3.2节所述。此外，它们与检测模型的结果相结合，以描绘检测到的实例的确切形状。5.3. 股骨柄定位对于实际应用，词干定位模块旨在通过为每个帧生成固定数量的假设来与对象检测结果相结合，然后修剪这些假设以基于它们的分数为每个检测到的边界框选择一个。因此，使用模拟完美检测结果的地面实况边界框对Coarse 1的测试集进行评估，以评估纯词干定位性能。由于整个数据集包含每个图像平均13.9个实例，因此将茎假设的数量设置为100，以确保即使对于包含大量植物的图像也有足够的结果。使用此设置，该模型正确地将干点分配给所有测试图像中平均73.1%的样本。所有帧中指定位置和相应注释之间的平均欧氏距离为29.1像素或25.5%归一化到各自的边界框大小。考虑到茎外观的多样性，使用这种非常有效的模型，检测率似乎很有希望。尽管如此，该方法将受益于结合多个尺度，以提高在固有的广泛范围的工厂大小的定位精度。5.4. 讨论在第4.1节中指定的所有数据集变体上训练和评估检测模型清楚地表明，识别单个作物类型的最佳最差的表现是在训练过程中完全忽略杂草因此，我们的数据集非常适合于通过创建包括预期在相应地点遇到的所有相关作物和杂草的专用数据集变体来专门化模型以满足精准农业研究领域此外，多模态注释促进多个学习任务以及数据集变体的有效组合。检测可以丰富的分割和干本地化的结果，以提供- vide甚至更彻底的场景理解。我们通过将我们的二进制分割和词干定位模型应用于Fine24检测实验的输出来演示这种方法，如图6所示。将检测与这些模态相结合提供了每个检测到的植物实例的更准确的逐像素分割，其中从检测结果中提取对应的标签。此外，在检测到的边界框内执行茎定位，从而产生关于每个帧的丰富信息集，其适用于精准农业领域中的多个任务。6. 结论我们在精准农业的背景下引入了一种新的用于作物和杂草操作的大规模多模态数据集，该数据集由超过8k的高质量图像和约112k的注释植物实例组成。除了边界框、分割掩码和茎位置之外，注释还包括16种作物和58种杂草的细粒度分类，以及相关环境和记录参数的特别强调的是高数据变异性和罕见类型杂草的代表性，这是专门为数据集创建的目的栽培的。3736图6.在检测、分割和词干定位测试集上选择具有代表性的组合定性结果 顶行显示Fine24模型的检测结果（绿色：正确检测（TP），橙色：正确定位，但类别不正确，红色：错误探测（FP），蓝色：未探测到地面实况目标（FN）。检测结果用作词干定位（黄色）和Coarse1分割模型的输入后者的结果显示在底部行中，颜色对应于检测到的类别。我们通过对CNN进行训练和基准测试，对数据集的多个变体进行对象检测、茎定位和分割，并对不同的作物物种和实例大小进行全面基于结果，我们能够展示我们的方法如何针对特定的应用场景进行定制，并证明我们的假设，即将多个杂草物种纳入训练数据集可以提高相关作物的检测性能。此外，我们展示了灵活组合在数据集变体上训练的多个学习任务的潜力。虽然这项工作中呈现的结果非常有前途，但我们计划与研究界合作进一步丰富数据集，以增加来自世界各地的样本和广告植物类别的数据可变性。此外，我们还打算增加多...对象跟踪，以通过随时间重新识别单个工厂实例来增加鲁棒性这意味着不同的输入模式，如无人机和其他移动平台捕获的连续图像序列，以提高记录效率，并进一步促进广泛应用的可应用性。谢谢。我们要感谢联邦气候行动、环境、能源、移动、创新和技术部以及奥地利研究促进署（FFG）共同资助了“未来的信息通信技术”研究项目HARV.EST（FFG编号：892347）。此外，我们还要感谢实验农场 Ground-Enzersdorf 的 Caroline Huber 、 ReinhardNeugschwandtner和Helmut Wagentristl，以及我们的注释 团 队 Gulnar Bakytzhan 、 Vanessa Klugsberger 和MarleneGlawischnig。3737引用[1] Nived Chebrolu，Philipp Lottes，Alexander Schaefer，Wera Winterhalter ， Wolfram Burgard ， and CyrillStachniss.农业机器人数据集，用于甜菜地的植物分类、定位国际机器人研究杂志，36（10）：1045[2] 毛里利奥·迪·西科，西罗·波坦纳，乔治·格里塞蒂和阿尔·贝托·普雷托. 基于模型的数据集自动生成，用于快速准确的作物和杂草检测。2017年IEEE/RSJ智能机器人与系统国际会议（IROS），第5188-5195页。IEEE，2017年。[3] AlexeyDosovitskiy，LucasBeyer，AlexanderKolesnikov，Dirk Weissenborn，Xiaohua Zhai，ThomasUnterthiner ， Mostafa Dehghani ， Matthias Minderer ，Georg Heigold，Sylvain Gelly，et al.一张图片相当于16x16个单词：用于大规模图像识别的变换器. arXiv预印本arXiv：2010.11929，2020。[4] BorjaEspejo-Garcia，NikosMylonas ，LoukasAthanasakos，Spyros Fountas，and Ioannis Vasilakoglou.通过迁移学习帮助杂草识别。农业中的计算机和电子学，171：105306，2020。[5] Mark Everingham 、 SM Ali Eslami 、 Luc Van Gool 、Christo-pherKIWilliams 、 JohnWinn 和 AndrewZisserman 。 Pascal Visual Object Classes Challenge ： ARetrospective.International Journal of Computer Vision，111（1）：98[6] Mark Everingham ， Luc Van Gool ， Christopher KIWilliams，John Winn，and Andrew Zisserman.pascal视觉 对 象 类 （ voc ） 的 挑 战 。 International Journal ofComputer Vision，88（2）：303[7] Adnan Farooq，Jiankun Hu，and Xiuping Jia.通过深度卷积神经网络分析光谱波段和空间分辨率用于杂草IEEEGeoscience and Remote Sensing Letters，16（2）：183[8] Mulham Fawakherji ， Ali Youssef ， Domenico Bloisi，Alberto Pretto，and Daniele Nardi.使用上下文无关像素分割的精准农业作物和杂草分类在2019年第三届IEEE机器人计算国际上，第146-152页IEEE，2019。[9] 伦纳德·P·吉亚内西。除草剂在全球作物生产中的重要性日益增加Pest Management Science，69（10）：1099[10] ThomasMosgaardGiselsson，RasmusNyholmJørgensen ，Peter Kryger Jensen ，Mads Dyrmann，andHenrik Skov Midtiby.一个用于植物幼苗分类算法基准测试 的 公 共 图 像 数 据 库 。 arXiv 预 印 本 arXiv ：1711.05458，2017。[11] Honghua Jiang ， Chuanyin Zhang ， Yongliang Qiao ，Zhao Zhang，Wenjing Zhang，and Changing Song.基于Cnn特征的图卷积网络用于智能农业中的杂草和作物农业计算机与电子，174：105450，2020。[12] 江子超。基于keras实现的vgg16迁移学习的杂草识别新方法。在IOP会议系列：材料科学与工程，第677/3卷，第032073页。IOP出版社，2019年。[13] Glenn Jocher，K Nishimura，T Mineeva，and R Vi-larinBagno.yol o v5.代码存库https：//github.com/ultralytics/yolov 5，2020年。[14] Abbas Khan，Talha Ilyas，Muhammad Umraiz，ZubaerIbna Mannan，and Hyongsuk Kim.Ced-net：使用小型级联编码器-解码器架构的作物和杂草分割智能农业电子学，9（10）：1602，2020。[15] Diederik P Kingma和Jimmy Ba。Adam：随机最佳化的方法。arXiv预印本arXiv：1412.6980，2014。[16] Petre Lameski，Eftim Zdravevski，Vladimir Trajkovik，and Andrea Kulakov.杂草检测数据集与在可变光照条件下拍摄的rgb图像。信息通信技术创新国际会议，第112Springer，2017.[17] 林宗义、普里亚·戈亚尔、罗斯·格希克、何开明和彼得·多尔·拉尔。密集目标检测的焦面损失。在IEEE计算机视觉国际会议的论文集，第2980-2988页，2017年[18] 林宗义、迈克尔·梅尔、塞尔日·贝隆吉、詹姆斯·海斯、皮埃特罗·佩罗纳、德瓦·拉马南、皮奥特·多尔·拉尔和C·L·劳伦斯·齐特尼克。微软coco：上下文中的公用对象。欧洲计算机视觉会议，第740-755页。Springer，2014.[19] Qinghui Liu，Michael C Kampffmeyer，Robert Jenssen，and Arnt-Borre Salberg.多视图自构造图卷积网络与自适应类加权损失的语义分割。在IEEE/CVF计算机视觉和模式识别研讨会会议记录中，第44-45页[20] Wei Liu ， Dragomir Anguelov ， Dumitru Erhan ，Christian Szegedy ， Scott Reed ， Cheng-Yang Fu ， andAlexander C Berg. Ssd：单发多盒探测器。在欧洲计算机视觉上，第21施普林格，2016年。[21] Philipp Lottes，Jens Behley，Nived Chebrolu，AndresMilioto，and Cyrill Stachniss.联合茎检测和作物-杂草分类 ， 用 于 精 准 农 业 中 的 植 物 特 定 处 理 。 2018 年IEEE/RSJ智能机器人和系统国际会议（IROS），第8233-8238页。IEEE，2018年。[22] 帕特里克·马德雷，D a vidBoho，迈克尔·赞尼，马可·西兰，汉斯·克里斯蒂安·维蒂奇，爱丽丝·德格尔曼和贾娜·瓦辰。植物种识别中的植物区系互作生态学与进化方法，12（7）：1335[23] 安德烈斯·米利奥托菲利普·洛特斯和西里尔·斯塔奇尼斯利用cnns背景知识的精准农业机器人在2018年IEEE机器人和自动化国际会议上，第2229-2235页IEEE，2018年。[24] Gerhard Neuhold，Tobias Ollmann，Samuel Rota Bulo，and Peter Kontschieder.街景语义理解的mapillary vistas数据集在IEEE计算机视觉国际会议论文集，第4990- 4999页[25] E-C Oerke。害虫造成的作物损失农业科学杂志，144（1）：31[26] Alex Olsen，Dmitry A Konovalov，Bronson Philippa，Peter Ridd ， Jake C Wood ， Jamie Johns ， WesleyBanks，本杰明3738[10] James Whinney，James Kenny，et al. Deepweeds：用于深度学习的多类杂草物种图像数据集。科学报告，9（1）：1[27] 大津信之一种基于灰度直方图的阈值选取方法。IEEETransactions on Systems ， Man ， and Cybernetics ， 9（1）：62[28] Adam Paszke ， Sam Gross ， Francisco Massa ， AdamLerer ， James Bradbury ， Gregory Chanan ， TrevorKilleen ， Zeming Lin ， Natalia Gimelshein ， LucaAntiga，et al. Pytorch：命令式的高性能深度学习库。神经信息处理系统进展，第8026-8037页，2019年[29] Karen Simonyan和Andrew Zisserman用于大规模图像识别 的 非 常 深 的 卷 积 网 络 。 arXiv 预 印 本 arXiv ：1409.1556，2014。[30] Soren Skovsen、Mads Dyrmann、Anders K Mortensen、Morten S Laursen、Rene 'Gislum、Jorgen Eriksen、SadafFarkhani、Henrik Karstoft和Rasmus N Jorgensen。用于农业中语义和层次物种理解的grassscover图像数据集。在IEEE/CVF计算机视觉和模式识别研讨会会议记录中，第0-0页[31] Kaspars Sudars、Janis Jasko、Ivars Namatev、Liva Ozola和Niks Badaukis。用于机器人计算机视觉控制的注释粮食作物和杂草图像数据集。数据摘要，第105833页，2020年。[32] K Thenmozhi和U Srinivasulu Reddy。基于深度卷积神经网络和迁移学习的作物害虫分类。农业计算机和电子学，164：104906，2019。[33] Grant Van Horn、Oisin Mac Aodha、Yang Song、YinCui、Chen Sun、Alex Shepard、Hartwig Adam、PietroPerona和Serge Belongie。自然主义物种分类和检测数据集。在IEEE计算机视觉和模式识别会议论文集，第8769- 8778页[34] Yonghua Xiong ， Longfei Liang ， Lin Wang ， JinhuaShe，and Min Wu.使用自动图像分割算法和扩展数据集的深度学习识别经济作物病害。农业计算机和电子，177：105712，2020。[35] Tom Young，Devamanyu Hazarika，Soujanya Ruman，and Erik Cambria.基于深度学习的自然语言处理的最新趋势。IEEE计算智能杂志，13（3）：55[36] 于小鱼，王德全，埃文·谢尔哈默，和特雷弗·达雷尔。深层聚合。在IEEE计算机视觉和模式识别会议论文集，第2403-2412页[37] Zheng Sixiao，Jiachen Lu，Hengshuang Zhao，XiatianZhu，Zekun Luo，Yabiao Wang，Yanwei Fu