沙特国王大学：CaneSat数据集上基于卷积神经网络的甘蔗分类研究

沙特国王大学学报CaneSat数据集利用卷积神经网络对Sentinel-2进行甘蔗Shyamal S放大图片创作者：Vinod K.Pachgharea，V.C.苏尼尔？库马尔？杰哈？帕蒂尔ba印度普纳大学普纳工程学院计算机工程信息技术系bK J Somaiya应用农业研究所（KIAAR），Sameerwadi，Mudhol Taluka，Bagalkot区，587316，印度阿提奇莱因福奥文章历史记录：2020年4月30日收到2020年8月3日修订2020年9月8日接受2020年9月15日网上发售保留字：多时相遥感影像甘蔗分类卷积神经网络A B S T R A C T遥感（RS）中无处不在的深度学习（DL）激发了最具挑战性的作物分类问题为了执行这样一个紧迫的任务，试图准备一个新的数据集，CaneSat数据集，在两种格式：RGB颜色空间和地理tiff图像，覆盖该地区的四个talukas在卡纳塔克邦，印度。本研究旨在利用RS时间序列数据，建立一个二维卷积神经网络（CNN或ConvNet）的甘蔗分类模型。此外，该研究旨在评估四种最先进的深度CNN（即AlexNet，GoogLeNet，ResNet 50和DenseNet 201）的能力，使用微调和深度CNN作为特征提取器，从Sentinel-2数据中对甘蔗和非甘蔗区域进行研究结果在CaneSat数据集上得到了表达结果显示，CNN模型表现非常好，准确率为88.46%，而所有深度网络的整体准确率都超过73.00%。当用作特征提取器时，ResNet50和DenseNet201分别以85.65%和87.70%的精度优于所有其他模型。值得注意的是，结果表明，2D CNN模型和使用CNN与SVM分类器提取的特征©2020作者由爱思唯尔公司出版代表沙特国王大学这是一个开放的访问CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍农业占印度人口生活的50%以上，是印度经济和粮食系统的支柱。甘蔗是印度的经济作物，糖厂希望了解甘蔗的可用性，以便他们可以计划收获计划。现场助理被分配这项工作，以获得甘蔗的可用性，最终导致人为错误和工厂短缺，在粉碎每年的信息。甘蔗在每个阶段的分级不仅有助于工厂，而且有助于拥有相当大面积的农民管理他们的农场。地球观测（EO）成为实现这一挑战的强大技术*通讯作者。电 子 邮 件 地 址 ： coep.ac.in （ S.S.Virgikar ） ， vkp.coep.ac.in（ V.K.Pachghare ） ， patil.vc@somaiya.com （ V.C.Patil ） ， jha.somaiya.comumar@somaiya.com，www.example.com（S.K. Jha）。沙特国王大学负责同行审查任务EO提供连续、自主、高质量的数据集，覆盖全球的地球观测。随着对如此大量的卫星数据的开放访问，农业领域的大量应用（Virgikar等人，2019a，2020）和城市发展（Ponti等人，2016年，成功实现。高时间重访期成为时间序列数据集的强大来源，这些数据集可用于监测地理区域和植被动态（Zheng et al.，2020年，随着时间。如何分析和利用这一时间序列，充分利用植被随时间和海洋变化的季节性特征，是遥感研究领域尚未解决的问题。与时间序列的有用性无关，传统的方法是在堆叠的卫星图像上执行未来的ML技术，如SVM和RF（Yang etal.，2011年）。时间序列数据表现出时间相关性，这些传统方法无法建模，因为它们自主地提取彼此的特征，而不管时间依赖性如何。最近，DL技术在从RS时间序列图像进行农作物和土地利用/土地覆盖（LULC）分类方面取得了惊人的性能，特别是CNN和作为递归神经网络（RNN）的门控递归单元的长短期记忆（LSTM）。在开发DL之前，RShttps://doi.org/10.1016/j.jksuci.2020.09.0051319-1578/©2020作者。由爱思唯尔公司出版代表沙特国王大学这是一个在CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。制作和主办：Elsevier可在ScienceDirect上获得目录列表沙特国王大学学报杂志首页：www.sciencedirect.comS.S. Virgikar等人沙特国王大学学报3344× ××社区已经专注于使用SVM和集成分类器用于各种RS应用，特别是作物分类（Risu和Csillik，2018; Virgikar等人，2019 b）从使用神经网络（Atkinson和Tatnall，1997），这是DL算法的基础（Ma等人，2019年）的报告。在这项研究中，尝试使用CNN从印度卡纳塔克邦的Mudhol，Jam- khandi，Raibag和Gokak talukas地区的Sentinel-2时间序列数据中对甘蔗和非甘蔗进行分类它是一个6层网络，准确率达到88.46%.为了利用预训练的DL模型，我们还在本研究中评估了甘蔗目标数据集的四个模型。在本文中，提出了以下贡献1. 创建了包含总共1627个甘蔗和非甘蔗图像的数据集该数据集有两种格式：一种包含具有六个特征的geo-tiff图像，另一种包含RGB颜色空间中的jpg图像。Geo-tiff图像是地理参考和标记的，然而，jpg图像不是地理参考的。2. 提出了一个模型，使用DL创建的数据集上学习空间特征的RS时间序列数据进行分类。3. AlexNet，GoogLeNet，ResNet50和DenseNet201模型的迁移学习的比较性能评估4. RF和SVM ML技术也被测试来比较CNN1.1. 相关工作随着卫星数据量的不断增加，深空探测技术在遥感领域的应用也越来越广泛。尽管如此，RS中的大标记数据是罕见的，并且是一个非常耗时、劳动力和成本密集型的过程，然而，这是DL框架的基本要求。自2010年以来，许多研究人员投入了大量的精力，制作了小型和大型的RS 标 记数 据 集 。最 受 研 究和 追 捧的 数 据 集是 由 Yang和 Newsam（2010）从航空图像创建的UC Merced（UCM）数据集，用于土地利用分类。从具有高SR的Google地球图像生成的新数据集是NWPU-RESISC 45（Cheng等人， 2017）和PatternNet（Zhou et al.，2018年）。用于航空图像中的对象检测的数据集（DOTA）（Xia等人，2018）和航空图像数据集（AID）（Xia et al.，2017）是RS领域的两个大规模数据集。许多其他RS数据集包括巴西咖啡场景（BCS）数据集（Penatti等人，2015）、SAT-4和SAT-6（Basu等人，2015）、RS19（Nogueira等人，2017）和EuroSat（Helber et al.， 2019年）的报告。一些研究在现有的高光谱和多光谱遥感数据集上取得了重要成果（Ienco等人，2017; Interdonato等人， 2019年），通过从头开始训练新的CNN。另一种技术，迁移学习中的微调冻结初始层，并根据目标数据集调整最后一层的参数 许多研究报告了对不同RS数据集进行微调的最新结果（Penatti等人，2015; Mahdianpari等人，2018年）。预训练的CNN作为特征提取器（FE）从图像中提取深度特征表现良好（Castelluccio等人，2015，Hu等人， 2015年）。从文献调查中可以观察到，各种数据集，如UCM，BCD，NWPU-RESISC 45，EuroSat，SAT-4，SAT-6等。是然而，其中一些是公开的，没有一个涉及印度地理。大多数数据集用于LULC和作物土地制图，其中甘蔗作物是其中的一类。然而，由于环境的变化，每个地理位置都显示出影响作物冠层结构，作物类别，叶片化学，这可以改变卫星图像反射率值。因此，需要创建一个数据集来执行甘蔗分类在研究区位于印度。在论文的其余部分，第2节解释了材料和方法;第3节介绍并讨论了结果，最后在第4节总结了论文。2. 材料和方法如 图 1 所 示 ， 研 究 区 域 分 布 在 四 个 talukas ， 即 Mudhol ，Jamkhandi，Raibag和Gokak，覆盖印度卡纳塔克邦16.38980°N和75.03710°的8英亩土地E.该地区海拔541米，年降水量约为545毫米。气候一般干燥，气温在16.20 °C至38.70 °C之间。甘蔗是这个地区种植的主要作物。甘蔗是一种半多年生植物，是世界上最主要的作物之一，特别是在印度，巴西和中国。巴西在糖产量方面排名第一，在乙醇产量方面排名第二。印度南部有三个种植季节，如早期（1月至2月），中期至晚期（10月至11月）和晚期（7月至8月）。它在印度南北部经历了四个生长阶段，即发芽阶段、分蘖阶段、大生长阶段和成熟阶段。2.1. CaneSat数据集的形成利用免费提供的遥感数据，主要是作物分类，可以提高大规模农业的丰富应用;促进了拟议数据集的形成。本研究中使用的所有卫星图像都是无云的，并从欧空局的哥白尼计划网站（主页）下载。在遥感背景下，需要对图像进行预处理，以去除大气影响、辐射噪声和几何误差。这种预处理使数据标准化。Sentinel-2号卫星的现有数据经过几何和辐射校正。然而，所有的图像都经过了大气校正作为归一化步骤，这是通过GIS 2.18中的SCP插件工具执行的。利用2018年10月至2019年5月期间采集的8张图像生成数据集。覆盖四个talukas用于准备数据集的愿望是训练具有卫星图像固有的高方差的网络，这是由于数据捕获、预处理和影响甘蔗作物生长的其他参数，如灌溉类型、作物类型、作物品种、土壤质地、土壤水分、土壤类型、气候、降水、温度和湿度。由于上述参数的影响，不同海拔高度的甘蔗种植在遥感图像上的反射率变化不大。因此，CaneSat数据集中涵盖了来自不同talukas的甘蔗物候。收集甘蔗样品时考虑的参数见表1.CaneSat数据集形成过程如图2所示。在数据集中有两个类，一个是甘蔗，包括所有的生长阶段和非甘蔗类包括所有其他土地覆盖存在于研究区域。它包括玉米地、建筑物、住宅、工业建筑、水体、牧场、岩石和休闲地。不同的上下文窗口大小，28 28、64 64和256 256已被用于各种研究，以从卫星图像创建土地利用土地覆盖数据集然而，在我们的研究区域，大多数农民拥有小块土地（约1英亩或0.404公顷）用于农业或种植不同的作物，导致数据集中的图像小块。10 x10像素的地理参考图像块是从哨兵-2 A/B卫星上截取的，每个像素的分辨率为10米。地面实况数据是通过2018年10月至2019年5月进行的实地调查收集的地理信息系统（GIS）形状文件地面实况数据已经由全球定位系统（GPS）设备（Montana680）记录，S.S. Virgikar等人沙特国王大学学报3345××Fig. 1. 研究区表1收集的甘蔗样品的参数。甘蔗和玉米作物。除此之外，非甘蔗类中所有其他对象的样本都是通过基于专家知识的可视化解释生成的10 10的所有矢量文件被精确地绘制，以确保如图所示的图像补丁的几何形状。3.第三章。然后，所有的GIS形状文件转换为光栅文件，使图像补丁的10 10像素。总的来说，完整的地面实况数据包含1627个样本，具有162，700个像素，覆盖面积为16.27公顷。其中87，000个像素用于甘蔗类，其余75，700个像素用于非甘蔗类。这项研究的主要贡献是，数据集以两种格式解放，即RGB颜色空间中的jpg格式和地理参考图像的tif格式（图1）。 4），旨在加速机器学习在作物分类任务中的使用，使用开放访问的RS 数据。 tif格式由红、绿、蓝、近红外（NIR）、红边、短波红外（SWIR）等六个光谱波段组成总共，六个特征被检查用于八个图像的时间序列的每个图像中的每个像素。CaneSat 数 据 集 可 在 'https ： //ieee-dataport 公 开 获 得 。org/documents/canesat2.2. 卷积神经网络DL模型自动从图像中学习特征，这与最先进的ML方法不同。 近几年来，深度学习在遥感数据处理中受到广泛的重视。在所有DL模型中，CNN由于其显著的结果而变得越来越普遍（Krizhevsky等人，2012）在许多领域中，包括RS（Yan等人，2019; Nogueira等人，2015年）。这是因为图像的静态属性，该静态属性表明从图像的一部分检索的内容也可以应用于图像的其他部分（Nogueira等人，2015年）。CNN架构包括许多层，即卷积层（包括处理单元，即，神经元）、子采样层和具有非线性变换的全连接（FC）层，是指深层架构。卷积层充当从网络的前几层提取特征的功能，生成特征图作为每层的输出。特征图值取决于内核的结构，内核定义了要从层中提取的信息。内核以矩阵的形式出现，并对图像的空间信息做出响应。分别从初始层、中间层和最后层提取低层、中层和高层的特征。初始层负责提取更通用的功能，如颜色斑点，角落和边缘，这不是应用导向。最终层更具体地针对应用程序，提取对象或图像结构，因此需要根据应用程序和目标数据集进行训练。通常但不一定，每个卷积层后面是子采样层。子采样层，也称为池化层，主要被实现为减小图像数据的大小和从卷积层提取的特征的方差，同时保留输入数据的几何形状（Rezaee等人，2018年）。一个固定大小的网格在图像特征图S.S. Virgikar等人沙特国王大学学报3346××图二. CaneSat数据集形成过程。具有步幅并实现给出最大值（或平均值）的最大值（或平均值）操作。子采样层选择最重要的、鲁棒的和摘要特征（Mahdianpari等人，2018），这有助于降低网络训练中的计算难度。在许多后续的卷积层和池化层上，FC层一直存在到网络架构中的分类器。可以有多个FC层，但是，最后一个FC层将前一层的所有处理单元连接到其每个单个处理单元，并将输出总结到分类器层。最后，分类器层计算每个类实例的后验概率。softmax函数是广泛使用的分类器层，也称为归一化指数，表示分类概率分布以预测样本类的概率（Nogueira等人，2017年）。除了所有层之外，归一化层、局部响应归一化（LRN）和批量归一化通常与诸如整流线性单元（ReLU）的无界激活一起使用以检测高频特征。CNN的前身是20世纪80年代LeCun等人（1998）设计的用于手写数字分类的主要CNN LeNet。然而，自2010年以来，它逐渐在许多领域得到应用。由于GPU的发展和更大的数据集，如ImageNet（Deng等人，2009），Cifar（Krizhevsky，2009）那些在推进网络设计的贡献。Krizhevsky等人（2012年）设计了AlexNet，这是深度CNN发展的一个飞跃，它成为现代深度特征学习CNN的基础。此后，自2014年以来，随着CaffeNet的发展，进一步的操纵已经成功实现（Jia等人，2014）继承自AlexNet、VGG（Simonyan and Zisserman，2014）及其 变 体 GoogLeNet （ 即 ，Inception 网 络 ） （ Szegedy 等 人 ，2015）、ResNet（He等人，2016）和DenseNet（Huang等人，2017年）。2.2.1. AlexnetAlexNet（Krizhevsky等人，2012年），在2012年举行的Ima-geNet大规模视觉识别挑战赛（ILSVRC）中获得第一名，用于物体检测。该网络包括总共八个隐藏层，具有五个卷积层，三个最大池化层和三个FC层。增加了非线性在第一和第二卷积层之后，通过ReLU函数和LR归一化来实现。最末端的FC层由softmax激活层覆盖。AlexNet的成功是由于卷积运算的GPU实现，使用dropout来克服FC层的过拟合问题，非饱和神经元和更多的训练样本。除此之外，它需要更少的参数，即，6000万和650，000个神经元，减少了网络训练时间。2.2.2. GoogLeNetGoogLeNet是由Szegedy等人，2015年），一个更深层次的卷积网络，代号为Inception-v1，在ILSVRC 2014年图像分类竞赛中获得第一名，与VGGNet相比，错误率更低。GoogLeNet总共有22层（加上五个池化层），包括作为第一层的11个卷积层、实现网络中网络方法的九个初始模块、作为仅用于训练的辅助分类器的softmax以及在末端的全局平均池化层而不是FC层。这种CNN比以前的CNN更有优势，因为i）11卷积层减少了模型，ii）不同的卷积类型以及用于相同输入的不同的最大池化，以检索更多的空间细节，ii）通过降低网络中使用的参数的数量和采用全局平均池化层来有效地处理过拟合问题，iv）辅助分类器阻碍了网络的更深方法中的梯度消失问题S.S. Virgikar等人沙特国王大学学报3347×图三. 图像样本甘蔗类和土地覆盖类的边界框。2.2.3. ResNet50ResNet，一种残差神经网络（He等人，2016年）以3.57%的前5名错误率 获得ILSVLC 2015 年比赛 的冠军。ResNet还在 ILSVRC和COCO 2015竞赛中获得ImageNet本地化、ImageNet检测、Coco分割和Coco检测的第一名（He和Sun，2015年）。除了训练深度网络的困难之外，它们都面临着梯度消失的主要问题，这使得学习在初始层中反向传播时变得无穷小。在ResNet之前，很少有深层架构试图摆脱消失梯度问题。然而，ResNet通过引入跳过网络中的一个或多个层的跳过连接而成功，该技术也被（Srivastava等人，2014年）。对残余阻滞进行了改进（He等人，2016），并采用具有恒等变换的预激活残差块（He等人，2016），其中梯度跳转到快捷连接以到达任何其他先前层。因此，ResNet在研究界变得越来越受欢迎，他们提出了许多变体，即ResNet-18，ResNet-34，ResNet-50，ResNet-101，ResNet-110，ResNet-152，ResNet-164和ResNet-1202，ResNeXt。在我们的研究中，使用Resnet50是因为它能够很好地处理RS数据。ResNet50本质上是50层，由5个卷积层组成。首先，采用步长为2的7 - 7卷积，随后是池化层，然后是三个身份块。最后一层是平均池化层，生成上千个特征图。2.2.4. DenseNet201密集卷积网络DenseNet由清华大学、康威尔大学和Facebook AI研究（FAIR）联合设计（Huang等人，2017年）。与ResNet和预激活ResNet相比，由于密集连接，DenseNet以较少的参数实现了更高的准确性。 在DenseNet中，首先将输入图像与16个输出通道进行卷积，并将其赋予密集块。在每个密集块中，所有层以前馈方式直接连接到块中的每一个其他层。 每一层都从所有辅助层收集知识，并将其输出给所有后续层。在每一层，从先前层收集的所有特征图都被单独考虑，并连接在单个张量S.S. Virgikar等人沙特国王大学学报3348××××××见图4。 CaneSat数据集的放大图像示例（a）jpeg（b）tif格式。（Huang等人，2017）作为复合函数的输入。复合函数由三个操作组成，即批处理归一化（BN）、ReLU和33卷积。所有密集连接的密集块通过执行卷积和池化的过渡层连接。 过渡层由一个批处理归一化层，然后是一个1 1卷积层，接着是一个2 2平均池化层组成。在每3层之前引入另一层DenseNet中的卷积层是一个瓶颈层，代号为DenseNet-B，作为BN，ReLU和11个卷积层，然后是BN、ReLU和3 × 3卷积层。 DenseNet设置超参数，称为增长率，它定义了每一层的新输入量，相对较小，因为网络中的每一层都有整个网络的信息。最后一个密集 块 连 接 到 全 局 平 均 池 化 层 ， 最 后 连 接 到 softmax 分 类 器 。DenseNet201是在这项工作中进行评估，由于他们的良好性能的遥感数据分类任务。所有上述和其他现有的深度CNN可以在三种不同的策略中使用，即完全训练，微调和CNN作为FE，下面简要讨论2.2.5. 全训完 全 训 练 是 指 通 过 为 内 核 权 重 分 配 随 机 值 来 从 头 开 始 训 练ConvNet，并且是针对特定数据集精确调整网络的最佳模式之一。虽然它创建了特定于目标数据集的准确特征和对网络参数的完全控制，但它需要大的数据集来收敛网络，这需要巨大的计算成本、资源（Bengio等人，2009年，他面临着过度拟合的问题。在完整训练中，我们可以利用现有的网络配置，随机初始化其权重，也可以通过设置所有组件来建模新的网络架构，即处理单元的数量，卷积层，池化层，FC层，激活函数，epoch数，学习率，权重衰减，归一化类型和正则化技术。2.2.6. 微调微调是一个概念，其中利用网络模型通过对任务的训练过程获得的信息来训练模型以执行另一个类似的任务。它依赖于学习类似于彩色斑点或边缘检测器的低级特征的方法，Gabor滤波器，并且主要独立于训练数据集。后面的层提取特定于问题的特征。这使得当训练数据集足够大但不足以从头开始训练网络时，它更适合选择（Nogueira等人，2017年）。在这项研究中，我们对CaneSat数据集进行了微调。2.2.7. 特征提取器从视觉数据中编码清晰的特征是计算机视觉任务的主要阶段之一，RS也不例外。由于RS数据的特殊性，许多长期建立的方法，如颜色直方图，相关图（Kumar和Bhatia，2014），BoVW（Tsai，2012），并不是简单地应用于RS域，因此，它仍然是一个开放的研究问题（Nogueira等人，2015年）。CNN可以用作DL框架中的任意FE，其中训练图像通过预先训练的网络的层传播，并在任何预定义层之后作为深度特征输出。然后，这些特征可以被提供给任何其他线性分类器以执行分类任务。在ImageNet上训练的深度特征在许多视觉识别任务中产生了惊人的结果，证实了提取的深度特征将很好地用于ImageNet数据集以外的感兴趣数据集。因此，我们在本研究中使用了上述四个预训练模型作为FE。正如从文献中观察到的那样，深度CNN在土地利用、土地覆盖和作物分类方面表现出优于其他传统机器学习方法的性能。因此，我们使用DL模型对甘蔗进行分类。2.3. 方法这项工作的重点是开发一个CNN模型，在创建的CaneSat数据集S.S. Virgikar等人沙特国王大学学报3349××并研究四个选定的预训练CNN在目标CaneSat数据集上的能力。通过采用两种方式来评估所选择的预训练卷积网络的性能，即，在分类和CNN作为FE之前微调层。2D CNN模型的所有实验都在具有32 GB RAM的Intel（R）Xeon（R）CPU E3-1271 v3@3.60 GHz上进行一64-采用2.80 GHz的第7代Intel Core i7处理器进行深度网络的训练和实验评估。本研究中使用的各种模型的定量评价是使用总体准确度作为从混淆矩阵导出的度量进行的。总体准确度计算为测试数据集的准确分类类的百分比。类级准确率由F1分数评估，F1分数给出精确率和召回率的调和平均值。精密度定义作为正确预测的类除以模型预测的类的总数。召回率是正确预测类与实际类的比例。2.3.1. 拟议的2D CNN模型来自Sentinel-2图像形式的六个波段特征向量作为在CaneSat数据集上训练的2D卷积神经网络的输入。该2D CNN模型的架构如图所示。五、它有六个层，包括三个卷积层，一个最大池化层，一个全连接层和一个softmax层。所有三个卷积层的内核大小都是3 3。滤波器的数量对于第一卷积层以三个开始，并且对于第二层和第三层分别增加到六个和九个。保留每个卷积层的输出特征图的大小，以保持输入图像块的原始信息（padding =在第三个卷积层之后应用具有2 × 2滤波器大小的池化层，因为图像块很小，并且池化在开始层中没有帮助。卷积层和池化层分别将所有图像像素（步幅设置为1）考虑到卷积和下采样操作中卷积层使用ReLU激活函数，这是在网络中添加非线性的它具有梯度传播速度快、梯度消失控制好、不需要同时激活所有神经元、计算效率高等优点，收敛性优于sigmoid算法。二进制交叉熵被用作损失函数。通过dropout进行正则化，dropout被校准为0.25概率值，并附加在FC层之后，以避免过拟合。最后，在全连接层之后是softmax层，以从两个类别的网络输出中形成概率分布。2.3.2. 迁移学习四个深度CNN AlexNet，GoogLeNet，ResNet 50和Dense-Net201，最初在ImageNet数据集上训练，他们在研究课上的受欢迎程度和他们在RS应用中的惊人表现。在这项研究中，通过采用两种迁移学习技术来评估预训练的深度CNN在创建的CaneSat数据集上的性能。在第一种技术中，所谓的微调，这些预先训练的深度CNN的训练权重被转移，并且只有最终的完全连接层相对于目标数据集被微调，如图6所示，以红色突出显示。在第二种技术中，预先训练的CNN被用作FE。从文献调查，它被观察到，深功能在分类问题上的工作相比，传统的功能。我们可以从任何一层中提取深层特征深层网络。在本研究中，分别从FC7、FC 1000、Alex-Net、GoogLeNet、ResNet 50和DenseNet 20的全局平均池和平均池层检索特征，并通过传递Softmax层将其传递到SVM分类器，以分类甘蔗和非甘蔗（图6，以绿色突出显示）。文献综述表明，支持向量机是最好的农作物分类从卫星图像。因此，它被用作迁移学习实现中的分类器。径向基函数用于SVM核，其中批量大小固定为128.在第14个时期，模型已经收敛，学习率为0.001。优化采用改进的自适应矩（Adam）优化器，损失函数取交叉熵。2.3.3. RF和SVM ML技术本研究利用两种广泛使用的机器学习方法进行农作物分类，RF和SVM，比较它们与DL技术。事实上，RF和SVM方法已被共同用作RS分类任务的 DL 方 法 的基线模型（ Mahdianpari 等 人 ， 2018;Makantasis等人，2015年）。RF是处理引导数据的多个决策树的集合（Breiman，2001）.SVM是一种统计学习分类器，试图在核函数的帮助下找到类之间的最佳超平面（Cortes和Vapnik，1995）。分类使用Sentinel-2时间序列数据进行，并在R语言中实现。3. 结果和讨论在这里，我们展示和讨论的研究工作的实验结果。首先，探索了用于甘蔗分类的2D CNN模型的成功。接下来，使用CaneSat数据集，采用两种技术测试指定的预训练网络是否能够概括用于作物分类的RS数据。该评估的一个方面是，与UCM、BCD和RS19等可用的大型RS数据集相比，迁移学习在小型RS数据集上的表现如何。图五. CaneSat数据集上的2D卷积神经网络。S.S. Virgikar等人沙特国王大学学报3350图六、具有微调的CNN（以红色突出显示）和具有SVM分类器的FE（以绿色突出显示）。3.1. 2D CNN模型已经进行了几个实验，以研究模型在新创建的“CaneSat”数据集上的性能。CaneSat数据集分为70%用于训练，30%用于测试，观察到良好的准确性。此外，训练数据集分为70%用于训练，30%用于验证。批量大小被校准为128，这有助于提高精度。该模型的可训练参数为3110。对训练集和测试集进行大气校正后进行归一化处理.神经网络中的另一种转换技术，称为标准化，在分类结果中起着重要作用。在我们的例子中，训练和测试数据集已经通过StandardS- caler函数经历了标准化阶段。学习率设定为0.001。该模型在Adam优化器的14个时期内收敛。选择Adam是因为其收敛速度比随机梯度下降（SGD）和RMSProp更快（Kingma和Ba，2014）。在我们的场景中，进行了各种实验来研究Adam，SGD和RMSProp优化器。SGD的性能与Adam最接近，与Adam相比，其准确性低3-4%。通过这种配置，在CaneSat数据集上训练的2D CNN模型显示出甘蔗作物分类的显著性能，总体准确率为88.46%。验证准确率达到84.65%，表明该模型具有较好的泛化能力。图7描绘了模型甘蔗作物被正确识别，准确度为86.99%，非蔗区准确率为90.12%。训练模型所需的时间为1.80 min（表2）。在文献中，更多地使用DL框架来开发来自RS数据的LULC分类比作物类型映射和取得了可喜的成绩精 确 度 高 于 90% 的 结 果 （ Penatti 等 人 ， 2015 年 ） 。 Helber 等 人（2019）成功利用1D CNN进行作物分类，准确率达到82.41%。在LULC分类中，很少有作物在他们的研究中被考虑，但我们发现考虑甘蔗作物的研究更少（Ienco等人，2019年）的报告。与其他大规模数据集相比，我们在CaneSat数据集上使用2D CNN模型实现了相对较好的准确性，该数据集包含较少数量的样本，这证实了CNN在甘蔗分类中的潜力。3.2. 预训练模型混淆矩阵定义了类别之间的混淆，用于评估所有四个深度CNN。图8中示出了深度CNN微调的混淆矩阵和具有SVM分类器的FE。如混淆矩阵（图8）所示，所有CNN在分类甘蔗类时都达到了显著的高准确度。在所有其他网络中，GoogLeNet在分类甘蔗类时发现混淆较少（当微调8.05%和1.53%作为FE时）但在非甘蔗类的分类上，微调后的模糊度为44.05%，FE为55.06%。对于非甘蔗类，Alex-Net、ResNet 50和DenseNet 201 的 不 确 定 度 分 别 为 33.04% 、 31.71% 、 20.26% 和22.90%、23.79%、16.74%。DenseNet201在两种模式下对非甘蔗类的分类都比较正确，微调的准确率为83.25%，FE的准确率为 两个班的F1分数比较图。 9为迁移学习技术，微调和CNN作为FE。2D CNN在CPU上执行，而迁移学习在GPU上实现。表2显示了CaneSat数据集上预训练模型在所需训练时间和所实现准确度方面的模型性能比较从S.S. Virgikar等人沙特国王大学学报3351图6（续）研究结果表明，AlexNet的收敛时间比其他三种网络都要短。这是因为它的层数和参数较少，并且比GoogLeNet具有更好的准确性。从表 2 中 可 以 看 出 ， ResNet50 和 DenseNet201 比 AlexNet 和GoogLeNet需要更多的时间，这是由于它们结构的深层性质是的。在本研究中所取得的结果中，最值得注意的特征之一是，除了GoogLeNet之外，用作FE的深度CNN比所有CNN的微调模式产生了更好的结果。事实上，我们的数据集和这些CNN训练的原始数据集之间存在显着差异。S.S. Virgikar等人沙特国王大学学报3352图6（续）图6（续）S.S. Virgikar等人沙特国王大学学报3353图7.第一次会议。2D CNN表2模型的性能比较模型全训微调深度CNN作为FE培训时间（分钟）准确度（%）培训时间（分钟）准确度（%）培训时间（分钟）准确度（%）SVM0.2080.38RF0.2184.002D CNN1.8088.46––––AlexNet–7.2875.817.3878.28GoogLeNet–30.4074.1814.4173.56ResNet50–34.6077.8636.2485.65DenseNet201–181.1178.68177.1787.70图8.第八条。四个深度网络在微调（FT）中的混淆矩阵，以及使用SVM分类器的FE（以绿色突出显示）。发现感兴趣的数据集接近于在其上训练CNN的数据集。然而，ImageNet数据集对象的颜色、纹理和轮廓等低级特征在某种程度上与我们的数据集的对象。这可以解释为什么微调方法获得的精度低于FE方法。在我们的情况下，在分类层之前的层被微调，然而，通过改变要微调的层的数量，在该方法中结果可能不同。AlexNet的性能与其他先进网络一样出色。从第一个或第二个高 分 辨 率RS 数 据 集 （ UCM ） 的 AlexNet 层 实 现 了 显 著 的 准 确 性（95%）（Hu等人，2015年）。Google-Net的性能在其微调策略中保持良好，准确率为74.18%，而使用SVM分类器作为特征提取器，准确率为73.56%。在我们的研究中，深度CNN被用作FE，并且从原始网络的分类（softmax）层之前的层中提取特征。因此，改变了原始网络的分类过程。重点在于发现深度特征在本质上不同于原始数据集S.S. Virgikar等人沙特国王大学学报3354图9.第九条。AlexNet、GoogLeNet、ResNet50和DenseNet201的F1得分比较用于训练深度网络。这里，使用CNN提取的深度特征被馈送到SVM分类器，而不是softmax层。softmax层本质上是一个逻辑回归生成;它基于为每个类别标签分配概率的概念。作物分类需要一种综合的方法来区分甘蔗与其他作物和土地覆盖，而这是回归方法无法有效完成的。因此，我们使用CNN提取的特征，并将其作为SVM分类器的输入。SVM分类器本质上是为解决分类问题而设计的，并且是最成熟的分类器，具有更少的样本，而不会在包括LULC和农作物分类的遥感图像分类任务中损失精度。CaneSat数据集上的结果表明，CNN提取的特征能够推广到多光谱遥感数据进行农作物分类。本研究中的GoogLeNet性能低于AlexNet，接近Nogueira等人（2017）中报告的研究结果，当两种CNN都用作UCM，RS19和BCS数据集的RBF SVM FE时（AlexNet >93% 准 确 度 ， GoogLeNet 为 92.80% ， 用 于 UCM 数 据 集 ） 。 由GoogLeNet 提 取 的 特 征 并 由 softmax 层 分 类Castelluccio 等 人（2015）发现，SVM的准确率达到90.75%，在BCS数据集上微调时准确率为84.00%（UCM数据集为97.10%和94.38%）。在CaneSat数据集上训练的ResNet50和DenseNet201在与SVM分类器一起用作FE时，与微调方法相比，分别实现了85.65%和87.70%的显着高整体准确率。使用微调方法，ResNet50和DenseNet201的准确率分别为77.86%和78.68%。这些发现与Mahdianpari等人（2018）记录的ResNet50（93.00%）和DenseNet121（86.90%）使用绿色，红色和红外波段进行 湿 地 分 类 的 结 果 形 成 对 比 。 DenseNet121 在 其 分 析 中 相 对 于VGG16、VGG19、InceptionV3、ResNet50和InceptionResNetV2执行。3.3. RF和SVM分类两种ML技术RF和SVM已经在CaneSat数据集上实现，以比较深度网络这些分类器的输入是10月期间的Sentinel-2时间序列2018年如表2所示，RF和SVM对甘蔗和非甘蔗进行分类的总体准确率（84.00%，80.38%）比我们的2D CNN相对较低。4. 结论本研究工作解决甘蔗作物分类问题。为此，从欧空局哥白尼计划分发的开放和免费提供的哨兵-2 A/B卫星图像中准备了一个新的数据集。所提供的CaneSat数据集包括覆盖从1个月到12个月的所有阶段的甘蔗月样本以及其他土地覆盖样本。该数据集包括总共1627个样本，分为两类，甘蔗和非甘蔗。这里的重点是覆盖甘蔗作物的所有生长阶段，以训练网络。数据集图像有两种格式，即jpg和tif格式。它涵盖了印度卡纳塔克邦的四个塔