没有合适的资源?快使用搜索试试~ 我知道了~
基于波长感知的二维卷积超光谱成像
3788基于波长感知的二维卷积超光谱成像Leon Amadeus Varga,Martin Messmer,Nuri Benbarka,AndreasZell认知系统小组德国图宾根大学leon. uni-tuebingen.de,martin. uni-tuebingen.de,nuri. uni-tuebingen.de,andreas. uni-tuebingen.de摘要深度学习可以大大提高高光谱成像(HSI)的分类精度。尽管如此,在大多数小的高光谱数据集上的训练并不是微不足道的。两个关键挑战是记录的大通道尺寸和不同制造商的相机之间的不兼容性。通过引入合适的模型偏差和连续定义通道维度,我们提出了一种针对高光谱成像的这些挑战进行优化的2D卷积。我们基于两种不同的高光谱应用(在线检测和遥感)评估该方法。除了所显示的模型的优越性,修改增加了额外的解释力。此外,该模型以数据驱动的方式学习必要的相机滤镜。基于这些相机滤波器,可以设计最佳相机。1. 介绍图像分类是计算机视觉的主要任务之一最近的方法可以超越人类,这个问题似乎几乎解决了常见的对象场景。这些研究成果被用于更复杂的任务,如图像分割或目标检测[10]。图像分类主要集中在彩色图像。彩色图像通常由三个通道(红色,绿色和蓝色)组成,仅覆盖可见光谱。因此,它们可以模仿人类的感知。高光谱记录近似于图像的每个像素的光谱。因此,通道的数量增加(到大约200),并且记录波长的范围附加波长可以该模型的PyTorch实现可在以下位置获得https://github.com/cogsys-tuebingen/hyve_conv图1:高光谱视觉嵌入卷积(HyveConv)概览。更多详情见第3.2节。携带信息,这有助于复杂的分类任务。这些系统可以执行纯人类感知不可能完成的任务高光谱相机系统的发展降低了它们的价格并简化了它们的使用。这使得它们能够在许多新的领域得到应用,例如:食品加工和农业[21][32],医疗应用[16],内联分类[28],除了它们最初用于遥感[1]。高光谱相机的应用通常需要复杂的数据采集(例如,行扫描操作模式)和标记过程。这导致了小数据集。小的数据集和复杂的功能,这往往是必要的任务,支持过拟合。除了这些特点外,高光谱记录的较大通道尺寸需要特别注意。为了解决这个问题,使用降维技术,如PCA[9] 或因子分析[29],作为预处理步骤,3789共同这些方法的目的是去除冗余信息,得到更有意义的数据。另一个问题来自于由不同制造商的相机创建的记录先验地不兼容的事实。关于波长空间中信道的分布因此,来自不同制造商的覆盖相同光谱范围的两个近红外相机具有针对通道的一般不同的波长分配。基于通道索引识别特征的模型将在另一个摄像机的记录上失败一般来说,这个问题的解决方案是将记录标准一个基本和可靠的方法是线性插值[27]。在这项工作中,我们希望解决上述两个问题,并提出了一个修改的2D卷积层优化的高光谱记录。我们优于可比的方法,并通过推断通道尺寸的邻近偏差显着减少参数此外,我们的模型可以包含信道的波长信息。这种能力允许训练与相机无关的模型,这意味着模型可以在不同相机的记录上执行其任务。除了理论上的背景,我们证明了我们的主张与两个高光谱应用的经验实验。我们的主要贡献是:• 我们分析了高光谱记录的两个挑战。基于这些挑战,我们推断高光谱模型的解释偏差。• 提出了一种适用于高光谱记录的二维卷积优化方法卷积支持相机不可知的行为,关于所选择的光谱特征是可解释的,并且减少了参数的数量• 该方法在两个不同的高光谱应用与公开可用的数据集进行了验证。2. 相关工作经典的机器学习方法,如SVM [6]或k-最近邻[20],对于高光谱记录的分类仍然非常常见近年来,基于深度学习的方法在许多高光谱应用中的表现可能优于这些方法。Chen等人是最早采用深度学习进行高光谱记录的人之一[4]。他们的方法是基于PCA,然后是堆叠的自动编码器和最终的逻辑回归。最近的方法利用卷积层,因此称为卷积神经网络。这些可以合并相邻像素的空间信息,单个像素的光谱。这些额外的信息和方法的更高复杂性支持了他们的突破。在这项工作中,我们专注于卷积神经网络。卷积神经网络可以分为基于2D卷积、3D卷积或两者的混合的方法。2D卷积仅执行空间卷积。因此,通道之间的信息交换是有限的,主要由最终完全连接的层进行。Makantasis等人是第一个将2D卷积用于高光谱记录的人[17]。2D卷积对于高光谱记录仍然非常常见[30],因为它们具有较少的可训练参数,并且仍然可以包含空间信息。相比之下,3D卷积可以在高光谱立方体的所有三个维度上执行卷积。因此,它们可以包含额外的信息,但也是参数饥饿的。大型模型很难在小的高光谱数据集上训练。因此,许多方法试图优化模型功率大小比。具有相同性能的较小模型是首选,因为它们往往过拟合较少,并且通常在不同的训练运行中产生更稳定的结果。Hamida等人使用3D卷积对高光谱遥感数据进行分类[2]。He等人介绍了一种多尺度3D卷积神经网络,它应用具有不同内核大小的3D卷积。这提高了3D卷积的性能Roy等人提出了Fusenet,它通过使用剩余熔丝块融合3D卷积的输出[25]。第三类结合了3D卷积和2D卷积。Roy等人提出了HybdriSN [25]。该模型具有3D卷积骨干。该主干的输出由2D卷积和完全连接的头处理SpectralNET[3]属于第一类,但它用小波变换模拟3D卷积;因此,它也属于第三类。视觉转换器是最新的计算机视觉趋势,也影响了HSI分类。已经有一些适应高光谱记录的方法[23,14].但是对于这种应用,Transformer模型十有八九只能执行卷积神经网络的性能因此,较小的卷积神经网络通常是首选。我们的方法基于2D卷积,因此是第一组的一部分。我们利用输入通道的波长Meta信息来学习输入通道维度中的特征的连续表示。由于我们的方法只影响第一个卷积层,因此它与提到的其他作品兼容。我们的方法利用高斯分布来表示输入通道维度中的特征分布尽管如此,我们的方法与贝叶斯卷积神经网络无关。3790(a) Conv2D(b)HyveConv(我们的)图2:正常2D卷积的通道维度处理可视化和我们的方法。提出了两个示例特征。不是单独学习每个通道,而是学习特征的范围。网络[26]。这些网络试图近似真实的后验,并将不确定性纳入推理过程,这不是我们方法的一部分。Hu等人他提出了类似的方法[15]。他们的挤压和激励块允许网络学习通道相互依赖性。我们的方法在三个关键点上有所不同。首先,他们的方法使用输入来预测每个特征通道的我们的方法使用Meta信息,信道此外,我们的卷积引入了具有相似波长的通道应该使用相似内核的偏差这种邻近关系对于3.1节所示的高光谱记录很有帮助最后,我们的方法还允许解释的学习功能。如第5节所示,可以对选定的波长进行可视化和分析。这两种方法都有在通道维度上引入相互依赖性的想法。在实验中,我们也可以证明,我们的方法优于他们的方法在高光谱应用。3. 该方法该方法基于2D卷积。 常规2D卷积基于输入通道处理输入,这对于高光谱记录不是最佳的。我们强调关键问题,并证明我们的修改。最后,我们提出了方法本身.在随后的章节中,通过对两个具有不同应用的高光谱数据集的实验,对该过程进行了评估。3.1. 动机被照相机记录下来的反射光是许多波长的光谱。RGB图像使用三个采样波段(红、绿、蓝)过度简化了该光谱。高光谱记录记录了更多的波段并模拟出更好的光谱近似。图2a示出了用HSI记录的具有不同成熟状态的鳄梨的光谱基本频谱的连续性被充分捕获。因此,我们遇到了引言中提到的两个问题首先,输入数据的众多通道(大约200个波段)将需要大的第一卷积层。对于所提出的方法,网络应该能够访问整个高光谱立方体,而无需作为预处理的降维。降维可以减小高光谱立方体的尺寸。但是通过使用降维,原始数据只能近似。我们认为,如果网络可以利用数据的全部潜力,这通常对选择的特征是有益的,因为深度学习方法可以很好地处理高维数据[13]。我们在实验中以经验证明了这一点(见4.1节)。第二个问题是高光谱相机记录的波长没有标准化。制造商的近红外(NIR)相机的记录通常与另一制造商的NIR相机的记录不兼容,即使两个相机共享相同的波长范围。它们的信道-波长分配常常是移动的并且具有不同的梯度。补充材料中有一个例子。由于2d卷积基于通道索引,因此需要通过预处理步骤(如线性插值[7])对数据进行标准化。这些预处理步骤会损害端到端的训练。我们提出了一种方法,能够处理不同的高光谱相机的设计。为了解决上述问题,我们的卷积为每个特征学习了一个感兴趣的波长范围(WROI),而不是特定的输入通道。通过具有通道维度的连续表示,它可以对3791·.Σ−∈图3:高光谱视觉嵌入卷积(HyveConv)基于输入通道的波长的核。通过添加偏置,网络应该针对类似的波长应用这种偏差限制了模型的自由度。尽管如此,在通道维度的连续光谱的背景下,这是合理的,似乎是处理高光谱记录的一个关键点。总之,我们提出了一种方法,增加了一个偏差相对于相邻通道。它消除了对高光谱图像降维的需要。它可以训练高光谱相机无关模型。在第4节中,我们提供了经验证据,这些主张。但首先,描述方法本身。3.2. 方法这种方法的基本思想是学习内核尾巴之后,解释了一个扩展,它为内核增加了2D卷积计算可训练核与输入数据之间的互相关。对于输入通道中的C,输出通道中的C和Kx Ky的核大小,这导致可训练权重的矩阵WW∈RCin×Cout×Kx×Ky(1)卷积的可训练参数的数目取决于输入通道的数目。对于第一层,输入通道由输入数据的通道维度定义。 对于高光谱记录,200.对于深度可分卷积[5],这种关系被削弱,但仍然存在(在柔软的材料中进一步分析)。为了解决第一层太大的问题,我们学习内核的感兴趣的波长范围(WROI),而不是通道式内核。我们假设波长空间的相邻信道通常共享相似的带宽。这种行为的一个例子可以在图中找到2a,其中相邻信道具有非常相似的反射率值,这源于波长维度的高分辨率和信号的连续性。对于HSI,这两点都是可以预期的,因此在相邻波段中使用相似内核的偏差似乎是合适的,甚至是至关重要的。我们的卷积将内核的数量与输入通道的数量相乘。代替每个输入通道的内核,学习感兴趣的波长范围(WROI)及其内核。G定义了WROI的数量它们的可学习内核被称为内核原型(KP)。这导致内核原型权重的矩阵:KP∈RG×Cout×Kx×Ky(2)对于可学习的分布,使用高斯分布(GD)。高斯分布(GD)可以模拟所需的行为,即影响衰减到WROI的边界。此外,它仅由两个参数定义,即均值μ和方差σ2。这两个参数是不同的和可解释的。高斯分布是可学习的均值μ和方差σ2的组合。对于值x的高斯分布的值被定义为等式:3.第三章。和它们的目标波长范围相结合(图2b)代替独立地学习每个输入通道核,21GD(x,µ,σ)=π2πσ2expx−µ(3)2σ2(Fig. 2a)。可学习的高斯分布表示波长范围。通过对输入通道波长处的分布进行采样,给出了该输入通道的相应核的加权因子然后通过将因子与核相乘来计算结果核。最后,内核用于特定输入通道上的2D卷积。图3示出了该方法。在下文中,进一步描述该方法。为了预测特定信道波长λ的内核,第一步是计算这些波长λ处的高斯分布。结果是范围影响矩阵RI,它定义了所有内核原型对所有输入通道的影响:RIRCin×G(四)其中RI=GD(λ,µ,σ2)i j jj3792.W=KP,M∈R,V ∈ R(6)hyve表1:用于卷积的单卷积参数:C in=200,Cout=25,Kx=3,Ky=3,G=5然后进一步使用内核原型。KPi,j,m,n=KPi,j,m,n+α·KP1,j,m,n+β·KP1,1,m,n++KPC输出 ∈R1×Cout×Kx×Kyc位出道convKP转换∈R1×1×Kx×KyKP++的内核原型(七)替换内核原型KP在Eq. 5,在Eq。8,预测最终的内核。然后,可以用这个矩阵对可学习的内核原型进行加权,以产生最终的内核K。然后,这些内核用于输入上的2D卷积。K=RI·KP∈RCin×Cout×Kx×Ky(5)该卷积的结果被输入到进一步的层。我们的卷积可以将可训练参数减少到Whyve,其中G C 在。在选项卡中。比较了不同模型的可训练参数的数量G G>0为了支持完整的端到端学习,需要高斯分布和内核原型的梯度。图3显示了卷积模型中的梯度流乘法将最终内核K的梯度除以可学习内核原型KP和范围影响矩阵RI。矩阵RI保持关于输入的波长的高斯分布的被采样的条目。这允许我们推断输入波长对梯度的影响。此外,梯度可以传递到高斯分布的均值M和方差V信道波长λ是输入数据的一部分,并且不需要梯度。因此,卷积的所有可学习分量都是基于最终内核K的梯度可训练的,并且模型的端到端训练是可能的。在补充材料中,更详细地讨论了引入的超参数G3.2.1扩展:额外的内核共享学习的WROI允许模型通过输入Cin的通道维度共享内核。作为扩展,我们提出通过输出Cout的通道维度和卷积层的所有内核来共享部分内核。为此,前面的方法使用了额外的内核原型类型进行了增强. 这些额外的内核权重被加权,可学习因子α∈R和β∈R。 的总和K++=RI·KP++∈RCin×Cout×Kx×Ky(8)通过这种扩展,我们的方法具有以下可训练参数:W hyve++=(KP,M,V,α,KP cout,β,KPconv)( 九)通过这种扩展,该模型可以更好地利用卷积层内核内的协同效应。在一开始就保持共享内核原型的影响很小是很重要的。否则,训练是非常不稳定的。因此,我们建议α0和β0的初始值为0。1.一、对拟议延期的影响的评估见补充材料,材料。4. 实验在下面的部分中,在两个高光谱应用中评估所提出的方法。第一个应用涵盖了在实验室条件下记录的成熟水果的分类任务[30]。第二个方面涉及对卫星记录的遥感数据进行的一项既定的分割任务。对于下面的实验,所提出的方法的扩展版本(见等式10)。8)具有以下参数:G=5,α0=0。1,β0=0。1.一、用三种随机种子测试每种组合物。随机种子影响网络初始化、训练样本命令和数据扩充命令。4.1. 应用A:水果成熟度预测第一个应用程序的任务是对水果的成熟度进行分类。该应用程序使用的数据集[30]是公开可用的最大标记高光谱数据集之一此外,几乎没有具有不同高光谱相机对同一场景的记录的数据集此属性与测试我们模型的相机不可知性相关数据集数据集涵盖四种水果类型(鳄梨、猕猴桃、柿子和芒果)。成熟度分为三类(硬度,甜度和整体成熟度)。鳄梨没有甜味;因此,这些仅涵盖Conv2d深度方向- 可分离Conv 2DHyveConv ++(我(我5· 25· 3· 3200· 1· 3· 35· 25· 3· 3+2· 5=45000200· 25· 3· 3=6800+200· 25· 1· 1+2· 5+1· 25· 3· 3=1135+1· 1· 3· 3+2个=13713793≈图4:使用Specim FX 10记录的成熟水果数据集的总体准确性。第一个和最后一个类别。这总计为11种不同的设置(例如,芒果的硬度预测或猕猴桃的甜度预测)。所有的设置都包括三个类别(未成熟,完美和过熟)。这个数据集有固定的训练集和测试集。大多数录音都是由Specim FX 10完成的。 这种高光谱相机覆盖397的波长范围。66nm至1003。81nm,224个谱带。此外,还有许多康宁microHSI 410可见光-近红外高光谱传感器的记录。它覆盖了408. 03nm和901. 26nm,249个谱带。所有记录均已使用白色和深色参考标准化。我们使用[30]中提出的训练和测试管道在实验中,我们使用了四种模型。作为我们方法的基础,使用模型DeepHS net[30]。它是一个浅层卷积神经网络,由三个深度可分离的卷积、一个全局平均池化层和一个完全连接的头组成。模型的复杂性较低,这有助于理解模型的内部结构。此外,该模型已经取得了令人满意的结果预测水果的成熟度。它是优化的高光谱数据集的小尺寸对于我们的模型,我们将第一个卷积层替换为HyveConv++层,保持卷积的所有维度固定。模型的其余部分保持不变。使用原始出版物的培训时间表此外,我们还使用了ResNet18 [11],这仍然是一个常用的骨干网,以及具有因子分析的SpectralNET [3],它在遥感数据集上实现了最先进的性能。最后,我们在两个变体中使用了挤压和激发(SE)[15]。第一,结合图5:成熟水果数据集的整体准确性,两台相机的记录。第一个是ResNet18网络,第二个是DeepHS网络模型。SE块在内核的通道维度中增加了相互依赖性,这与我们的方法类似,因此比较起来很有趣。在第一个实验中,仅使用Specim FX 10的记录。这些实验表明了测试模型在故障单相机用例中的性能。结果可见于图1D。4.考虑到所有类别和水果类型的中位数,我们的模型可以优于其他模型的平均准确性。具有挤压和激励块的DeepHS网络(DeepHS网络+SE)表现第二好。这两种方法都引入了通道之间的相互依赖性,这似乎是有帮助的。我们的模型偏向于相似的波长应该有相似的特征,这进一步提高了每平方米的效率。因此,我们的模型用更少的参数产生了更好的结果。在第二组实验中,使用两种不同相机(Specim FX 10和Corning microHSI 410 Vis-NIR)的记录。这些相机记录的波长不同。进一步的分析见补充材料。这些实验验证了相机不可知的行为。每个摄像机的记录数量不平衡(2:1),这又增加了一个挑战。在这些实验中,训练集和测试集包含两个相机的记录。我们将我们的方法与先前实验的最佳模型进行了比较。只有HyveConv++可以处理具有不同波长通道分配的记录。对于其他模型,预处理是必要的。最基本的方法是在3794表2:不同模型在总体准确度(OA)、Cohen Kappa(Kappa)和平均分类准确度(AA)方面的分类准确度(%),分别使用10%和30%的注释数据作为训练数据。根据Chakraborty等人的评价,[3]的文件。我们的模型的两个配置。(*)未微调(**)较大的隐藏层。培训样品方法参数数量OAIndian Pines数据集KappaAAOA帕维亚大学数据集KappaAAOA萨利纳斯数据集KappaAASVM [6]81.67±0.780.27±1.282.62±0.181.39±2.697.11±0.298.39±0.198.76± 0.278.76±0.878.26±2.179.25±0.381.20±2.097.25±0.298.16±0.198.59±0.179.84±3.468.32±4.176.51±0.175.22±0.797.32±0.298.01±0.298.61±0.190.58±0.596.63±0.296.34±0.295.95±0.697.65±0.399.72± 0.199.71±0.187.21±0.795.53±0.294.90±1.293.40±0.497.69±0.399.64± 0.199.62±0.192.99±0.494.84±1.497.03±0.697.52±1.097.68±0.499.20±0.199.43±0.294.46±0.196.34±0.385.00±0.194.20±0.899.23±0.199.98± 0.299.96±0.293.13±0.395.93±0.983.20±0.793.61±0.399.97±0.299.98± 0.299.96±0.193.01±0.694.36±0.589.63±0.296.66±0.599.16±0.199.98± 0.199.97±0.12D-CNN [18]561,3003D-CNN [2]991,596[12]第十二话372,544百分之十FuSENet [24]100,880[25]第二十五话5,122,176SpectralNET [3]6,800,336HyveConv++(我们的)*HyveConv++(我们的)**16,70025,20098.18±0.698.33±0.198.41±0.198.64± 0.198.28±0.198.69± 0.199.30±0.399.42±0.299.30±0.399.49±0.299.49± 0.299.46±0.299.24±0.299.89±0.099.64±0.099.79±0.099.94±0.099.74±0.0SVM [6]87.24±0.488.90±1.390.23±0.295.67±0.199.01±0.299.22%99.75±0.199.86± 0.285.27±0.587.01±1.689.70±0.394.70±0.398.60±0.199.19%99.71±0.199.84± 0.285.15±1.185.70±1.089.87±0.194.60±0.698.64±0.199.08%99.63±0.299.98± 0.195.65±0.196.50±0.497.90±0.397.60±0.299.42±0.299.64%99.98±0.199.99± 0.194.63±0.296.55±0.397.22±0.196.50±0.699.21±0.3百分之九十九点四九99.98± 0.299.98± 0.194.60±0.196.00±0.197.30±0.198.00±0.199.33±0.299.97±0.299.98± 0.194.95±0.196.75±0.695.54±0.594.99±0.399.68±0.2百分之九十九点九一10010094.48±0.196.71±0.794.81±0.395.40±0.199.74±0.1百分之九十九点七八10010097.93±0.198.57±0.297.09±0.696.28±0.299.69±0.1百分之九十九点六三1001002D-CNN [18]3D-CNN [2] 991,596美国有线电视新闻网[12]百分之三十[24]第24话[23]第二十三话一亿五千万混合SN [25] 5,122,176SpectralNET [3] 6,800,336HyveConv++(我们的)*HyveConv++(我们的)**16,70025,20099.85±0.099.86± 0.099.75±0.099.84± 0.099.7±0.299.57±0.199.97±0.099.96±0.099.96±0.099.98± 0.099.97±0.099.94±0.099.98±0.099.93±0.099.99±0.099.92±0.099.99±0.099.99±0.0通道尺寸以产生相同大小的记录。一种更先进的方法是线性插值,它通常是解决这个问题的首选。对于线性插值,配置至关重要。量化步长的不适当定义会损害记录的表现力。线性插值是默认的预处理,用于大多数模型.结果可见于图1D。5.我们的方法可以优于其他方法的平均精度和模型的大小。在这些实验中,线性插值可以提高性能。在前面的实验中表现良好的挤压和激励方法并没有提高模型的性能通过使用卷积的波长信息,HyveConv++可以增强HSI的相机不可知行为。补充材料中提供了支持这一主张的另一项实验。4.2. 应用B:卫星影像分割数据集第二个应用程序,高光谱遥感场景(HRSS),是由M。 Gr andella,M.A. Veganzons和B.艾尔迪任务是对不同背景下的地面性质进行分类。每个场景都由一个带有地面真实标签的图像组成。最常见的场景是印第安松(IP),帕维亚大学(UP)和萨利纳斯(SA)。每个场景都是单独处理的我们遵循Chakraborty等人的数据处理程序[3]的文件。分割任务被转换为64x64块的分类任务印度松是用AVIRIS传感器记录的,其覆盖400nm至2500nm的范围,具有224个通道[1]。已经从这些记录中删除了24个嘈杂的通道。分类发生在16个类内。 这张专辑也是由这张专辑录制的--分类并覆盖六个类。帕维亚大学用ROSIS传感器记录,覆盖430nm到830nm的范围,有103个波段,区分9类。模型我们使用了模型的两种配置。两种方法都使用了整个高光谱立方体,没有降维。第一种配置(*)与成熟分类任务所用的型号相同。只有最后的输出层才适合于类的数量。第二种配置(**)稍微适合于这种应用。这里的主要变化是增加隐藏层中的通道数量,这是因为这个应用程序的类数量更高。结果选项卡。2概述了模型在遥感应用中的性能。我们测试了各种不同的模型。这些模型涵盖经典机器学习[6]、2D卷积[18]、3D卷积[2]、2D和3D卷积的混合[12,24]、具有优化预处理的2D卷积[25,3]和一种基于视觉Transformer的方法[23]。特别是,Hy- bridSN[25]和SpectralNET [3]实现了该应用程序的最新结果。未经修改的模型(**)已经可以在总体列表中排名第二/第三(见表1)。 2)的情况。 通过微小的修改(**),它甚至以少250倍的参数实现了最先进的性能。这些实验表明,我们提出的方法推广到不同的高光谱应用。5. 消融研究在上一节中,我们的模型在两个应用中优于在本节中,呈现了学习的WROI(也称为相机滤波器)对于深入的消融研究,我们参考3795(a)(b)(c)(d)其他事项图6:高斯分布的训练。(a)以及(b)示出训练时期上的均值和方差的发展。(c)显示了最终的高斯分布,这些分布被用作(d)中的滤波器。补充材料。它包含对超参数G的影响的分析,定义了WROI的数量。此外,所提出的方法的扩展(方程。(9)分析。并检查是否需要高斯分布的训练图6呈现了用于鳄梨的成熟度分类的示例运行的训练和所得的WROI。图6a和图6b分别示出了平均值和方差在历元上的值。方差是WROI搜索过程的一个很好的指标。方差的减小表明模型发现了一个特征,并缩小了相应的波长范围。最终的WROI在图中可见6c和这些可视化显示在图。6便士高斯分布2和3具有超过50%的最终重叠。他们甚至在第三纪元交换了位置。因此,它们可以覆盖相同的特征,并且可以减少WROIG最后的相机时代过滤器涵盖了可见光的范围内的蓝色和绿色。此外,还选择了指示叶绿素退化的水和区域的泛音这些范围适合以前的作品[22,19]的调查结果训练模型的WROI选择可用于构建针对该用例优化的多光谱相机。具有5-10个自定义波长的多光谱相机通常更容易应用于在线场景。我们表明,学习的功能是可解释的,甚至可以进一步使用。6. 结论在这项工作中,我们提出了一个2D卷积优化的高光谱记录。通过使用核的连续表示并添加适当的模型偏差,可以显著减少参数的数量。此外,通过输入的波长对内核进行采样整个模型是端到端可训练的。它只引入了一个可解释的超参数G。该参数定义了感兴趣的波长范围的数量,也称为相机滤波器。两个不同的高光谱应用的实验证实了这种方法的优势。提出了一种用于高光谱成像的卷积方法。尽管如此,它也可以在具有许多通道和它们之间的一些邻近关系的图像数据的其他场景中有所帮助。这是未来研究的一部分。多光谱和彩色相机通常基于波长滤波器。通过我们的方法学习的WROI就是这些类型的过滤器。因此,该模型以数据驱动的方式学习特定任务的必要过滤器这些可用于构建优化的多光谱相机。确认德国经济事务和能源部支持这项工作,项目阿瓦隆,FKZ:03SX 481 B。Tubingen机器学习培训中心的计算集群已用于评估,FKZ:01IS17054。3796引用[1] 马 里 恩 ·F 作 者 : Baumgarbane , Larry L.Biehl , andDavid A.地。220波段aviris高光谱图像数据集:1992年6月12日,印度松试验场3,2015年9月。[2] Amina Ben Hamida,Alexandre Benoit,Patrick Lambert和Chokri Ben Amar。三维深度学习方法在遥感图像分类 中 的 应 用 。 IEEE Transactions on Geo- science andRemote Sensing,56(8):4420[3] 坦梅·查克拉博蒂和乌特卡什·特雷汉光谱网:空间谱小波神经网络用于高光谱图像分类的探索。arXiv预印本arXiv:2104.00341,2021。[4] 陈雨诗,林周汉,赵星,王刚,顾延峰.基于深度学习的高 光谱 数据分 类 IEEE Journal of Selected Topics inApplied Earth Ob- servations and Remote Sensing , 7(6):2094[5] 弗朗索瓦·肖莱。Xception:使用深度可分离卷积的深度学习在2017年IEEE计算机视觉和模式识别会议,CVPR2017,Hon-olulu,HI,美国,2017年7月21-26日,第1800-1807页。IEEE计算机学会,2017年。[6] 科琳娜·科尔特斯和弗拉基米尔·瓦普尼克支持向量网络。Machine learning,20(3):273[7] PJ戴维斯插值和逼近。Dover Books on Mathematics.Dover Publications,1975.[8] Jia Deng,Wei Dong,Richard Socher,Li-Jia Li,KaiLi,and Li Fei-Fei. Imagenet:一个大规模的分层图像数据库。2009年IEEE计算机视觉和模式识别会议,第248-255页。Ieee,2009年。[9] 卡尔·皮尔逊莉莉在最近的直线和平面上适合于空间中的点系统。The London,Edinburgh,and DublinPhilosophical Magazine and Journal of Science , 2(11):559[10] Kaiming He,Xiangyu Zhang,Shaoying Ren,and JianSun.用于图像识别的深度残差学习。在2016年IEEE计算机视觉和模式识别会议,CVPR 2016,美国内华达州拉斯维加斯,2016年6月27-30日,第770-778页。IEEE计算机学会,2016年。[11] Kaiming He,Xiangyu Zhang,Shaoying Ren,and JianSun.用于图像识别的深度残差学习。在Proceedings ofthe IEEE Computer Society Conference on ComputerVision and Pattern Recognition,卷2016-Decem,第770-778页中IEEE计算机学会,2016年12月。[12] Mingyi He,Bo Li,and Huahui Chen.用于高光谱图像分类的多尺度三维深度卷积神经网络在2017年IEEE图像处理国际会议(ICIP),第3904-3908页[13] G. E. Hinton和R. R.萨拉赫季诺夫用神经网络降低数据的维数。Science,313(5786):504[14] Danfeng Hong,Zhu Han,Jing Yao,Lianru Gao,BingZhang,Antonio Plaza,Jocelyn Chanussot。光谱形成器 : 用 变 换 器 重 新 思 考 高 光 谱 图 像 分 类 。 IEEETrans.Geosci遥控器Sens. ,60:1[15] Jie Hu , Li Shen , Samuel Albanie , Gang Sun , andEnhua Wu.压缩-激励网络。 IEEE Trans. 模式分析马赫内特尔,42(8):20113797[16] 陆国兰和保卫飞。医学高光谱成像综述。Journal ofBiomedical Optics,19(1):1[17] 康斯坦丁诺斯·马坎塔西斯,康斯坦丁诺斯·卡兰扎洛斯,阿纳斯·塔西奥斯·杜拉米斯和尼古拉斯·杜拉米斯.通过卷积神经网络进行高光谱数据分类的深度监督学习。国际地球科学和遥感专题讨论会(IGARSS),2015年11月,第4959-4962页。电气和电子工程师协会,2015年11月[18] 康斯坦丁诺斯·马坎塔西斯,康斯坦丁诺斯·卡兰扎洛斯,阿纳斯·塔西奥斯·杜拉米斯和尼古拉斯·杜拉米斯.通过卷积神经网络进行高光谱数据分类的深度监督学习 2015 年 IEEE 国 际 地 球 科 学 与 遥 感 研 讨 会(IGARSS),第4959-4962页[19] Angela Melado-Herreros 、 Sonia Nieto-Ortega 、 IdoiaOlabar-rieta、Mo'nicaGutie' rrez、Al bertoVillar、JaimeZuf'ıa、Nathalie Gorretta和Jean-Michel Roger。基于新成熟指数和可见近红外光谱的'哈斯'鳄梨采后成熟度评价Posthar-vest Biology and Technology,181:111683,2021.[20] Antonio Mucherino,Petraq J. Papajorgji和Panos M.帕达洛斯k-最近邻分类,第83-106页。Springer New York,New York,NY,2009.[21] B.帕克河陆高光谱成像技术在粮食和农业中的应用。食品工程系列Springer New York,2015.[22] 约翰·平托,胡奥弗·鲁达·查克·奥恩,亨利·阿圭罗。通过高光谱图像根据鳄梨成熟度对鳄梨进行分类。Tec-noL o′ gicas,22(45):111-130,2019.[23] Yuhao Qing , Wenyi Liu , Liuyan Feng , and WanjiaGao.改进的Transformer网络用于高光谱图像分类。遥控器Sens. ,13(11):2216,2021.[24] 斯瓦帕·库马尔·罗伊,希夫·拉姆·杜贝,苏布拉桑卡·查特吉,比尤特·巴兰·乔杜里.Fusenet:用于光谱-空间高光谱图像分类的融合挤压-激发网络IET图像处理。,14(8):1653-1661,2020.[25] Swalpa Kumar Roy、Gopal Krishna、Shiv Ram Dubey和Bidyut B. Chaudhuri HybridSN:探索用于高光谱图像分类的3-D-2-D CNN特征层次。IEEE地球科学遥控器Sens. Lett. ,17(2):277-281,2020.[26] Kumar Shridhar,Felix Laumann,and Marcus Liwicki.一个全面的指南,以baidu卷积神经网络与变分推理。CoRR,abs/1901.02731,2019。[27] J.F. 斯 蒂 芬 森 插 值 : 第 二 版 。 Dover Books onMathematics.Dover Publications,2013.[28] 佩特拉·塔泽马库斯·沃尔夫和托马斯·潘纳利用近红外波段高光谱成像进行在线材料分选的工业应用。实时成像,11(2):99光谱成像II。[29] L.L. 瑟斯顿心灵的载体:主要特征隔离的多因素分析。芝加哥大学芝加哥大学出版社,1935年。3798[30] 莱昂·阿玛迪斯·瓦尔加,扬·马考斯基,和安德烈亚斯·泽尔。利用高光谱成像和深度学习测量水果的成熟度。在神经网络国际联合会议上,IJCNN 2021,中国深圳,2021年7月18日日,第1-8页IEEE,2021。[31] Alan R.韦尔伯恩用不同溶剂和不同分辨率的分光光度计对叶绿素a和b以及总类胡萝卜素植物生理学杂志,144(3):307[32] 杨海清基于可见-近红外光谱和plsr校正的樱桃番茄最佳采收期无损预测在Emerging Engineering Approaches andAp- plications 中 , Advanced Engineering
下载后可阅读完整内容,剩余1页未读,立即下载
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![-](https://csdnimg.cn/download_wenku/file_type_lunwen.png)
![-](https://csdnimg.cn/download_wenku/file_type_lunwen.png)
![-](https://csdnimg.cn/download_wenku/file_type_lunwen.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/default.jpg!1)
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
我的内容管理 收起
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
会员权益专享
最新资源
- VMP技术解析:Handle块优化与壳模板初始化
- C++ Primer 第四版更新:现代编程风格与标准库
- 计算机系统基础实验:缓冲区溢出攻击(Lab3)
- 中国结算网上业务平台:证券登记操作详解与常见问题
- FPGA驱动的五子棋博弈系统:加速与创新娱乐体验
- 多旋翼飞行器定点位置控制器设计实验
- 基于流量预测与潮汐效应的动态载频优化策略
- SQL练习:查询分析与高级操作
- 海底数据中心散热优化:从MATLAB到动态模拟
- 移动应用作业:MyDiaryBook - Google Material Design 日记APP
- Linux提权技术详解:从内核漏洞到Sudo配置错误
- 93分钟快速入门 LaTeX:从入门到实践
- 5G测试新挑战与罗德与施瓦茨解决方案
- EAS系统性能优化与故障诊断指南
- Java并发编程:JUC核心概念解析与应用
- 数据结构实验报告:基于不同存储结构的线性表和树实现
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)