没有合适的资源?快使用搜索试试~ 我知道了~
8032基于深空间谱先验的高光谱图像重建王立志1孙晨1傅莹1李敏.Kim2 Hua Huang11北京理工大学2韩国科学技术高等研究院{lzwang,sunchen,fuying,huahuang}@ bit.edu.cn,minhkim@kaist.ac.kr摘要正则化是稳健求解不适定优化问题的基本方法,是高光谱压缩图像重建的关键。各种手工制作的先验已被用作正则化器,但通常不足以处理自然高光谱图像的各种光谱,导致重建质量差。此外,先验正则化优化需要手动调整其权重参数,以实现结果图像的空间和光谱保真度之间的平衡。在本文中,我们提出了一种新的超光谱图像重建算法,取代了传统的手工制作的先验数据驱动的先验,基于优化启发的网络。我们的方法包括两个主要部分:首先,我们学习了一种新的数据驱动先验,它将优化问题正则化,目标是提高空间-光谱保真度。我们的数据驱动先验学习自然高光谱图像的局部相干性和动态特性。其次,我们结合我们的正则化与优化启发的网络,以克服在传统的迭代优化方法的计算量大的问题。我们通过端到端训练学习网络中的完整参数,从而实现高精度的稳健性能。广泛的仿真和硬件实验验证了我们的方法优于国家的最先进的方法的性能。1. 介绍高光谱成像将场景或对象的光谱功率分布捕获为三维(3D)张量,其描述每个像素位置处的通过利用高光谱图像中丰富的光谱信息,各种成像和视觉应用已经受益于将识别和分类技术的当前维度扩展到新应用的更高维度,重新表示微粒传感、医学成像、视觉检测、数字取证等。[1、2、3、4、5、6]。由于高光谱图像是3D张量,因此必须使用一个1D或2D传感器通过多次曝光来测量场景。该成像过程是耗时的并且限于静态对象[7]。为了捕获动态物体和场景,已经提出了相当多的快照超光谱成像系统[8,9,10,11,12]。基于压缩感知[13],编码孔径快照光谱成像(CASSI)[14]引入了一种有前途的解决方案。CASSI将入射光编码到快照成像传感器中,并采用优化算法将高光谱图像重建为3D张量。为了解决欠定重建问题,使用正则化技术来引入图像先验,例如,总变差(TV)[15,16],稀疏性[17,18]和非局部相似性(NLS)[19,20]。他们已经制定了分析,以限制解决方案空间时,解决数据项。然而,这些先验是根据经验设计的,并且通常不足以对现实世界的各种光谱进行此外,基于手工制作的先验的优化需要手动调整其权重参数以处理目标场景的复杂特性。此外,重建高光谱图像的优化因此,迭代优化技术已被普遍使用。最近,一个新的研究方向是用深度神经网络代替压缩传感中基于迭代的优化,[21]第22话:“你是我的朋友”(第23话)这些网络通过深度学习基于自然图像统计来然而,他们仍然继承了稀疏先验显式限制功能稀疏在几个层。使用稀疏先验的优化遭受由Zhang等人解决的先验偏差问题。[24]第10段。此外,这些基于神经网络的方法只考虑了空间维内的CS重建,而忽略了光谱维,因为它们没有学习任何光谱信息8033自然的图像。Choi等人提出训练自动编码器来学习谱先验[25]。然而,该解决方案仍然是基于使用稀疏正则化迭代优化在本文中,我们提出了一种新的高光谱图像重建算法,取代传统的手工制作的先验数据驱动的先验,基于优化启发的网络。所提出的方法结合了两个方面的优点:优化的结构洞察力和深度神经网络的先验建模能力。首先,我们学习了一种新的数据驱动先验,它将优化问题正则化,以利用空间和谱相关性。我们的数据驱动的先验学习本地相干性和动态特性的自然高光谱图像。其次,我们将正则化器与优化启发网络相结合,以克服传统迭代优化方法的繁重计算。我们通过端到端训练学习整个网络中的所有参数,从而实现高精度的稳健性能。大量的仿真和硬件实验验证了所提出的方法可以实现一个显着的改进,根据综合定量指标和感知质量的国家的最先进的总之,这项工作将深度学习的力量和优化框架集成到压缩高光谱成像的重建问题中,使CASSI走向实践迈出了实质性的一步2. 相关工作2.1. 高光谱图像的先验建模求解逆优化问题是高光谱图像重建的核心,即,随后的重建问题是如何从2D压缩图像导出基础3D超光谱图像。通常,高光谱图像先验被用于正则化逆问题,因为先验可以通过对解施加特定特征来从无限解集中识别最可行的解。因此,设计合适的先验在找到压缩高光谱成像中的重建问题的解决方案中起着关键作用。在传统的高光谱图像重建方法中,大多数高光谱图像先验是基于经验观测的手工制作。鉴于自然高光谱图像在频域或梯度域中变换后通常是稀疏的,因此在CASSI重建中广泛使用强制变换系数稀疏性的先验[15,18,26]。为了提高变换的多样性,已经提出了盲压缩感知来解决CASSI恢复问题[27]。这项技术致力于共同从压缩图像中推断基础高光谱图像和变换基础此外,通过利用高光谱图像中的重复结构,通过与稀疏表示[19]或低秩近似[20,28]相结合,采用了基于NLS的正则化器,这些正则化器已经显示出对局部正则化器的改进。然而,这些手工制作的先验通常是通用的,因为许多非图像信号也可以满足约束。与精心设计的先验不同,基于学习的方法可以从大数据集中学习隐含的图像先验。Choi等人。[25]提出了一种基于自动编码器的CASSI重建方法,其中自动编码器被预先训练为深度图像先验,并作为正则化器集成在优化中。类似的方法已被用于自然图像恢复,其中深度图像先验被用作优化中的正则化器[24]。与手工图像先验相比,数据驱动的先验可以表征高光谱图像中的非线性相关性,从而获得更好的性能。但它必须迭代求解优化问题,这受到参数调整。2.2. 深度学习用于图像重建与深度学习在高级视觉领域的流行[29,30]相比,很少有工作关注深度学习来解决高光谱图像重建问题,特别是关于在真实硬件系统上的部署。关于自然图像重建的开创性工作尝试学习从压缩图像到底层图像的蛮力映射函数,例如[31,32],然而,这缺乏灵活性。学习的映射函数将是无效的,并且需要重新训练,即使观察模型与训练期间使用的模型有非常轻微的实际上,这是硬件实现中的常见Xiong等人首次引入卷积神经网络来解决CASSI中的超光谱图像重建问题[33]。该算法将高光谱图像重建问题转化为高光谱图像增强问题,并学习一个从低质量图像到高光谱图像的映射函数。相比之下,所提出的基于网络的方法的设计灵感来自优化框架,它完全集成了神经网络中的观测模型。因此,所提出的方法可以很好地推广到未经训练的观测模型。这项工作的动机源于最近提出的用于自然图像压缩感知的深度神经网络,包括LISTA [21] ADMM-Net [22]和ISTA-Net [23]。 这些方法模拟了先验正则化优化的结构,并展开迭代,8034调制分散体一体化光谱Λ场景目标透镜编码孔径中继透镜色散棱镜检测器斜向椭圆形压缩贴片图2.CASSI的基于补丁的建模压缩图像中的一个小块恰好对应于底层高光谱图像矩阵向量形式为g=Φf,(2)图1.文中介绍了CASSI的光学原理,并搭建了实验样机,通过实际的硬件实验验证了该方法的有效性优化到深度网络中。因此,它们可以通过端到端训练来学习变换和参数。但是他们仍然利用神经网络中的稀疏先验,通过显式地将几层中的特征限制为稀疏,这与手工制作的图像先验具有相同的缺点。此外,这些方法是专门为自然图像压缩感知而设计和开发的,不能简单地扩展到高光谱图像重建,因为高光谱图像是高维的,因此应该利用光谱先验来促进重建。3. 拟议框架3.1. CASSI观测模型CASSI的示意图如图1所示。CASSI将3D高光谱信息编码成2D压缩图像。 设F(m,n,λ)表示强度其中1≤m≤M和1≤n≤N折射率1 ≤λ≤Λ表示空间维数,1≤ λ ≤ Λ表示谱维数。编码孔径产生空间调制,其透射函数C(m,n),而色散棱镜根据波长相关色散函数λ(λ)沿空间维度产生光谱剪切。通过遵循CASSI的观测模型,2D压缩图像可以表示为光谱波长λ上的积分,如下所示:G(m,n)=<$C(m − <$(λ),n)F(m − <$(λ),n,λ). (一)λ=1注意方程式中的剪切力(1)是沿垂直方向的,并且下面的推论也适用于水平剪切。CASSI观测模型可以重写为其中g ∈ R(M+Λ-1)N和f ∈ RMNΛ是压缩图像和底层高光谱图像的矢量化表示,并且Φ∈R( M+Λ-1 )N×MNΛ表示CASSI的测量矩阵。通过对CASSI成像机制的分析,将观测模型从基于全图像的建模分解为基于分块的建模,复杂性,然后促进网络训练。如图2所示,我们现在考虑压缩图像的P×P块,并通过系统跟踪块中的能量。源高光谱图像不再是一个标准立方体,而是一个倾斜的平行六面体具有N个移位的谱带。每个条带在剪切方向上相对于其相邻条带具有一个像素的移位。以这种方式,我们可以隔离压缩图像和底层高光谱图像之间的基于块的映射,并且避免不同映射对之间的串扰。然后,这种斜六面体的观测模型可以以矩阵-向量形式表示为:gi=Φifi,(3)其中i是所选补丁的索引号请注意,方程式(3)是方程的基于块的观测模型(二)、为了简单起见,我们去掉了等式中的下标。(三)、3.2. 高光谱图像先验网络物理上,高光谱图像重建是欠定的,因此采用图像先验作为正则化来约束解空间[34]。从贝叶斯角度来看,底层高光谱图像可以通过求解如下的最小化问题来获得:f=argmin||g−Φf||2+τR(f),(4)F其中τ是平衡参数。数据项保证解符合观测模型,正则化项使输出具有期望的高光谱图像先验R(·)。当正则化项不可微时,它是-ten采用变量分离技术来解耦空间8035(一)35302520光谱空间两者(b)第(1)款0.20.10光谱空间两(c)第(1)款图3.(a)高光谱图像先验网络的结构高光谱图像先验网络由空间网络部分和光谱网络部分串联而成,分别侧重于空间相关性和光谱相关性的挖掘(b)和(c)仅使用一个部件的性能测试。数据项和等式(1)中的正则化项。(四)、特别地,通过引入辅助变量h,Eq.(4)可以重新表示为约束优化问题,其由下式给出:f=argmin||g−Φf||2+τR(h), s. t.h=f。(五)F然后,采用半二次分裂(HQS)方法,将上述约束优化问题转化为无约束优化问题(f,h)=a rgmin||g−Φf||2+η||h−f||2+τR(h),(6)f和 h其中η是惩罚参数。当量(6)可以分为两个子问题,f(k+1)=argmin||g−Φf||2+η||h(k)−f||第 二条第七款Fh(k+1)=argmin||h−f(k+1)||2+τR(h)。(八)指导高光谱图像先验网络设计的见解。首先,它应该能够同时利用空间和光谱相关性。第二,要尽量简单,便于培训。根据第一个见解,所提出的先验网络由两个主要部分组成,即,空间网络部分和光谱网络部分,其分别集中于利用空间相关性和光谱相关性。根据第二种见解,空间网络部分采用残差网络结构,因为残差学习可以实现快速稳定的训练,从而减轻计算负担[30,35]。存在由一个整流线性单元(ReLU)层交织的两个线性卷积层。这种空间网络设计的动机是最近关于图像空间超分辨率的工作,通过去除神经网络中不必要的层(如批量归一化),具有出色的性能[35]。频谱网络包含一个卷积层,以达到简单的架构,并专注于利用频谱相关性。图3bhη和图3c示出了当仅一个部件时的性能测试。我们可以看到,在方程h-子问题。(8)是具有惩罚τ的高光谱图像先验R(·)的近似算子。 当高光谱图像先验使用l1稀疏性,邻近算子意味着简单地对f(k+1)进行软阈值处理。从这个角度来看,HQS方法分离观测模型Φ和高光谱图像先验R(·)。高光谱图像先验仅以邻近算子的形式出现。因此,不是明确地学习高光谱图像先验R(·)并利用高光谱图像先验的约束来求解邻近算子,而是提出利用高光谱图像先验网络直接学习用于邻近算子的求解器S(·),如下所示:h(k +1)= S(f(k +1)).(九)以这种方式,高光谱图像先验不是显式建模的,而是用高光谱图像先验网络学习的,这在先验建模中引入了非线性,并避免了显式手工制作的图像先验(诸如TV先验或稀疏先验)的不准确性。高光谱图像先验网络的架构在图3a中示出。有两种技术ConvReLUConvConv空间网络光谱网络8036在使用的现有网络中。可以看出,空间网络部分和频谱网络部分都对最终性能产生影响,这验证了网络设计的技术见解。如第3.1节中所介绍的,高光谱图像先验网络的输入是斜平行六面体,其对应于压缩图像上的块第一卷积第一层使用3×3×Λ滤波器并产生L个特征,而第二卷积层使用3×3×L滤波器并产生Λ个特征。光谱网络使用1×1×Λ滤波器。3.3. 优化重构方法我们建议解决Eqs。(7)和(8)在一个统一的框架内。与分裂迭代方法相比,该框架将观测模型和图像先验作为一个整体重新连接起来。回想一下,f-子问题在方程。(7)是保证数据保真度的二次正则化最小二乘问题。直接解以封闭形式给出为f(k+1)=(ΦΦ + η I)−1(Φg + η h(k))。(十)8037f(k-1)ϴ̅HSI先验网络є5⊕є第k阶段Σ˜˜……(一)33323130357911 13阶段数(b)第(1)款0.120.110.10.09图4. (a)用于CASSI重建的深度神经网络的说明。该网络集成了优化的结构洞察力。该方法由多个阶段组成,每一阶段包括一个高光谱图像先验网络,该网络由两个符合观测模型的线性连接组成。(b)级数对重建精度的影响。对于超过9个阶段,PSNR没有显著增加,SAM没有显著降低。其中I是单位矩阵。由于ΦΦ+η I非常大,因此求该矩阵的逆在计算上是昂贵的。相反,我们采用共轭梯度(CG)算法来解决f-子问题。因此,Eq.(7)可以表示为f(k+1)=f(k)−n[Φn(Φf(k)−g)+η(f(k)−h(k))]=Φ<$f(k)+φf(0)+φηh(k),(十一)其中,f是梯度下降中的步长,f(0)= Φg表示初始化,Φ<$=(1−η)I−ΦΦ。然后,我们可以将这两个子问题统一为一个问题代替Eq。(9)到Eq. (十一)f(k+1)=Φ<$f(k)+φf(0)+φηS(f(k))。(十二)我们建议在等式中实现推导。(12)通过如图4a所示的深度神经网络。 网-重建精度。可以看出,在9个阶段之后,准确性没有显著提高。考虑到准确性和内存之间的权衡,我们在下面的模拟和实验中将级数设置为9。3.4. 自适应参数学习我们建议通过端到端训练来训练网络,以同时学习网络参数Θ和优化参数θ i和η。在我们的实现中,各个阶段的参数都是不同的,随着阶段的增加,重建质量会得到提高,因此网络参数和优化参数应该自适应地改变。给定一组斜平行六面体f(l),训练样本及其对应的压缩补丁g(l),根据基于MSE的损失函数来训练网络,其可以表示为L工作由多个阶段组成,每个阶段包括一个高光谱图像先验网络,如第3.2节所述,该网络具有两个线性连接,(θ,θ,η)=argmin1||f(gΘ,θ,ηLl=1(l);Θ,θ,η)−f(l)||2,(十三)符合EQ。(十二)、在所提出的网络中,给定初始的高光谱图像估计f(0),级以前馈方式级联。与基于迭代的优化方法不同,该方法以端到端的方式训练网络,使其在服从观测模型的同时充分利用图像先验知识,优于以往方法中的分离式求解器。具体地说,输入压缩补丁g首先被馈送到通过测量的转置建模的线性层中矩阵Φ输出向量被整形为斜平行六面体,其被视为初始化为f(0)=Φg。对于第k级,其更新结果f(k)来自三个部分,如等式(1)所示(十二)、第一部分从先前的结果f(k−1)导出,其被馈送到高光谱图像先验网络中,然后由参数n加权;第二部分也是从先前的结果f(k−1)导出,其被馈送到由Φ <$参数化的线性层中;第三部分是到由 参数 n 加 权的初始化f(0 )的跳过连接。该阶段重复K次。图4b示出了阶段号对其中f(·)表示给定输入和参数的网络的输出。我们使用MatConvNet来实现网络,最小化方程中的损失函数。(13)使用随机梯度下降法,并将其训练到150个epoch。最小批量大小和动量参数分别设置为64和0.9。学习率设置为10−3。使用[36]中的方法初始化每个层的网络参数。优化参数初始化为全零。我们使用的机器配备了64 GB内存的英特尔酷睿i7-6800KCPU和12 GB内存的NVIDIA Titan X PASCAL GPU。4. 合成数据的模拟结果4.1. 配置为了全面评估,我们对公共ICVL [37]、Harvard [38]和KAIST [25]高光谱图像数据集进行了模拟。我们遵循[39,25,33]中的原则来划分训练集和测试集。我们f(K第K阶段є5⊕єϴ̅HSI先验网络f(K-1)f(0电子ϴ̅HSI先验网络є5⊕є1阶段8038表1. ICVL和Harvard数据集的性能比较。最佳性能用粗体标记,第二佳性能用下划线标记。数据集度量扭曲GPSrAMP3DNSRSSLRHSCNNISTA-NetAutoencoder拟议数D提议IICVLPSNR26.1524.5626.7727.9529.1629.4831.7330.4433.4334.13SSIM0.9360.9090.9470.9580.9640.9730.9840.9700.9900.992山姆0.0530.090.0520.0510.0460.0430.0420.0360.0300.028哈佛PSNR27.1624.9626.6728.5129.6828.5531.1330.3032.4432.84SSIM0.9240.9070.9350.940.9520.9440.9670.9520.9760.979山姆0.1190.1960.1550.1320.1010.1180.1140.0980.0930.089时间(s)555302705864869863.111.155211.111.11将先验网络中的斑块大小和特征图的数目分别设置为64×64和64。对应的编码孔径C(m,n)通过生成伯努利分布中的二进制矩阵来构造,其中p= 0。五、我们将我们的方法与几种最先进的方法进行了比较,包括五种手工制作的基于先验的方法,即,TwIST与TV先验[15],GPSR和AMP与稀疏先验[18,26],3DNSR和SSLR与NLS先验[19,20],以及三种基于学习的方法,即,HSCNN [33],ISTA-Net1 [23]和Autoencoder [25]。所有竞争性方法的代码都是由作者公开发布对于所提出的方法,有两种变化,即,在训练和测试中使用的编码孔径是相同的(由建议I表示)或不同的(由建议D表示)。采用三种定量图像质量指标来评估这些方法的性能 , 包 括 峰 值 信 噪 比 ( PSNR ) 、 结 构 相 似 性(SSIM)[40]和光谱角映射(SAM)[41]。PSNR和SSIM显示了在每个2D空间图像上计算的空间保真度,并在所有光谱带上平均PSNR和SSIM的值越大表示性能越好。SAM示出了光谱保真度,其在每个1D光谱向量上计算并在所有空间点上平均SAM值越小,重建越好。4.2. 评价数值结果。表1总结了ICVL和Harvard数据集的数值结果。可以看出,所提出的方法优于所有现有的方法,根据在空间和频谱域的度量的大幅度。对于这里的模拟,压缩图像和底层高光谱图像的像素数之间的比率非常高(3。对于31个光谱带,2%),因此重建对于1由于它最初是为自然成像而设计的,因此我们对其进行了很大的修改,使其适用于高光谱成像。表2. KAIST数据集上的性能比较。对于有噪声的情况,噪声方差为0.05。度量HSCNN ISTA-Net Autoencoder拟议数D提议I没有噪声PSNR25.1829.3927.9029.7730.03SSIM0.9470.9790.9710.9860.988山姆0.1530.1400.1360.1220.114具有噪声PSNR24.9029.2827.6529.1729.86SSIM0.9310.9680.9700.9760.978山姆0.2030.1430.1430.1410.136用手工制作的图像先验的方法。这表明了高光谱图像网络先验建模能力的优越性与基于学习的方法相比,该网络从优化的迭代出发,通过端到端的训练自适应地设置参数,从而获得更好的即使在测试中使用的编码孔径与训练中使用的编码孔径不同时,所提出的方法仍然产生优于以往所有方法的结果。噪音测试我们在KAIST数据集上进行了额外的模拟实验,并考虑了成像噪声。在这里,我们专注于比较基于学习的方法的性能对于有噪声的情况,噪声方差为0.05。结果列于表2中。可以看出,我们的方法在无噪声和有噪声的情况下都优于其他方法,这促进了CASSI以高帧速率工作。感知质量。为了可视化重建结果,所有方法的两个代表性结果图像如图5所示。为了同时显示所有光谱波段的结果,我们通过CIE颜色匹配函数将光谱图像转换为sRGB。为每个结果提供PSNR和SSIM值。显然,所提出的方法可以产生视觉上愉快的结果,与其他方法相比,具有更少的伪影和更清晰的边缘,这是与数值度量一致的。光谱保真度。图6显示了所选图像中两个点可以看出8039压缩图像扭曲GPSrAMP3DNSRSSLR(21.57/0.904)(20.76/0.892)(23.59/0.944)(24.84/0.957)(23.86/0.941)HSCNNISTA-NetAutoencoder拟议数D提议I地面实况(27.30/0.979)(27.31/0.985)(28.22/0.984)(32.24/0.992)(32.92/0.994)(PSNR/SSIM)压缩图像扭曲GPSrAMP3DNSRSSLR(21.89/0.908)(18.34/0.841)(23.90/0.943)(24.92/0.956)(24.94/0.956)HSCNNISTA-NetAutoencoder拟议数D提议I地面实况(27.30/0.977)(28.82/0.983)(26.75/0.972)(32.70/0.993)(33.60/0.995)(PSNR/SSIM)图5.视觉质量比较。括号中显示了结果图像的PSNR和SSIM。我们的方法在空间和光谱精度方面优于所有竞争对手的方法。在所有的结果中,由所提出的方法重建的光谱更接近参考。重建光谱的叠加SAM值进一步证明了所提出的光谱恢复方法的优越性能计算复杂性。计算的复杂性是成比例的乘法在解决方程的数量。(8)[25]。在我们的方法中,高光谱图像先验网络的乘法总数为约为M×N×105。相比之下,例如,GPSR方法采用稀疏编码技术来求解Eq. 其乘法约为M×N×107一个2×过完备的字典此外,我们记录了重建一幅尺寸为512×512×31的高光谱图像的运行时间,如表1所示。所有代码都在Intel Core i7-6800K CPU不进行具体的并行操作和代码优化所提出的方法与ISTA- Net相当,并且比其他方法快得多.5. 一个实际CASSI系统的实验在这一部分中,我们在实际的硬件系统上进行了实验,以证明我们的系统的实用性.为此,我们构建了一个CASSI系统的原型,8040Twist 3DNSR重建光谱扭曲GPSrAMP3DNSRSSLRHSCNNISTA-NetAutoencoder拟议数D提议I(一)0.0400.1440.1060.1010.0520.0350.0270.0270.0260.016(b)第(1)款0.0770.2260.0900.0540.0930.0690.0630.0710.0510.026图6.光谱精度比较。这些点在图5中示出。与其他方法相比,本文方法重建的光谱更接近参考光谱。SAM数进一步证明了我们的方法在光谱重建上的优越性。我们的自动编码器图7.在实际CASSI系统上的实验结果。所选波段的中心波长为632nm。我们的方法可以实现更清晰的空间细节的结果。如图1所示。该系统由16mm物镜(AZURE 1614)、编码光阑、中继镜(Edmund 45762)、色散棱镜和探测器组成。 的探测器为Point Grey FL 3-U3- 13 Y3 M,像素间距为4.9um,总像素为1280×1080。编码孔径是在石英片上用铬蚀刻法制作的随机二值图形,像素间距为9.8 μm。编码孔径上的像素对应于两个-探测器上的两个像素。 色散棱镜是人-0.60.50.40.30.20.10450500 550 600 650波长由上海光学制造,产生从450 nm到650 nm的26像素的放大器。我们按照[18]中的原理对原型进行了标定,以获得系统的光学特性。为了处理我们原型中的真实场景,我们通过组合来自这三个数据集的高光谱图像来重新训练网络。训练数据进一步增加了尺度不变性[42]。我们使用建议D的配置来训练网络以进行实际实验。图7显示了我们的方法与TwIST、3DNSR和Au- toencoder一起重建的一个通道的图像可以看出,所提出的方法可以产生更好的结果,具有更少的伪影和更清晰的轮廓。与其他方法相比。此外,我们在图7中的颜色检查器中选择一个补丁(由),并在图8中绘制光谱特征。参考用商业分光计获得光谱。我们的方法的频谱是最接近的参考和相应的RMSE也验证了我们的方法的优越性能。6. 结论我们提出了一种新的高光谱图像重建方法,它优于目前的最先进的方法。在我们的方法中有两个关键步骤:(1)我们图8.在图1中的所选贴片上的重建光谱图7(由RMSE指示)和相应的RMSE。我们的方法可以实现较小的光谱误差的结果。学习一种新的数据驱动先验,其将优化问题正规化以利用空间-光谱相关性;(2)我们将正则化器与优化启发的网络相结合,以实现端到端训练。我们的重建方法也降低了计算成本。我们还建立了一个原型系统,以验证所提出的方法的有效性。一个未来的兴趣方向是将所提出的方法扩展到其他高光谱图像处理问题,例如,高光谱插值和去马赛克。另一个方向是进一步加速所提出的方法以达到实时重建,从而能够以视频帧速率获取高光谱图像。致谢这 项 工 作 得 到 了 中 国 国 家 自 然 科 学 基 金(61425013,61701025和61672096),韩国NRF基金(2019R1A2C3007229,2013M3A6A6073718 ) 和 跨 部 门 Giga KOREA 项 目(GK17P0200)。⊗参考扭曲:0.1033DNSR:0.097自动编码器:0.050我们的:0.0338041引用[1] D. J. Brady,光学成像和光谱学。John Wiley Sons,2009年。1[2] M. Borengasser,W.S. Hungate和R.Watkins,超光谱遥感:原则和应用。CRC Press,2007. 1[3] J. Solomon和B.罗克,228,不。4704,pp.1147-1152,1985。1[4] M. H. 金,T. A. Harvey,D. S. Kittle,H. 拉什迈尔,多尔西河O. Prum和D. J.Brady,号31第4页。38:1-38:11,2012. 1[5] H. Van Nguyen,A. Banerjee和R. Chellappa,44-51. 1[6] Z. 潘湾,澳-地希利,M。Prasad和B.Tromberg,号25第12页。1552- 1560,2003年。1[7] J. James,光谱仪设计基础。剑桥大学出版社,2007年。1[8] X. Cao,T.Yue、X.Lin,S.Lin,X.元角,加-地戴湖,澳-地卡琳,D. J. Brady,“计算快照多光谱相机:朝向光谱世界的动态捕获”,IEEE信号处理杂志,第33卷,第103号。第5页。95-108,2016。1[9] X. Lin,Y.刘,J.Wu和Q.Dai,“Spatial-spectral encodedcompressive hyperspectral imaging,”ACM Transactionson on Graphics,vol.33,no. 6,第233页,2014年。1[10] H. Du,X. Tong, X. Cao和S. Lin,175182. 1[11] Y. Y. Schechner和S. K. Nayar,“广义镶嵌:宽视场多光谱 成 像 , ”IEEE Transactions Pattern Analysis andMachine Intelligence,vol.24,no.第10页。1334-1348,2002. 1[12] S.- H.白岛Kim,D. Gutierrez和M. H. Kim,“Compactsingle-shot hyperspectral imaging using a prism” ,ACMTransactions on on Graphics,vol.36,no. 6,第217页,2017年。1[13] D. L. Donoho,“Compressed sensing,”IEEE Transactionson Information Theory,vol. 52,no.第4页。1289-1306,2006。1[14] G. Arce,D.布雷迪湖Carin,H. Arguello和D. Kittle,“压缩编码孔径光谱成像:介绍”,IEEE信号处理杂志,第31卷,第101 - 107页。第1页。105-115,2014. 1[15] D. Kittle,K.Choi,A.Wagadarikar和D.J. Brady,“编码孔径快照光谱成像仪的多帧图像估计”,OSA应用光学,第49卷,第100号。第36页。6824- 6833,2010。一、二、六[16] L. Wang,Z.Xiong,中国山杨D.Gao,G.Shi和F.Wu,“用于编码孔径快照光谱成像的双相机设计”,OSA应用光学,第54卷,第110号。第4页。848-858,2015。1[17] L. Wang, Z. Xiong,中国山杨D. Gao,G.施,W。Zeng和F. Wu,4942-4950. 1[18] A.瓦加达里卡尔河约翰河Willett和D. Brady,“编码孔径快照光谱成像的单色散器设计”,OSA应用光学,第47卷,第103 - 104号。第10页。B44-B51,2008年。一、二、六、八[19] L. Wang, Z. Xiong,G. Shi,F. Wu ,和W. Zeng,“Adaptive nonlocal sparse representation for dual-cameracompressive hyperspectral imaging”,IEEE TransactionsPattern Analysis and Machine Intelligence,vol.39,no.第10页。2104-2111,2017年。一、二、六[20] Y.傅,Y。郑岛Sato和Y. Sato,3727-3736. 一、二、六[21] K. Gregor和Y. LeCun,Omnipress,2010,pp. 399-406.一、二[22] J.孙,H. Li,Z. Xu等人,10-18. 一、二[23] J.Zhang和B. Ghanem,“Ista-net:可解释的优化启发的深度网络图像压缩感知,“在IEEE计算机视觉和Pattern识别会议,2018年6月,pp. 1828-1837. 一、二、六[24] K. Zhang,W.Zuo,S.Gu和L.Zhang,2808- 2817 一、二[25] I. Choi, D. S.全湾 ,澳-地南 ,D. Gutierrez 和M. H.Kim,“High-quality hyperspectral reconstruction using aspectralprior , ”ACMTransactionsonGraphics(SIGGRAPH Asia),vol.36,no. 6,第218页,2017年。二五六七[26] J. Tan,Y. Ma,H. Rueda、D. Baron和G. R. Arce,“通过近似消息传递的压缩高光谱成像”,IEEE信号处理选定主题杂志,第10卷,第101号。第2页。389-401,2016年。二、六[27] A. Rajwade , D. Kittle , T. H. Tsai 、 D. Brady 和 L.Carin,“编码高光谱成像和盲压缩传感”,SIAM Journalon Imaging Sciences,第6卷,第2006 - 2007年。第2页。782-812,2013年。2[28] Y. Liu,X. Yuan,J. Suo,D. Brady和Q。Dai,2[29] Y.LeCun , Y.Bengio 和 G.Hinton , “Deeplearning,”Nature,vol. 521,no. 7553,第436页,2015年。2[30] K. 他,X。Zhang,S.Ren和J.Sun,770-778. 二、四8042[31] K. 库尔卡尼山Lohit,P.图拉加河Kerviche和A.Ashok,“Reconnet:从压缩感知测量中进行图像的非迭代重建”,IEEE计算机视觉和模式识别会议,2016年,第113页。四四九458. 2[32] M. 伊利亚迪斯湖Spinoulas和A.K. Katsaggelos,2018年9月18日。2[33] Z. Xiong,Z.Shi,H.利湖,澳-地Wang,中国山杨D.Liu和F.Wu,二、五、六[34] S. Roth和M. J. Black,“专家领域”,《国际计算机视觉杂志》,第82卷,第100期。2,第205页,2009年。3[35] B. 林 , S 。 儿 子 , H 。 Kim , S. 不 还 有 K M. Lee ,“Enhanced deep residual networks for single image super-resolution” , IEEE conference on computer vision andpattern recognition workshops,vol. 1,no. 2017年2月,p.4. 4[36] X. Glorot和Y. Bengio,249-256. 5[37] B. Arad和O. Ben-Shahar,19-34. 5[38] A. Chakrabarti和T. Zickler,193-200. 5[39] L. Wang,T. Zhang, Y. Fu和H. Huang,“超级侦察:压缩超光谱成像的联合编码孔径优化和图像重建”,IEEE图像处理学报,第号28第5页。22575[40] Z. Wang , 中 国 山 核 桃 A. Bovik , H. Sheikh 和 E.Simoncelli,号13第4页。600-612,2004. 6[41] F. A. Kruse , A. B. Lefkoff , J. W. Boardman , K. B.Heide- brecht , A.T. Shapiro , P.J. Barnard 和 A.F. H.Goetz,44号不行第2-3页。1456[42] K. Simonyan和A. Zisserman,8
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- zigbee-cluster-library-specification
- JSBSim Reference Manual
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功