没有合适的资源?快使用搜索试试~ 我知道了~
1联合学习的高光谱成像波段选择和滤波器阵列设计柯力1戴登新2吕克·范古尔1,31CVL,ETH Zurich,2MPI for Informatics,3PSI,KU Leuven{ke.li,vangool} @ vision.ee.ethz.ch,ddai@mpi-inf.mpg.de摘要单次拍摄的多光谱相机配备了一个优化的彩色滤光片阵列(CFA)有可能提供一个快速和低成本的高光谱(HS)成像系统。先前的解决方案在很大程度上局限于设计用于固定CFA的解调算法-由于采样和重建是紧密耦合的,搜索最优解的能力受到严重限制,通过使用预定义的CFA。在这项工作中,我们同时解决了问题的光谱波段选择,CFA设计,图像去马赛克,和光谱图像恢复在一个联合学习框架单次拍摄HS成像。我们提出了一种基于强化学习(RL)的光谱波段选择方法和一种新的神经网络CFA生成,图像去马赛克,HS图像恢复。最终的频谱重建精度用于监督主网络的训练,以最大限度地提高这些紧密相关的任务之间的协同作用。RL方法将主网络视为收集奖励的代理。我们的最终方法提供了一个简单的设置-实验结果表明,我们的方法优于竞争的方法由一个很大的利润。1. 介绍高光谱(HS)成像在电磁频谱的许多小间隔与标准RGB成像相比,它具有很大的优势,可用于研究大范围感兴趣目标对象的光谱特征[40,19,18,49,68],如身体组织,作物,水果,种子和药物。鉴于这一优势,人们可以很容易地预测,HS图像与现代深度神经网络的结合可以充分释放HS图像在许多应用中的潜力[58]。然而,这种情况还没有发生,而且可能不会很快发生。主要障碍是难以获得HS图像,查询HS图像仍然比获取RGB图像困难得多仍然没有相机可以以高帧率记录高空间分辨率的HS图像。相机的折衷设置-高光谱,但低空间分辨率-越来越普遍。但它们仍然很贵。在文献中有许多尝试来解决这个问题,包括使用优化照明[53,12],去干扰混合相机系统[41,61],探索数字光处理(DLP)投影仪[22],以及使用随机印刷掩模[67]。然而,这些方法都需要额外的设备。与我们最相关的作品是1) 从RGB图像恢复HS图像[50,16,52,4],以及2)从低分辨率(LR)HS图像估计高分辨率(HR)HS图像[27,34,33]。 虽然现在计算机视觉领域中HS图像估计的大多数研究注意力都集中在这两个研究流上,但我们发现它们的设置是次优的,可以显着改进。对于 基 于 RGB 图 像 的 方 法 , 滤 色 器 和 滤 色 器 阵 列(CFA)都是预定义的,并且更重要的是,它们不是为了HS图像恢复的目的而设计的基于LR HS图像的方法还假设预定义的CFA图案我们认为滤波器的波段选择、CFA设计、去马赛克和HS图像恢复应该共同学习.这些任务是紧密耦合的,因此将它们分开处理严重限制了达到最佳解决方案的能力。在这项工作中,我们提出了一种新的方法来共同学习所有这些相关的任务。具体来说,我们回顾图像采样和波段优化,并将其与HS图像恢复一起优化。首先,我们的方法不是使用三个固定的宽带滤波器或一组固定的窄带滤波器,而是从一组大的宽带滤波器中选择滤波器。此设置有两个优点:1)使用正确的滤波器和使用正确数量的滤波器可以让我们找到空间和光谱分辨率之间的最佳平衡,以最大限度地提高HS图像恢复的性能;2) 与窄带滤光片相比,宽带滤光片具有更高的透光效率,这意味着较少的成像63846385××噪声和更高的帧速率(更少的曝光时间)。为此,我们设计了一种强化学习(RL)方法其次,我们开发了一种新的网络,学习优化CFA模式与图像去马赛克和HS图像恢复。有三个子网络,每个任务一个,它们以端到端的方式一起训练。CFA模式生成网络通过将CFA网格的位置编码和我们的RL方法的波段选择结果作为输入来然后使用CFA来获得图像测量。由于我们的CFA是优化方法的结果,因此不同波段的测量可以具有不同的密度和不同的分布模式。这给图像去马赛克带来了很大的挑战。我们提出了一种新的解决方案,利用稀疏卷积和局部隐式图像函数的力量。这种新颖的图像去马赛克网络提供了高度的灵活性-据我们所知,这是第一个提供这种灵活性的去马赛克方法。最后,我们使用空间光谱先验网络将去马赛克的多光谱(MS)图像转换为最终的HS图像,并使用图像恢复损失来指导这三个(子)网络的训练。给定一组滤波器和CFA尺寸,我们的方法自动找到有用的滤波器,确定它们在CFA中的出现频率,优化CFA图案,并使用相应的图像测量最小化HS重建误差。我们的方法产生了高质量的HS重建,大大优于以前的方法。2. 相关工作波段选择。多光谱滤波器阵列(MSFA)由于具有设计简单、成本低、可移植性强、精度高等优点,近年来引起了学术界和工业界的极大兴趣。因此,有相当多的研究关于它的设计[25][38][31][23][55][45][43][44]. 已经有工作选择光谱带,以提高最终任务的性能[30,21,54,57,3,17]。选择可以通过使用诸如波段之间的互信息之类的技术来[21]或通过目视检查结果[26]。考虑到深度学习现在是一种强大的方法,并且已经显示出光谱波段选择的潜力[48,46,17],我们决定使用它来解决我们的波段选择问题。CFA Design. 在拜耳的工作之后,多年来已经提出了各种新的CFA设计策略[25,39,9]。与我们最接近的工作是Chakrabarti[8]提出的方法,该方法使用CNN架构从四种预定义的颜色设计CFA,同时联合训练去马赛克方法。虽然精神相似,但我们的工作差别很大。首先,我们考虑大量的带。这增加了CFA优化和去马赛克的难度。因此,必须设计新的算法。其次,我们解决了HS图像恢复与稀疏MS测量,这是更难的任务。RGB相机CFA设计的进步激发了人们对MS相机CFA设计的极大兴趣[55,45,43,44,1,24,38,47,15,6,63,56]。早期的作品是Ra-马纳斯等人提出了一个CFA图案,它由七个条带组成,它们呈六边形排列[55]。CFA设计的第一种通用方法是由Miao等人开发的,其中采用二叉树和棋盘图案来排列带通滤波器[45][44]。这项工作广泛讨论了MSFA设计的要求,并在他们的方法中仔细解决了这些问题。然而,他们没有考虑频带选择和MSFA设计和图像去马赛克的联合训练。许多以前的作品手动确定频带的数量,并以非常简单的方式排列滤波器。例如,[7]提出了在400-700 nm范围内具有6个条带的MSFA,这些条带排列在3 ×2moxels中。[1]评估了4波段滤波器阵列的4种可能模式。[38]提出了一种MSFA,其中16个带通滤波器排列在4 × 4moxels中,其中15个用于可见光,1个用于近红外。 我们建议读者阅读Lapray等人的这篇优秀论文。[31]进行更全面的调查。高光谱图像超分辨率。HSI SR有三种设置:1)仅来自RGB的HS图像SR[50,16,52,4]; 2)来自LR HS图像的[28,34,33]; 3)来自LR HS图像和HR RGB图像的HS图像SR [64,27]。虽然这些方法不断使用最新的学习方法,但它们在很大程度上忽略了图像采样问题。换句话说,波段选择和这些波段的空间分辨率尚未被研究或优化,即使它们可以在HS图像SR中发挥重要作用。HS图像SR从RGB图像,年龄提供了最简单的设置。然而,由于商业RGB相机被调谐为模仿人类三色感知,因此它们的光谱响应函数对于HS图像重建不是最佳因此,Nie et al.已经验证了深度学习过滤器在RGB相机上的优势,用于HS成像[51]。Sun等人。[59]已经学会了将IR截止滤波器放置在RGB相机的镜头前,以更好地捕获光谱信号。来自LR HS图像的HS图像SR或使用HR RGB图像和LR HS图像的基于融合的方法已经获得了相当多的研究关注,其中包括3D卷积网络[42][34],具有共享参数的分组卷积[36][27][33]和融合网络[64]。去马赛克去马赛克已经是一个成熟的领域,提出了许多伟大的作品[23,29,35,47,15,6,5]。一般的思想是使用稀疏位置处的测量信号来填充相邻位置处的缺失值。6386∈∈∈GGGGGGG×联系我们||G GGMM∈ {}| M|联系我们GG2地点这也可以通过利用跨光谱带的依赖性来完成。测量的信号通常被假设为均匀分布在2D网格上。我们的新的去马赛克方法可以处理大量的波段,任意分布模式,不同的测量密度在不同的波段。3. 方法尽管在去马赛克和超分辨率算法的开发方面有相当多的文献,但据我们所知,对于光谱(彩色)波段选择和CFA设计/优化所做的工作明显较少[43]此外,几乎所有的讨论都是为了HS图像重建。在这项工作中,我们共同学习多个颜色过滤器这需要做出一个艰难的决定,在每个像素上使用一组离散的彩色滤光片中的一个,以及执行去马赛克和光谱恢复的神经网络。总之,这些能够恢复高质量的HS图像。我们的主要网络的管道如图所示。1.一、3.1. 问题定义我们将该任务公式化为从测量的传感器图像X,X(n)重建HS图像Y,Y(n)R K的任务。R,其中n=(u,v)Z2是像素位置的索引,K是光谱带的总数.除了这个HS重建任务,我们还需要学习光谱滤色器的模式,该模式确定每个X(n)对应的光谱颜色通道。光谱颜色通道通过在像素传感器上放置滤色器来实现。 对于每个像素,其滤波器是从一组固定的C滤波器中选择的。在这项工作中,我们选择使用流行的宽带滤波器,如红色,黄色和青色,而不是窄带滤波器(通常10 nm - 40 nm宽)。做出这种选择是因为1)宽带滤波器可以以低成本容易地物理创建,并且它们已经广泛可用;以及2)宽滤光器具有更好的光透射效率,这意味着更少的成像噪声和更高的帧速率。我们在RC中使用I,I(n)来表示对应于这些颜色通道中的每一个的强度测量,并且二元选择图、(个)0,1C,(n)=1以编码颜色(光谱)滤波器阵列(CFA)图案。相应的传感器测量结果则由X(n)=M(n)TI(n)给出。为了使滤波器阵列设计直观可行,我们遵循现有文献(例如Bayer模式)并假设M周期性地重复利用将相应的测量值X映射到完整的HS图像Y的重建算法。首先,我们提出了一种基于强化学习的波段选择方法b为了学习出现次数h(c),C1、…C对于M ′中的每个C颜色滤波器,其中h(c)0,1,.,m2和h=m2。此外,我们还开发了一个网络s生成M<$,它使用h作为引导。 一旦得到M′,我们就将输入I映射到测量X。s的可学习参数编码学习的C F A模式M<$。第三,设计了一个非对称的去马赛克网络-工作d,输出所有测量MS频道然后将那些去马赛克的MS图像馈送到光谱恢复网络r中以恢复完整的HS图像Y。请参考图1,了解这些元件的视觉表示。我们一起训练s、d和r,分别针对HS重建损失和施加在M上的损失,以遵守频带选择结果h。通过将其他三个网络视为其代理来训练频带选择网络b以计算奖励(HS图像再加工精度),以便采取动作(对h的修改)。3.2. CFA模式生成CFA 模 式 生 成 网 络 是 一 个 小 型 卷 积 神 经 网 络(CNN),它将大小为m m像素的窗口中每个像素的空间信息作为输入网络的输出是0 - 1选择,面具M′。空间信息是通过使用2D位置嵌入方法已被用于视觉转换器[14]。具体来说,学习两组嵌入,每组用于一个轴。这导致X嵌入和Y嵌入。我们将这两个嵌入连接起来以获得像素的最终位置嵌入。关键的挑战在于生成最佳CFA模式掩模M¯,因为它需要学习Cm可能性之间的硬不可使…为此,我们采用Chakrabarti[8]提出的方法,将温度参数τ添加到软最大值函数:M<$(n)=Soft-max[τtf(n)],(1)其中t是训练迭代,f是soft-max函数的特征输入。温度参数τ随着训练迭代次数的增加而增加。 因此,分布-可以将M(n)的值有效地推到零,并且可以将1推到-由于t的增加。这种特殊的设计确保了CFA模式可以通过SGD更新,同时也可以转向做出艰难的选择。我们用二次函数每个m个像素,因此M<$∈{0,1}m×m×C。作为在[8]中提出的时间表,以增加τt。例如,对于RGB,拜耳模式具有m=2和C=3这里使用周期性填充作为M<$定期使用图像恢复给定由C通道输入MS图像I和对应的K通道输出HSim组成的训练集,以生成M。网络s是用两个损失训练的-一个是基于通过r(Sec.3.3),另一个是来自总人数年龄Y,目标是共同学习CFA模式MM中每个带的外观如h(c)所示(第二节)。6387⌊⌋×P...ΣPΣmS1。. 好吧光学测量计算重建图1:我们的方法概述:左为通过学习的CFA对单色图像马赛克X进行的光学测量M,右示出了通过MS解采样网络Gd和频谱恢复网络Gr的重构。第3.4段)。 对于波段选择损耗,我们有两个要求:3.3.1稀疏隐式去马赛克1)通过掩码M'选择的频带的频率应该是与所需的频带频率h一致; 2)在整个图像上重复M¯er应导致采样策略,即在整个图像上尽可能均匀地对所有频带进行整个图像。第二个约束在文献中被称为空间均匀性[21]。因此,我们在整个掩模M上而不是在图案掩模M′上定义CFA图案损失。具体地说,我们密集地采样大小为m的斑块m(与M<$的大小相同),步幅为m/2。这将导致P个贴片的总数M?。然后将CF A模式损失定义为:2L=M(n)−h2。(二)p=1n=1由于块M?是以小于m的stride密集采样的,因此一些块驻留在多个相邻CFA掩码上,但我们仍然强制它们与h一致,使得该单个损失同时满足两个要求。在训练过程中,我们使用等式(1)生成相应的X(n)向量1以上,然后该层输出传感器测量的基础上的C通道输入I(n)为X(n)=M(n)TI(n)。一旦训练完成,我们将M(n)替换为它的0 - 1版本,即对于c=arg maxcfc(n),M(n)c=1,否则为03.3. 去马赛克和光谱恢复最近基于深度学习的方法将CNN应用于图像马赛克[23]以恢复密集图像。这些展开方法有两个问题:图像镶嵌是稀疏的,这使得标准卷积成为次优选择,因为空间依赖性将包括来自这些无信息区域的虚假信息,并且计算能力被浪费在无信息区域上。当单色图像马赛克中有许多颜色带时,这个问题尤其严重-每个带的子马赛克是稀疏的。另一个问题是标准卷积中的共享滤波器具有固定的大小。当不同的子马赛克具有非常不同的稀疏性水平时,这是一个实际上,当输入频带的数量很大时,并且当马赛克图案由优化算法生成时,就像我们的情况一样为了解决所有这些问题,我们提出了一种新的稀疏隐式去马赛克网络建立在稀疏卷积,隐式图像函数和分组网络。具体而言,我们使用高效的Minkowski卷积[13]和为图像超分辨率任务开发的隐式图像函数的扩展[11]。下面,我们首先介绍我们的方法为一个单一的通道,然后其扩展为多个输入通道。稀疏特征编码。为了处理单色图像马赛克X,我们首先需要将其提升为C个子马赛克Xc:.X(n)如果MC(n)=1,给定传感器测量图像,即单色图像拼接X,我们需要执行两个任务:Xc(n)=0否则。(三)镶嵌以填充每个C的缺失值宽的颜色通道,并转换致密的C通道MS图像所需的K通道HS图像。因此,我们将任务分解为空间重建子任务和光谱重建子任务,并设计了相应的子任务。网络为他们服务。对于稀疏卷积,稀疏张量T表示为坐标矩阵N和特征矩阵Z:u1v1z1N=, Z=,(4)uJvJzJMS图像CFA测量亚马赛克去马赛克网去马赛克图像光谱恢复网络保存的HS图像位置特征传感网CFA6388××∈联系我们尺寸这可以被视为u,vMc(u,v)潜码111c∥n−nt∥∈Σ∈其中,nj=(uj,vj)是像素坐标,zjRQ是对应的特征向量。请注意,对于像素坐标,我们可以互换使用n和(u,v)。作为输入,通过收集其有效像素的位置作为坐标和强度值作为特征来稀疏化大小为U V1的子马赛克Xc一旦输入子马赛克图像Xc被稀疏化,其信息通 过一 系列稀 疏残 差块( SRB )被 编码 。根据Guizilini等人的设计,[20]中,每个SRB由三个并行分支组成但是,我们删除了最大池层,以在所有特征级别保持相同的分辨率三个分支的输出加在一起形成下一个SRB的输入。我们总共使用四个SRB。最后一个SRB的输出特征被映射回2D图像平面:将它们连接起来以形成最终的C通道去马赛克图像RU×V×C。 我们现在为我们的MS图像测量提供了完整的演示方法。备注。由于我们的稀疏编码和密集图像解码通过隐式图像函数的伟大的属性,我们的方法是能够处理大量的颜色通道,即使当他们的测量密度是不同的,不同波段的马赛克模式是不同的,和测量是不均匀的2D图像域上的据我们所知,这是第一个可以提供这种灵活性的深度网络方法。注意,RGB图像超分辨率的局部隐式函数[11]假设测量是均匀间隔的。因此,该方法可以直接使用标准CNN进行特征提取。此外,它只处理具有更少波段的RGB图像。因此,虽然我们的工作是建立在这一出色的工作,Zc(u,v)=z(u,v)如果Mc(u,v)=1,0否则。(五)我们的贡献是巨大的。密集图像解码。然后我们使用本地图像IM-隐式函数对特征图Z c进行解码,以获得密集图像X<$c。根据[11],我们将解码函数fθ参数化为MLP,其采用以下形式:X<$c(n)=fθ(zc(n′),n−n′),(6)其中zc(n′)是Zc中距离n最近的潜在码。其 思 想 是 将 连 续 图 像 表 示 为 2D 特 征 映 射Zc∈RU×V×D,其中D是特征di,3.3.2光谱恢复Givendemo结果X<$RU×V×C,本节的目标是将此C波段MS图像转换为所需的K波段HS图像Y。为此,我们采用空间光谱先验网络[28]。我们使用该网络来学习光谱变换,因为X和Y具有相同的空间分辨率。为了捕获恢复的HS图像的空间和光谱相关性,我们遵循[28]并结合L1损失和空间-光谱总变差(SSTV)损失[2]。 SSTV是用来鼓励顺利的结果在这两个‘sparsely’ spread in the 2D domain, as indicated by the阳离子的一个在Mc。这个函数fθ由所有图像共享。空间域和谱域,并且其被定义为:N正如[11]所指出的,直接使用方程6可以导致对于“边界”像素的不连续预测1LSSTV=Σ(||刘延||+的||刘延||+的||金延||),(8)最近的潜在码zc(n′)的选择进行切换。我们遵循[11]的一般思想,并通过使用局部系综来解决这个问题,使得等式6扩展为:其中,分别沿水平、垂直和频谱方向计算梯度。重建损失是:t=1,2,3,41′2.fθ(zc(n′t),n−n′t)Lr=L1+ LSSTV。(九)X(n)=1、t=1,2,3,4<$n−n′t<$2注意,所有描述的子网络,包括CFA模式生成,分组去马赛克和频谱重。其中zc(n′t)(t1,2,3,4)是查询位置n的4个最近的潜在代码。分组去马赛克。到目前为止,我们已经有了一种针对单个图像通道的去马赛克方法。在提供灵活的去马赛克算法之前,我们面临的另一个挑战是处理大量的颜色波段。为了解决这个问题,我们使用组大小为1的分组卷积的想法,即每个波段都是一个组。这意味着我们在所有波段上共享相同的稀疏特征编码网络和相同的密集图像解码网络。我们生成加密图像X<$c,c=[0,1,...,C]对于所有带,然后.Nn=1(七)6389细化是同一网络的一部分,它们可以以端到端的方式一起训练。因此,在将CFA模式损失包括在等式中之后,2、整体亏损是L=Lr+ λLs。(十)我们使用λ=10,因为Ls通常远小于Lr。3.4. 基于RL的频带选择如第3.1,我们需要确定C个预定义波段中的每一个应该6390GGvGG×××联系我们G G联系我们||××对于CFA的大小为m2。该外观直方图由h表示。在本节中,我们提出了一种基于强化学习(RL)的方法Gb来完成这项任务。解决方案空间。 如果h满足以下约束条件,则它是有效的提议:h(c)0,1,.,m2和h= m2。行动上我们将动作定义为对h的修改:ht+1(c)=ht(c)+hstec(c),其中hstec(c)是从1,0,1中随机采样的数字,t表示RL方法的优化步骤。在进行修改之后,我们将ht+1(c)截断为[0,m2]。 如果过滤器的总数不是m2,我们需要删除或添加过滤器,直到达到m2。如果有更少,我们一个接一个地添加随机选择的波段。否则,我们逐个删除随机选择的具有非零滤波器的滤波器。价值函数。网络的最终谱重建性能ρ,即S的组合,d和r,是我们的RL方法最大化的奖励。我们训练一个小的神经网络v,通过对收集的所有训练对(h,ρ)进行训练来逼近这个值函数。随着时间Epsilon-Greedy算法我们使用了一个简单的Epperiment-Greedy算法进行搜索。Epsilon-Greedy是一种简单的平衡勘探和开采的方法,通过在勘探和开采之间进行随机选择。在小概率情况下,我们提出了一个完全随机的ht+1。否则,我们使用在每一步t执行我们的值函数t认为最好的动作所产生的h t +1。请注意,有效动作的总数非常大,因此我们使用值函数在每次迭代中从30个建议动作中选择最佳动作每次神经网络用n wt+1训练并得到评估,我们就有了v的一个训练样本,然后用新的训练集重新训练,以获得更好的值函数逼近。我们训练RL方法,长度为T的序列。补充材料中给出了滤波器的网络结构和光谱灵敏度4. 实验4.1. 实验装置数据集。两个公共数据集,CAVE数据集[65]和哈佛数据集[10],用于评估我们的方法。CAVE数据集包括512 512像素的32幅图像。这些图像在10 nm的步长下具有范围从400至700 nm的31个谱带它们被分成两部分:20张用于训练的图像和12张用于测试的图像。至于哈佛数据集,总共有50张1392 × 1040像素的图像。图像包含31个波段,但范围从420 nm到720 nm。我们使用40张图像进行训练,10张用于测试。对于这两个数据集,训练补丁大小设置为128 × 128像素,步幅为64像素。对于CAVE,我们将数据值除以65536以将它们映射到[0,1]。在哈佛,我们把所有数据值乘以20,以大致将它们映射到相同的范围。评估采用了评估所有方法的性能。它们是互相关(CC)[37]、光谱样本映射器(SAM)[66]、均方根误差(RMSE)、相 对 全 局 合成误 差 ( ERGAS ) [60]、 峰 值 信 噪 比(PSNR)和结构相似性(SSIM)[62]。参数 MS输入频带的数量C被设置为12个。 我们使用了12种常用的宽带滤光片:近红外(N)、暗红色(DR )、浅红色(LR)、橙色(O)、绿色(G)、明视(P)、浅绿色(LG)、青色(C)、绿蓝色(GB)、吸收可见光(AV)、蓝色(B)和靛蓝(I)。 从midopt数据库1下载滤波器的响应函数。我们将在补充材料中提供详细数据请注意,这12个过滤器绝不是最好的我们使用它们是因为它们是通用的、多样的,并且它们的响应功能是可用的。 由于两个HS数据集都提供了31个HS波段,因此我们为我们的方法设置K=31。我们的CFA的大小是8 8,即m=8。RL的训练序列长度设置为T=200。在RL方法中,n=0。05,PSNR用于第3.4节中的ρ。我们训练网络20个时期。 对于我们所有的网络,我们使用Adam优化器,初始学习率设置为0。0001 批量大小设置为8。训练在一个GTX TITAN X GPU上完成4.2. 与其他方法的我们比较了两种基于LRHS图像的最先进(SOTA)HS SR方法:SSPSR [28]和MCNet [34],一种基于RGB图 像 的SOTA HS SR 方 法 : AWAN 网 络 [32], 一 种SOTA RGB图像超分辨率方法LIIF [11],我们将其输入和输出尺寸从3改变为31以执行HS图像SR,以及一种SOTA RGB CFA去马赛克方法[23],我们将输出通道从3改变为31。由于有些方法不能直接用于我们的任务,我们计算它们的缩放率,以便它们使用与我们的方法相同的输入像素量。具体来说,对于我们的方法,输入像素的数量是输出像素的1/31因为所有方法的输出相同,即 对于K通道HS图像Y,我们使用1/31的比例来计算其他方法的输入大小。因此,对于SSPSR、MCNet和LIIF,它们的输入LRHS图像为5。6(310.5= 5。6)在每个2D空间维度上比输出HS图像小1/4。由于SSPSR和MCNet无法处理任意缩放,我们报告了缩放因子为4的性能。请注意,这为这两种方法提供了明显的优势。我们在表1中报告了主要结果。 可以发现,我们的方法显着优于所有其他比较方法,即使是一个很大的优势,SSPSR和MCNet。他们解决了一个更简单的超分辨率任务1midopt:https://midopt.com/filters/bandpass/6391×方法RMSE↓CC↑MPSNR↑MSSIM↑ERGAS↓SAM↓沪公网安备31010502000112号[34]0.01245 0.99283 42.25978 0.96465 3.56246 3.84976AWAN[32] 0.02814 0.93421 37.5632.3.84321 3.983422019年12月15日,第一季度,第一季度,第二季度,第三季度,第四2019年12月23日星期一我们的0.01146 0.99746 43.70456 1.02484 3.43840 3.45786沪公网安备31010502000114号[34]0.01405 0.96009 40.59229 0.92658 3.10529 2.59147AWAN[32] 0.02437 0.92285 36.45873 0.91432 4.74317 7.97364沪公网安备31011502000114号CFA-去马赛克[23]0.01467 0.99092 42.02315 0.95849 3.55324 3.12792我们的0.01219 0.99233 43.01718 0.98299 2.90819 2.81355表1:CAVE和Harvard数据集的结果。请注意,SSPSR和MCNet解决了一个更简单的任务,即求解A ×4SR任务而不是×5。六个一。(a) 双线性插值(b)去马赛克[23](c)我们的(d)地面实况图2:目视检查结果。光谱带5、15和25用作彩色图像的R、G和B通道,用于此可视化。最好在屏幕上看。而不是5 六个一。后者的难度与我们的任务大致相同。我们的方法的优越性是由于它的灵活性,以找到空间分辨率和光谱分辨率之间的平衡这种平衡的搜索是由最终光谱图像重新加工的性能驱动的。我们的方法优化了所有这些相关的子任务,而其他人只关注游戏的一部分,大多忽略了图像采样部分。这限制了他们找到最优解的能力。与[23]相比,我们的方法能够使用更大的过滤器集进行学习(12 vs. 3)并且能够处理更不规则和稀疏的CFA模式。这些都有助于其良好的性能。图中的视觉结果2进一步表明,该方法比其他方法能更准确地恢复光谱波段和空间结构。补充材料中显示了更多的视觉结果4.3. 消融研究我们进一步研究了我们方法中这些组件的贡献:滤波器组、滤波器出现频率预测、CFA学习和去马赛克方法。的光谱恢复网络是现有的、性能最好的HS SR网络,因此我们在这项工作中不会将其与其他替代网络进行比较。我们在CAVE数据集上进行消融研究的所有结果如表2所示。从表中可以得出一些见解。首先,可以看到使用大量滤波器(第3行)的非常基本的基线方法可以优于使用RGB滤波器和拜耳模式(第1行和第2行)的方法。这突出了RGB图像对于恢复HS图像不是最佳的事实第二,表格(第3行与第6排,第4排与第7行和第5行与行8)示出了对于每个谱带(频带频率)使用正确数量的滤波器是非常重要的。因此,我们专用的基于RL的波段选择方法是有用的和关键的。第三,它也可以从表中找到(第3行与第4行和第6行与第7行),我们的CFA方法是有效的,这表明更好地安排滤色器也很重要。最后,该表显示,当所有组件组合在一起时(第9行),我们的方法产生了最佳性能,表明所有提出的组件都很重要,端到端学习可以很好地协同它们。哈佛洞穴639215 1511 118 85 53 31 1(a) 波段:C(b) CFA:C(c)波段:H(d)CFA:H图3:测定的条带和CFA:C代表CAVE,H代表Harvard。表2:我们方法的组件消融。2{ R,G,B}我们的4我们的{1/12,1/12,.,1/126 Ours Ours随机4.4. 选择的波段和CFA在图3中,我们显示了通过我们的方法识别的12个过滤器的出现时间,以及通过我们的方法确定的相应CFA。结果与直觉一致,即某些过滤器确实比其他过滤器更重要被选择最多的过滤器是:暗红色、橙色、明视、青色和吸收可见光。它们跨越我们的目标HS图像所在的整个光谱范围;它们也是均匀间隔的,使得对于每个光谱区域都有高分辨率图像。该算法似乎它在空间分辨率和光谱分辨率之间取得了平衡最少选择的滤镜是近红外。这也是有意义的,因为其响应函数的大部分位于所考虑的光谱范围之外。学习的CFA表明,所有频带的滤波器是相当均匀分布的。这对于去马赛克算法是有益的。注意图中的结果。3c(a)和(b)并不完全一致。这是正常的,因为(b)是由(a)指导的优化结果,因此可能存在轻微的不一致性。从图中还可以发现,通过我们的方法识别的光谱带及其频率在两个数据集上高度一致,尽管它们不是相同的。CFA看起来很不一样。我们进一步研究所识别的条带和CFA是否可转移到不同的数据集。也就是说,确定的两个CFA在两个数据集上产生相似的性能。对于本实验,我们将在一个数据集上识别的波段和CFA应用于另一个数据集,其中我们只重新训练去马赛克和频谱恢复网络。我们的实验表明,我们得到了相同的性能(对于CAVE到Harvard,RMSE从0.01219变化到0.01224,对于Harvard到CAVE,RMSE从0.01146变化这意味着在一个数据集上找到的波段和CFA可以转移到其他数据集。5. 结论在这项工作中,我们开发了一种快速,低成本的高光谱(HS)成像系统的方法。该方法通过联合学习多个相关任务实现了最先进的性能:光谱波段选择,CFA优化,不规则测量的图像去马赛克和光谱恢复。我们已经为所有这些任务开发了专门的神经网络,它们可以联合训练,以避免次优解决方案。实验结果表明,该方法的性能明显优于其他方法为这种方法设计硬件原型是我们未来的工作。滤波器组频带频率CFA去马赛克HS回收RMSE↓1{ R,G,B}{ 0.25,0.5,0.25}拜耳我们双线性插值我们LIF[11]我们0.018840.016933我们的{1/12,1/12,.,1/12}随机我们的Bilinear Interpolation双线性插值我们的我们的0.017350.016775我们的{1/12,1/12,.,1/127我们的我们的8我们的我们的9我们的我们的我们的我们的随机我们的我们双线性插值我们我们我们的0.016230.014780.013220.013790.011466393引用[1] 赫曼特·库马尔·阿加瓦尔和安舒·马朱姆达尔.用于单传感器成像的多光谱去马赛克技术。在全国计算机视觉,模式识别,图像处理和图形会议(NCVPRIPG),2013年。[2] H. K. Aggarwal和A. 玛朱达尔 利用空谱全变分的高光谱图像去噪。IEEE Geoscience and RemoteSensing Letters,13(3):442[3] 波阿斯·阿拉德和阿哈德·本·沙哈。高光谱估计的滤波器选择。InICCV,2017.[4] Boaz Arad , Radu Rifte ,Ohad Ben-Shahar, Yi-Tun Lin和Graham D. Finlayson Ntire 2020对rgb图像光谱重建的挑战。在CVPRW,2020年。[5] Boaz Arad,Radu Jumfte,Rony Yahel,NimrodMorag , Amir Bernat , Yaqi Wu , Xun Wu ,Zhihao Fan , Chenjie Xia , Feng Zhang , ShuaiLiu , Yongqiang Li , Chaoyu Feng , Lei Lei ,Zhang Zhang , Kai Feng , Xun Zhang , JiaxinYao , Yongqiang Zhao , Suina Ma , Fan He ,Yangyang Dong,Shufang Yu,Difa Qiu,JinhuiLiu , Mengzhao Bi , Bebei Song , Wen- FangSun,Jiesi Zheng,Bowen Zhao,Yanpeng Cao,Jiangxin Yang , Yanlong Cao , Xiangyu Kong ,Jingbo Yu,Yuanyang Xue,and Zheng Xie. Ntire2022光谱去马赛克挑战和数据集。在CVPRW,2022年。[6] 卞立恒,王玉刚,张军。具有结构和自适应非局部去马赛克的通用msfa工程。IEEE Transactionson Image Processing,30:7867[7] 约翰内斯·布劳尔和蒂尔·阿赫。一种基于彩色滤光片阵列的多光谱相机。12分钟后工作坊Farb-bildverarbeitung. Ilmenau,2006年。[8] 艾扬·查克拉巴蒂通过反向传播学习传感器复用设计神经信息处理系统进展,2016。[9] Ayan Chakrabarti , William T. Freeman 和 ToddZickler。重新思考彩色相机在IEEE国际计算摄影会议(ICCP),2014年。[10] 阿扬·查克拉巴蒂和托德·齐克勒真实世界高光谱图像的统计见CVPR 2011,第193-200页。IEEE,2011年。[11] Yinbo Chen,Sifei Liu,and Xiaolong Wang. 用局部隐式图像函数学习连续图像表示。IEEE/CVF计算机视觉和模式识别会议,2021年。[12] 崔驰柳贤珍摩西本以斯拉优化宽波段照明的多光谱 成 像 。 International Journal of ComputerVision,86(2):140[13] ChristopherChoy , JunYoungGwak , SilvioSavarese. 4D时空卷积:Minkowski卷积神经网络。在IEEE计算机视觉和模式识别会议上,第3075[14] 阿列克谢·多索维茨基、卢卡斯·拜尔、亚历山大·科列斯尼科夫、德克·魏森伯恩、翟晓华、托马斯·翁特蒂纳、穆斯塔法·德赫加尼、马蒂亚斯·明德雷尔、格奥尔格·海戈德、西尔万·杰利、雅各布·乌斯兹科里特和尼尔·霍斯比。一张图片相当于16x16个单词:用于大规模图像识别的变压器2021年,在国际学术会议上发表[15] 冯凯,赵永强,陈祥伟,宋G.孔,张勋,王炳禄用于多光谱滤波器阵列图像去噪的镶嵌卷积-注意力 网 络 。 IEEE Transactions on ComputationalImaging,7:864[16] Y.傅氏T. Zhang, Y. Zheng,L.等,中国粘蝇D.Zhang和H.煌优化rgb制导的超光谱图像超分辨率。在CVPR,2019年。[17] Ying Fu , Tao Zhang , Yinqiang Zheng , DebingZhang,and Hua Huang.联合相机光谱响应选择和高光谱图像恢复。IEEE Trans- actions on PatternAnalysis and Machine Intelligence,44(1):256[18] 亚历山大·F·H戈茨地球高光谱遥感三十年:个人观点。环境遥感,113:S5[19] A.A. Gowen,C.P. Cullen,G.唐尼和J.M.弗里亚斯高光谱成像-
下载后可阅读完整内容,剩余1页未读,立即下载
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![docx](https://img-home.csdnimg.cn/images/20210720083331.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/default.jpg!1)
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
我的内容管理 收起
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
会员权益专享
最新资源
- 电力电子系统建模与控制入门
- SQL数据库基础入门:发展历程与关键概念
- DC/DC变换器动态建模与控制方法解析
- 市***专有云IaaS服务:云主机与数据库解决方案
- 紫鸟数据魔方:跨境电商选品神器,助力爆款打造
- 电力电子技术:DC-DC变换器动态模型与控制
- 视觉与实用并重:跨境电商产品开发的六重价值策略
- VB.NET三层架构下的数据库应用程序开发
- 跨境电商产品开发:关键词策略与用户痛点挖掘
- VC-MFC数据库编程技巧与实现
- 亚马逊新品开发策略:选品与市场研究
- 数据库基础知识:从数据到Visual FoxPro应用
- 计算机专业实习经验与项目总结
- Sparkle家族轻量级加密与哈希:提升IoT设备数据安全性
- SQL数据库期末考试精选题与答案解析
- H3C规模数据融合:技术探讨与应用案例解析
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)