相机光谱灵敏度联合选择与高光谱图像恢复

相机光谱灵敏度联合选择与高光谱图像恢复傅莹1[0000- 0002- 6677- 694X]，张涛 1[0000- 0002- 7358- 0603]，郑银强2[0000- 0001- 7434- 5069]、张德兵 3[0000- 0003- 4048- 0531]、黄华 1[0000- 0003-2587- 1702]1北京理工大学计算机科学与技术学院智能信息技术北京实验室，北京，1000812国立信息学研究所，东京，101-8430，日本中国北京市朝阳区深辉路3号，邮编抽象。从单幅RGB图像恢复高光谱图像（HSI）已引起广泛关注，其性能最近被证明是敏感的相机光谱灵敏度（CSS）。在本文中，我们提出了一种有效的基于卷积神经网络（CNN）的方法，该方法可以从候选数据集中联合选择最佳CSS，并学习映射以从使用该算法选择的相机捕获给定一个特定的CSS，我们首先提出了一个HSI恢复网络，它占的HSI的underlying特性，包括光谱非线性映射和空间相似性。之后，我们附加一个CSS选择层到恢复网络，最佳的CSS，从而可以自动确定，米从网络的权重下的非负稀疏约束。实验结果表明，我们的HSI恢复网络优于国家的最先进的方法，在定量指标和感知质量方面，选择层总是返回一个CSS一致的最好的一个确定的穷举搜索。关键词：相机光谱灵敏度选择，高光谱图像恢复，光谱非线性映射，空间相似性1介绍与普通全色图像和RGB图像相比，自然景物的高光谱图像（HSI）能有效地描述景物的光谱分布，提供景物的内在和可区分的光谱信息它已被证明有益于许多应用，包括分割[43]、分类[49]、异常检测[50]、面部识别[39]、文档分析[28]、食品检查[48]、监视[37]、地球观测[6]等。高光谱相机广泛用于HSI采集，其需要对每个场景点的连续波长带的光谱特征进行密集采样。这样的设备通常具有高成本并且往往遭受空间/时间分辨率的降级。2Ying Fu，Tao Zhang，Yinqiang Zheng，Debing Zhang，and HuaHuang最近，已经提出了一些方法[38，3，42，22]来从单个RGB图像直接由于从RGB到光谱的映射是三对多的，因此已经引入了一些先验知识。示例包括径向基函数网络映射[38]、基于K-SVD的稀疏编码[3]、约束稀疏编码[42]和基于流形的映射[22]。特别地，Jia等人。[22]公开了自然光谱的非线性特性，并表明适当设计非线性映射可以显着提高恢复精度。受这一观察的启发，我们提出了一种谱卷积神经网络（CNN）来更好地近似底层的非线性映射。与[38，3，22]中的逐像素操作相比，我们进一步提出通过适当设计的空间CNN更好地利用HSI中的空间相似性。此外，输入的RGB图像被用来指导HSI重建和残差学习被用来进一步保持我们的网络中的空间结构。实验结果表明，我们的恢复网络在定量指标和感知质量方面优于最先进的方法，并且光谱CNN模块和空间CNN模块都有助于这种性能提升。现有方法[38，3，42，22]主要集中在给定相机光谱灵敏度（CSS）函数下的HSI恢复，而[4]表明光谱恢复的质量对所使用的CSS敏感。例如，给定CSS数据集，最佳CSS选择可以将准确率提高33%，如[4]所在[4]中使用进化优化方法来选择最优CSS，而不是使用穷举搜索，这仍然需要多次训练恢复方法，导致时间复杂度很高。通过实验，我们已经发现，我们的基于CNN的恢复方法的性能是依赖于CSS以及。这促使我们开发一种基于CNN的CSS选择方法，该方法具有单一的训练过程，可以与我们的HSI恢复方法共同工作，并且具有较低的时间复杂度。在这项工作中，我们提出了一种新的CSS选择层，它可以自动确定最佳的CSS从网络权重下的非负稀疏约束。如图1所示，该滤波器选择层被附加到恢复网络，该恢复网络联合选择适当的CSS并从利用算法选择的CSS捕获的单个RGB图像学习用于HSI恢复的映射。实验结果表明，选择层总是给出一个CSS是一致的最好的一个确定的穷举搜索。与使用随意选择的CSS相比，通过该最佳CSS可以进一步提高光谱恢复精度。据我们所知，这项工作是第一个通过统一的基于CNN的框架将最佳CSS选择与HSI恢复集成在一起的工作，这提高了HSI恢复的保真度，并且具有更低的复杂性。我们的主要贡献是– 设计基于CNN的HSI恢复网络以考虑光谱非线性映射并利用图像平面域中的空间相似性;– 开发一个CSS选择层，以在对权重因子的非负稀疏约束的基础上检索最优CSS;联合CSS选择和HSI恢复3空间CNN光谱CNNCSS选择CNNHSI现场RGB图像最佳CSS选择选定通道HSI恢复输出.........CSS选择CNN空间CNN光谱CNN400nm700nm图1.一、概述所提出的方法，它结合了最佳的CSS选择和HSI恢复到一个统一的基于CNN的框架。首先联合学习这两个方面的参数然后，在所选择的最佳CSS下捕获RGB图像作为输入，并且通过使用HSI恢复网络来重建底层HSI。黑色箭头表示训练过程，红色箭头表示测试过程。– 共同确定最佳CSS并在单个训练过程中学习准确的HSI恢复2相关工作高光谱成像能有效地提供景物的光谱信息。为了获得HSI，广泛使用拂帚式和推帚式扫描系统[41，5]来逐点或逐线捕获场景。还使用具有不同滤波器[51，10，9]或特定照明[40，19]的RGB或单色相机来捕获HSI。但这些方法都是沿空间或光谱方向扫描，导致时间分辨率较低。为了捕获动态场景，开发了快照高光谱相机[14，16，15，8]以捕获全3D HSI，但它们牺牲了空间分辨率。为了实时获得高分辨率的HSI，已经提出了一些基于编码的高光谱成像方法，依赖于压缩感知（CS）理论。CASSI [17，44]采用具有色散器的编码孔径来将光谱信号均匀地编码到2D空间中。DCCHI [45，46]结合了一个位于同一位置的全色相机，以与CASSI测量同时收集更多信息。SSCSI [33]在单个灰度图像中联合编码空间和光谱维度此外，提出了基于融合的方法[25，1，32，31，12，11，35]这些方法基于混合相机系统，其中低空间分辨率高光谱相机和高空间分辨率RGB相机安装在同轴系统中。所捕获的两个图像可以被融合成高分辨率HSI，其具有与RGB图像相同的空间分辨率和与输入HSI相同的光谱分辨率。所有这些基于编码和融合的高光谱成像系统都需要高精度的光学设计或昂贵的高光谱相机。为了避免使用上述专用设备，即在多种照明、滤波器、编码孔径和高光谱相机的情况下，从单个RGB图像恢复HSI引起了更多的关注。由RGB相机提供的三个值的光谱恢复引起三对多映射，这通常是严重欠定的。4Ying Fu，Tao Zhang，Yinqiang Zheng，Debing Zhang，and HuaHuang为了明确地确定频谱，一些先验知识的映射。Nguyen等人。 [38]学习了基于径向基函数网络的白平衡RGB值和无照明光谱信号之间的映射。Arad和Ben-Shahar [3]建立了一个大型的自然场景高光谱数据集，并推导出高光谱特征之间的映射以及它们在通过K-SVD学习的字典下的RGB值。Robles-Kelly [42]通过使用从训练集中提取的一组原型，基于约束稀疏编码方法重建了无光照HSI。贾et等人[22]提出了一种基于流形的两步映射方法，该方法突出了非线性映射在光谱恢复中的作用。在这项工作中，我们提出了一个光谱CNN模块，以更好地解释光谱非线性映射，和一个空间CNN模块，以进一步纳入空间相似性。Arad和Ben-Shahar [4]首先认识到，从单个RGB图像恢复HSI的质量对CSS选择敏感为了避免穷举搜索的沉重计算成本，他们提出了一种基于进化优化的选择策略。然而，培训仍然需要在不同的CSS实例下进行多次。在这项工作中，我们提出了一个CSS选择层下的非负稀疏约束，并共同选择最佳的CSS和学习映射HSI恢复通过一个统一的基于CNN的框架。这可以在仅一个训练过程中实现，与[4]中的重复训练操作相反。3联合最优CSS选择和HSI恢复在本节中，我们提出了一种基于CNN的方法，用于从单个RGB图像中同时进行最佳CSS选择和HSI恢复。所提出的方法的总体框架在图1中示出。在训练阶段，给定大量CSS函数和HSI，我们首先在不同的CSS函数下为每个HSI合成多个RGB图像，这些CSS函数是网络的输入。设计的最优CSS选择网络用于选择最佳CSS和相应的RGB通道。在HSI恢复网络中，我们设计了一个光谱CNN来近似RGB空间和光谱空间之间的复杂非线性映射，并设计了一个空间CNN用于空间相似性。CSS选择网络和光谱恢复网络相结合，以恢复HSI，这应该是足够接近其在训练数据集中的相应HSI。在测试阶段，在所选择的CSS下获得输入RGB图像。将通过将该输入RGB图像馈送到恢复网络中来获得HSI，该恢复网络已经在训练阶段学习。在下文中，我们首先通过消化用于从单个RGB图像恢复HSI的常见方法来描述我们的网络结构的动机然后，我们介绍了我们的基于CNN的方法HSI恢复和最佳CSS选择。最后，提供了学习细节。联合CSS选择和HSI恢复5FFF3.1预备和动机设Y∈R3×M和X∈RB×M表示输入RGB图像和恢复的HSI，其中M和B是HSI中的像素和频带的数量。Y和X之间的关系可以描述为Y = CX，⑴其中C∈R3×B表示RGB CSS函数。大多数现有技术的方法假设CSS函数是已知的，并且将从单个RGB图像的HSI恢复建模为E（X）=Ed（X， Y）+λEs（X），（2）其中第一项Ed（X， Y）是数据项，并且它保证恢复的X应该在CSS函数C下投影到Y第二项Es（X）是X的先验正则化。在以前的作品[38，3，42，22]中，第一项的模型通常可以描述为E d（X，Y）=f d（X）−Y2。（三）其中函数fd对于[3，42]是线性映射，对于[38，22]是谱非线性[22]结果表明，与文献[3]中的线性约束相比，非线性映射可以有效地帮助HSI恢复。此外，[3，42]假设光谱可以由几个基稀疏地描述，这意味着Es（X）=Dα−X2+α1，（4）其中D是学习的谱字典，α是对应的谱稀疏系数。[38]和[22]隐含地假设光谱信息位于模型中的低维空间中。此外，由于恢复的HSI X中的相邻像素应该是相似的，[42]也具有空间约束，如Es（X）=fs（X）2，（5）其中函数fs表示局部空间操作。根据这些分析，我们提出了一种基于CNN的HSI恢复方法从一个单一的RGB图像，它可以有效地学习非线性光谱映射和空间结构信息，以提高恢复的HSI。此外，从等式（1）中，我们可以看出，恢复的HSI的质量X受输入RGB图像Y和CSS函数C两者的影响。同时，[4]表明CSS的选择显著影响HSI恢复的质量为了提高恢复的HSI的准确性，选择最佳CSS也是必要的因此，我们的方法通过一个统一的基于CNN的框架来模拟最佳CSS选择和HSI恢复。6Ying Fu，Tao Zhang，Yinqiang Zheng，Debing Zhang，and HuaHuang图二、基于CNN的HSI从单个RGB图像恢复的架构3.2HSI恢复先前的工作已经表明，有效地利用HSI的基本特征-光谱非线性映射[38，22]和空间相似性[42]- 可以从单个RGB图像重建高质量的HSI。与这些方法相比，我们的方法在谱CNN中利用了多个CNN层深入学习光谱和RGB空间之间的非线性映射，并在空间CNN中采用DenseNet块[21]和ResNet模块[20]来扩大感受野并在空间域中获得更多的空间相似性。此外，我们的方法使用输入的RGB图像，以进一步指导HSI恢复和残差学习，以保持空间结构。图2显示了HSI恢复网络。光谱CNN先前用于从单个RGB图像进行光谱恢复的工作[38，3，42，22]主要考虑输入RGB图像和恢复的HSI之间的光谱映射众所周知，CNN可以有效地学习非线性映射。因此，我们设计了一个光谱CNN来学习RGB值和相应光谱之间的光谱非线性映射，该光谱CNN由L层组成。第l层的输出表示为F l= ReLU（W l* F l−1 + bl），其中F 0= Y，（6）其中ReLU（x）= max {x，0}，表示整流线性单元[36]。Wl和bl分别表示第l层的滤波器和偏置对于第一层，我们使用s1×s1的感受野计算a0特征图，其中a0= 64。当输入是RGB图像时，滤波器的大小为3×s1×s1×a0在第2层到第（L-1）层，我们还使用s1×s1感受野和整流线性单元计算0特征图滤波器的大小为a0×s1×s1×a0。最后，最后一层使用相同的感受野，滤波器的大小为a0×s1×s1×B。在实验中，我们设置L= 5。光谱CNN空间CNN64646464BB+364DenseNet块ResNet模块Conv + ReLUResNet模块Conv + ReLUResNet模块Conv + ReLUResNet模块Conv + ReLUResNet模块Conv + ReLU堆叠堆叠BN + ReLU + ConvBN + ReLU + ConvDenseNet块DenseNet块DenseNet块BN + ReLU + ConvDenseNet块BN + ReLU + Conv联合CSS选择和HSI恢复7为了进行光谱非线性映射，s1= 1，并且在空间域中感受野为1×1这意味着，只有光谱非线性映射的学习没有任何空间结构。RGB指导用于全色锐化的许多研究[2，52]采用全色图像来保留结构信息，因为对于相同场景，两个输入图像应该具有相似的空间结构。受此启发，我们使用输入RGB图像来引导空间信息重建，其通过堆叠输入RGB图像和来自上述光谱CNN的初始化HSI FL来建模。因此，第（L+ 1）层的输出可以表示为FL+1=C（WL+1*stack（Y， FL）+bL+1），（7）其中C表示激活函数。它是批量归一化（BN）[34]，然后是ReLU [36]。空间CNN由于自然图像中丰富的自重复模式[7，13]，空间信息通常在相邻区域中是相似的。为了有效地利用空间相似性，我们需要在更大的区域中获得丰富的空间相关性，这可以通过使用多个DenseNet块来实现[21]。我们在设计的网络中采用N个DenseNet块，并且第n个DenseNet块的输出可以表示为Sn=Dn（ stack（S0， · · ·， Sn−1）），其中S0 = FL+1，（8）其中Dn表示第n个DenseNet块函数。在每个DenseNet块中，有K个ResNet模块[20]。对于第n个DenseNet模块，输入为Sn−1，第k个ResNet模块可以表示为H k= Rn（H k−1）+ H k−1，其中H0= S n−1。（九）无无无无无无无在我们的空间CNN中，我们设置N= 4和K= 4。此外，由于空间结构信息主要存在于高通分量中，因此我们采用残差学习来有效地重建细节信息，如[27]。因此，最终输出可以描述为X=SN+FL。（十）3.3最佳CSS选择以前的工作[4]表明，HSI恢复的质量对用于生成输入RGB图像的CSS敏感。如4.3节所示，我们通过使用不同CSS函数下的合成RGB图像以蛮力方式执行HSI恢复方法。从图5中可以看出，HSI恢复的准确度有大约10% 〜 25%的差异。这意味着正确地选择CSS也将有助于HSI恢复精度。8Ying Fu，Tao Zhang，Yinqiang Zheng，Debing Zhang，and HuaHuangRGB图像.........图三.最佳CSS选择的插图。[4]中的穷举搜索方法和进化优化方法不适合我们基于CNN的HSI恢复方法，因为它们需要多次训练HSI恢复网络，这是非常慢的。因此，我们建议设计一个选择卷积层来检索最佳CSS，它只需要训练一次，并且具有更低的时间复杂度。为了选择最佳CSS函数，首先将每个HSI的RGB图像与候选数据集中的所有CSS函数进行合成令Cj（j=l，···，J）表示第j个CSS函数。经由训练数据集中的第j个CSS函数和第t个HSI的每个合成RGB图像可以被描述为Y j，t= C j X t。（十一）因此，对于每个场景，通过在不同CSS函数下堆叠所有RGB图像来获得输入RGB图像，即，Yt= stack（Y 1 ， t， ···，Y j ， t， ···，Y J ， t）。（ 12）由于我们的工作主要集中在从单个RGB图像恢复HSI，我们将从现有摄像机中选择CSS，而不考虑来自不同摄像机的通道的组合。请注意，模拟的RGB图像不能为负，因此选择CSS的权重应该是非负的。为了正确地本地化有前途的CSS，我们进一步添加稀疏约束。因此，我们为最佳CSS选择设计了一个卷积层，它作为非负稀疏约束下网络中学习到的最大权重。为了实施非负约束，将该卷积层中用于CSS选择的权重设置为正。对于稀疏约束，权值在稀疏提升l1范数下学习.最佳CSS选择等效于Yt中的RGB图像选择，其与所选择的最佳CSS合成。如图3所示，我们首先将RGB波段分成三个分支，它们共享相同的卷积滤波器V。该滤波器的大小为J×1× 1×a1，其中a1= 1是每个分支的输出频带数。因此，该最优CSS选择网络的输出可以表示为Yt=stack（V*Yt（R），V*Yt（G），V*Yt（B）），（13）...选图像......Conv联合CSS选择和HSI恢复92其中，Yt（R）、Yt（G）和Yt（B）表示图中的所有红色、绿色和蓝色通道。Yt，分别。V中的值可以通过在所选RGB图像之间的非负稀疏约束Yandthecorrespondinggroundtrutimage1ΣTLc（V）=不 t=1Yt. V≥0，（14）其中Yt是t-tV中的较大值表示其对应的CSS对于HSI恢复更好。因此，选择对应于V中的最大值的CSS作为最优CSS。3.4学习详情HSI恢复网络的参数表示为Θ，并且可以是通过将MSE最小化来实现，并将其与对应的结构HSIX？对应的地面实况图像，1ΣT和Ls（Θ）=T t=1X当Xt是输入时，X t是在给定的图形上显示的图像，Yt是CSS选择网络选择的相应RGB图像。在我们的方法中，由于等式（14）中的CSS选择网络的输出是HSI恢复网络的输入，因此其取决于HSI恢复网络训练。因此，我们首先将最佳CSS选择网络附加到HSI恢复网络上以选择最佳CSS并一起学习用于频谱恢复的映射。在这个联合训练阶段，我们通过最小化损失来L=Lc（V）+τLs（Θ），（16）其中τ是预定义参数。请注意，Yt不需要在此j〇ntrangpr〇ces中被显式地定义，并且可以在等式（14）中定义Yt（V）-Yt2然后，选择与V中的最大值对应的CSS这些合成RGB图像充当恢复网络的输入以恢复HSI。使用自适应矩估计方法[29]使损失最小化。对于所有设计的网络模块，我们将小批量大小设置为16，动量参数设置为0.9，权重衰减设置为10−4。为了适合用于最佳CSS选择的非负约束，在前向和后向传播期间，将约束层的权重定义为随机正数，并且将所有负权重设置为零。 在HSI恢复网络中，所有卷积层都通过[ 18]中的方法来实现。这款软件是在NVIDIA Titan X GPU上使用深度学习工具Caffe [23]开 发 的。10Ying Fu，Tao Zhang，Yinqiang Zheng，Debing Zhang，and HuaHuang4实验结果在下文中，我们将首先介绍用于训练和测试所有方法的数据集，以及用于定量评估的指标然后，我们比较了我们的方法与几个国家的最先进的HSI恢复方法在一个典型的CSS。此外，我们的最佳CSS选择方法的有效性进行评估两个CSS数据集。4.1数据集和指标我们在三个公共高光谱数据集上评估了我们的联合CSS选择和基于CNN的HSI恢复，包括ICVL数据集[3]，NUS数据集[38]和哈佛数据集[9]。ICVL数据集由201幅图像组成，是迄今为止最全面的自然高光谱数据集。我们在这个数据集中随机选取101张图像进行训练和使用其余的用于测试。NUS数据集在训练集中包含41个HSI，在测试集中包含25个HSI。哈佛数据集由50张在日光照明下拍摄的户外图像组成。我们删除了6张具有强烈高光的图像，并随机使用35张图像进行训练，9张图像进行测试。这些数据集中的所有HSI具有31个条带。使用两个CSS数据集来评估最佳CSS选择。第一数据集[24]包含28条CSS曲线，第二数据集[26]包含12条CSS曲线。这两个数据集涵盖了不同的相机类型和品牌。我们统一提取补丁对每个HSI和其对应的RGB图像在不同的CSS函数的大小为64× 64和步幅为61。我们随机选择90%的对进行训练，10%的对进行验证。RGBpatches被视为两个工作流的输入，而HS I p at ch e s利用三个图像质量度量来评估所有方法，包括均方根误差（RMSE），结构相似性（SSIM）[47]和光谱角映射（SAM）[30]。在每个2D空间图像上计算RMSE和SSIM，其测量恢复的HSI和地面实况之间的空间保真度SAM是在一维谱矢量上计算的，它显示了谱保真度。RMSE和SAM的值越小表示性能越好，而SSIM的值越大表示性能越好。4.2HSI回收率在这里，我们首先将我们的基于CNN的HSI恢复方法与已知CSS下的单个RGB图像的三种最先进的HSI恢复方法进行比较，包括基于径向基函数网络的方法（RBF）[38]，基于稀疏表示的方法（SR）[3]和基于流形的映射（MM）[22]。数据集中的原始HSI用作基础事实。与…公平地比较这些方法，我们使用佳能5D Mark II的CSS功能来合成RGB值，与[22]相同。联合CSS选择和HSI恢复11表1.RMSE、SSIM和SAM结果用于不同的HSI恢复方法在HSI数据集上。数据集度量RBFSrMM我们ICVLRMSE 7.7152 3.0223 2.1245 1.3533SSIM0.9546 0.9582 0.9946 0.9975山姆0.1419 0.0645 0.0470 0.0277NUSRMSE 14.8785 8.9766 6.1825 5.2426SSIM0.8648 0.8701 0.9555 0.9649山姆0.3239 0.2358 0.2114 0.1712哈佛RMSE 11.8101 4.9534 4.9616 2.1923SSIM0.9539 0.9126 0.9541 0.9924山姆0.1723 0.1848 0.2273 0.0956表2.不同HSI恢复方法的时间复杂度（单位：秒）大小RBFSrMM我们的（CPU）我们的（GPU）256×256 × 310.20 2.084.1318.940.09512×512 × 310.69 8.38 16.2775.870.361024×1024 × 312.55 33.36 65.67299.041.58表1提供了来自三个HSI数据集的测试集中所有HSI的平均结果，用于定量比较RBF、SR、MM和我们的方法。最佳结果以粗体突出显示。我们观察到MM [22]优于其他两种方法。 其原因在于，与RBF和SR相比，MM有效地近似了RGB值与光谱特征之间的光谱非线性映射。这表明，光谱非线性映射是非常相关的HSI恢复从一个单一的RGB图 像 。 我 们 的 方 法提 供 了 大 量 的 改 进 ， 所 有 这 些 方法 ， 在RMSE，SSIM和SAM。这揭示了深入挖掘HSI内在属性的优势，并验证了我们的HSI恢复网络的有效性。为了使所有方法的实验结果可视化，在图4中示出了三个数据集上的几个代表性的恢复的HSI和对应的恢复的光谱误差。从上到下显示了RBF/SR/MM/我们的方法的基础事实，我们的结果，误差图像，以及所有方法的RMSE结果地面实况和我们的结果是所有场景的第16个波段。误差图像是跨光谱的地面实况与恢复结果之间的平均绝对误差。我们可以观察到，从我们的方法恢复的图像是一致的更准确的所有场景，这验证了我们的方法可以提供更高的空间精度。所有方法沿谱的RMSE结果表明，我们的方法的结果是更接近地面真相比其他比较方法沿谱，这表明我们的方法获得更高的谱保真度。所有比较方法的不同尺寸HSI的10项独立试验的平均测试时间提供了在Intel Core i7-6800K CPU上执行的我们可以看到我们的方法有12Ying Fu，Tao Zhang，Yinqiang Zheng，Debing Zhang，and HuaHuang见图4。HSI数据集中六个典型场景的视觉质量比较。从上到下示出了通过我们的方法恢复的地面实况、RBF/SR/MM/我们的结果的误差图、以及所有方法的沿着谱的RMSE结果。在CPU上的时间复杂度更高，但在GPU上的运行时间要短得多。与其他方法相比，该方法在GPU上能够以每秒10帧以上的速度重建256×256× 31的HSI。4.3CSS选择为了评估CSS函数在我们的光谱恢复网络中的效果，我们进行了实验，以评估HSI恢复的性能两个CSS数据集[24，26]。首先，我们通过不同的CSS函数以蛮力的方式对合成的RGB图像执行所有方法。如图5所示，我们ICVLNUS哈佛光谱原始我们MMSrRBF我们联合CSS选择和HSI恢复13(a) [24]中的CSS（b）[26]中的CSS图五.我们的HSI恢复网络在三个HSI和两个CSS数据集上的RMSE结果。红色和绿色的条表示最好和最差的CSS函数分别以蛮力方式恢复HSI(a)[24]中的CSS（b）[26]中的CSS图六、我们的方法在三个HSI数据集上选择的最佳CSS我们确实可以观察到我们的方法也依赖于CSS选择。尽管如此，我们的方法仍然是优越的，即使有一个不正确的CSS。为了通过一次训练获得用于改进HSI恢复的最佳CSS，我们的方法使用卷积层来选择最佳CSS。在图6中，我们可以看到我们的方法可以有效地选择最佳CSS，这与通过穷举搜索确定的最佳CSS一致此外，所选择的CSS对于所有三个HSI数据集保持相同，这似乎表明该CSS正确地编码了物理世界的固有光谱信息。NUS哈佛ICVL14Ying Fu，Tao Zhang，Yinqiang Zheng，Debing Zhang，and HuaHuang最糟糕中间最好最糟糕中间最好(a)（b）[26]中的CSS函数见图7。典型场景下不同CSS函数下的视觉质量比较。在[24]和[26]中的最差/中间/最佳CSS函数下恢复的HSI分别在（a）和（b）中示出。图7显示了不同CSS函数下典型场景的HSI恢复结果。根据图5，在[24]和[26]中的最差/中间/最佳CSS函数下恢复的HSI分别在（a）和（b）中示出。 我们可以看到，在所选择的最佳CSS下的结果非常接近地面实况，这进一步证明了联合最佳CSS选择的有效性和HSI恢复中学习的CNN非线性映射的准确性。5结论在本文中，我们提出了一种有效的基于CNN的方法，共同选择最佳的相机光谱灵敏度函数，并学习一个准确的映射，从RGB图像重建高光谱图像。首先，我们提出了一个光谱恢复网络与适当设计的模块，以考虑的HSI的基本特征，包括光谱非线性映射和空间相似性。同时，在恢复网络中增加了相机光谱灵敏度选择层，利用非负稀疏约束自动检索最优灵敏度函数实验结果表明，我们的方法可以提供实质性的改善，目前国家的最先进的方法在客观度量和主观视觉质量。我们目前的网络从现成的相机中选择最佳灵敏度。因此，不需要生产已知极其昂贵的新的滤波器阵列。然而，滤光片阵列制造商确实能够生产新颖的滤光片阵列，这可能比所有现有的RGB相机更好地用于该光谱恢复任务。因此，值得研究当前滤波器制造技术的局限性，并探索如何将这些局限性纳入更宽松的滤波器响应设计（而不是选择）过程。致谢本工作得到了国家自然科学基金项目号资助。61425013号61672096。联合CSS选择和HSI恢复15引用1. Akhtar，N.，Shafait，F.，Mian，A.：高光谱图像超分辨率的稀疏空间-光谱表示。在：欧洲计算机会议论文集（ECCV）中。pp. 632. 艾 丽 ， 哈 ， Sharma ， G. ： 基 于 正 则 化 模 型 的 优 化 框 架 。IEEETrans.ImageProces sing23（6），25963. 阿拉德湾Ben-Shahar，O.：从自然rgb图像中稀疏恢复高光谱信号。 In：Proc. ofEur opeanConferenceonComuterVison（ECCV）. pp. 194. 阿 拉 德 湾 Ben-Shahar ， O. ： 高 光 谱 估 计 的 滤 波 器 选 择 In ： Proc. 的ItemtinalCo nfere nceo nCom uterVisi n（ICCV）。pp. 31725. Basedow，R.W.，哥伦比亚特区卡莫Anderson，M.E.：Hydice系统：实施和准备。 在：SPIE的系统集成OE/ A eros p a c e S e n g和Du a l U s e P o t o n ic s中。pp. 2586. Bioucas-Dias ， J.M. ， Plaza ， A.Camps-Valls ， G.Scheunders ， P.N.M. ，Nasrabadi ， Chanussot ， J. ： 高 光 谱 遥 感 数 据 分 析 与 未 来 挑 战 。IEEEGeoscience andremotese nsi ngmagazi ne1（2），67. Buades，A.，Coll，B.，Morel，J.M.：一种非局部图像去噪算法。IEEEConference on Computer Vision and Pattern Recognition（CVPR）. vol. 第2页。608. 曹，X.，Du，H.，唐，X.，Dai，Q.，Lin，S.：基于棱镜的多光谱图像采集系统。IEEE Trans. Pattern Analysis and Machine Intelligence（PAMI）33（12），242 39. Chakrabarti ， A. ， Zickler ， T. ： 真 实 世 界 高 光 谱 图 像 的 统 计 。 IEEEConference on Computer Vision and Pattern Recognition（CVPR）. pp. 19310. Chi，C.，刘，H。Ben-Ezra，M.：优化宽带光照的多光谱成像。InternalJour nalofComuterVisin（IJCV）86（2-3），14011. 迪安河芳湖李S：基于非局部稀疏张量分解的高光谱图像超分辨率在：IEEE计算机视觉和模式识别会议（CVPR）的论文中。pp. 534412. Dong，W.，Fu，F.，Shi，G.，曹，X.，吴，J.，Li，G.，李X：基于非负结 构 稀 疏 表 示 的 高 光 谱 图 像 超 分 辨 率 。 IEEE Trans.ImgeProcessing25（5），233713. Dong，W.，张，L.，石，G.：图像恢复的集中稀疏表示。 In：Pr oc. Iterna t i n atinalConferenceonComuterVisin（ICCV）。pp. 125914. Ford，B.K.，Descour，M.R.，Lynch，R.M.：大图像格式的计算机断层扫描可为血流成像提供空间。光学实验室出版物9（9），44415. Gao，L.，Kester，R. T.，Hagen，N.，Tkaczyk，T.S.：用于高光谱显微镜的高采样密度快照图像映射光谱仪。OpticsExprss18（14），1433016. Gat，N.，Scriven，G.，Garman，J.，李博士Zhang，J.：四维成像光谱仪的研制。发表于：Proc. of SPIE Optics+ Photonics。vol. 6302，pp.17. 格姆法医约翰河布莱迪DJ Willett，R.M.，Schulz，T.J.：具有双色散器架构的单次激发压缩光谱成像。Optics Express15（21），140 1316Ying Fu，Tao Zhang，Yinqiang Zheng，Debing Zhang，and HuaHuang18. Glorot，X.，Bengio，Y.：了解训练深度前馈神经网络的困难。国际人工智能与科学会议论文集。pp. 24919. 汉，S.，佐藤岛Okabe，T.，Sato，Y.：使用DLPpr ojector的快速光谱反射率恢复。InternalJour nalofComuterVisin（IJCV）110（2），17220. 他，K.，张，X.，Ren，S.，孙杰：深度剩余网络中的身份映射。In：Proc. ofEur opeanConferenceonComuterVison（ECCV）. pp. 63021. Huang，G.，刘志，Maaten，L.v.d.，Weinberger，K.Q.：密集连接的卷积网络。在：IEEE计算机视觉和模式识别会议（CVPR）的论文中。pp. 226122. Jia，Y.，郑宇，古湖Subpa-Asa，A. Lam，A.，Sato，Y.，Sato，I.：通过流形 映 射 从 rgb 到 自 然 场 景 的 光 谱 。 In ： Proc. of InternationalConFErenceonComputerVision（ICCV）. pp. 471523. Jia，Y.，Shelhamer，E.，Donahue，J.，Karayev，S.，朗J格尔希克河瓜达尔-拉马，S.，达雷尔，T.：Caffe：用于快速特征嵌入的卷积架构。In：Proc. 的ACMMultimediaConference（MM）。pp. 67524. 姜杰，Liu，D.，中国科学院，顾，J.，Ssstrunk，S.：彩色数码相机的光谱灵敏度函数的空间是多少？在：IEEE计算机应用研讨会（WACV）。pp.16825. 川上河赖特，J.，Tai Y.W. Matsushita，Y.，Ben-Ezra，M. Ikeuchi，K.：基于矩阵分解的高分辨率超光谱成像。在：Proc. of IEEE C〇nFerenceonC〇nPuterVis isinandPater nRec ognitin（CVPR）中。pp. 232926. 川上河赵，H.，Tan R.T. Ikeuchi，K.：从天空图像估计相机光谱灵敏度和白平衡International Journal of Computer Vi-sion（IJCV）105（3），18727. 金，J.，Lee，J.K.，Lee，K.M.：使用非常深的卷积网络实现精确的图像超分辨率。在：IEEE计算机视觉和定位研究会议（CVPR）的论文集中。pp. 164628. Kim，SJ邓，F. Brown，M.S.：用高分辨率图像增强旧文档的视觉效果。PatternRecog nitio n44（7），146129. 金玛，D.P.，Ba，J.L.：亚当：随机优化的一种方法。In：Proc. 国际学习表征会议（ICLR）（2015年5月）30. Kruse，F.A.，Lefkoff，A.B.，Boardman，J.W.，Heidebrecht，K.B.，夏皮罗，AT Bar-loon，P. J. Goetz，A. F. H. ：环境遥感44（2-3），145- 163（1993年3月31. Kwon，H.，Tai，Y.W.：rgb引导的高光谱图像上采样。In ：Proc.ofInternatiolCo nfere nceo nCom uterVisio n（ICCV）.pp. 30732. Lanaras角Baltsavias，E.，Schindler，K.：通过耦合光谱分解的高光谱超分辨率。计算机视觉国际会议（ICCV）pp. 358633. 林，X.，Liu，Y.，吴，J.，Dai，Q.：空间-频谱编码的压缩高光谱成像。ACMTr