基于深度外部和内部学习的高光谱图像重建方法

8559基于深度外部和内部学习的高光谱图像重建陶章英傅立志王华黄北京理工大学计算机科学与技术学院{tzhang，fuying，lzwang，huahuang}@ bit.edu.cn摘要为了解决传统高光谱相机空间和时间分辨率低的问题，编码快拍高光谱成像系统受到了广泛关注。从编码图像恢复高光谱图像（HSI）是一个不适定的逆问题，学习HSI的精确先验知识是解决这一逆问题的关键。在本文中，我们提出了一种有效的基于卷积神经网络（CNN）的编码HSI重建方法，该方法从外部数据集以及具有空间-频谱约束的输入编码图像的内部信息中学习深度先验。该方法能有效地利用空间-谱相关性，充分地表征HSI的多样性。实验结果表明，我们的方法优于国家的最先进的方法下，全面的定量指标和感知质量。1. 介绍高光谱成像系统捕获场景中具有远多于三个波段的每个空间位置的光谱信号。HSI中丰富的光谱细节可以显示关于照明和材料的确定性信息，这对于包括遥感[5，28]、计算机视觉[7]和医学诊断在内的各个领域都是有益的[4、27]。为了获得完整的3D HSI，传统的超光谱成像仪需要多次曝光来扫描场景[2，30，31]，这是耗时的并且不能捕获动态场景。为了提高时间分辨率，通过将3DHSI多路复用到一个高光谱成像系统中，已经提出了各种快照高光谱成像系统[6，10，29]。2D空间传感器，然而，其牺牲了空间分辨率。最近，通过利用压缩传感（CS）理论，基于编码的高光谱成像技术[16，22，25，26，35，37]由于克服时间和空间分辨率之间的权衡的潜力而吸引了越来越多的关注。外部学习高光谱影像数据集Cassi重建网络DCD单一的内部学习编码图像重建高光谱图像重建网络空间谱约束Φ图1.我们的基于CNN的编码HSI重建方法的概述。重建网络首先从外部数据集学习，然后根据每个目标场景的输入编码图像的内部信息，利用空间-频谱约束进行自定义通过精心的光学设计，这些基于编码的技术将3DHSI编码为2D压缩测量。目前的瓶颈在于如何忠实地重构理想的HSI。由于重建问题是欠定的，需要未知HSI的先验知识来正则化重建。为此，众所周知的基于模型的方法采用各种手工制作的先验，例如总变差[22，37]，稀疏性[35，38，39]和低秩[13]。然而，这些手工制作的先验不足以表示真实世界光谱数据的多样性。与依赖于精心设计的先验的基于模型的方法不同，基于学习的方法[9，40，43]可以通过利用外部数据集来隐式地学习先验。然而，基于学习的方法[40]经常试图在压缩图像和期望图像之间拟合蛮力映射因此，即使观察模型与用于合成训练数据的模型有非常轻微的偏差，学习的映射函数也是无效的。最近，提出了一种基于自动编码器的方法[9]，其通过预训练自动编码器来利用8560图像先验并将其集成到基于模型的重构框架中。然而，自动编码器不能与优化算法的其他参数联合优化，留下了令人此外，所有基于学习的方法都依赖于训练数据和测试数据之间的强先验相似性的事实上，不同种类的高光谱图像会产生具有完全不同的中心波长和光谱响应的异质HSI。因此，基于学习的方法往往存在过拟合和泛化能力不足的问题。在本文中，我们提出了一种基于CNN的编码HSI重建方法，通过联合利用深度外部和内部学习（图1）。首先，我们开发了一个基于CNN的通道注意力重建网络，以有效地利用HSI的空间-频谱相关性。然后，我们通过利用任意外部数据集来训练重建网络，以利用一般的空间-光谱相关性。最后，利用编码后的图像，通过带空间-光谱约束的内部学习对网络进行自定义，利用内部成像模型学习当前期望图像的特定先验。我们的方法在两个有代表性的快照高光谱成像系统上得到了验证，[35]和[37]。总而言之，我们的主要贡献是1. 提出了一种基于CNN的编码HSI重构方法，该方法能有效地结合深度外部学习和内部学习;2. 通过外部学习利用HSI的空间-频谱相关性;3. 通过内部学习，保证泛化能力，适应不同的2. 相关工作在这一节中，我们回顾了最相关的研究高光谱成像系统和编码HSI反射方法。2.1. 高光谱成像系统传统的高光谱相机通常在时间/空间分辨率和光谱分辨率之间进行基于扫描的采集系统[2，30，31，44]在空间域中逐点/逐线地或在频谱域中逐带地捕获整个场景。所有这些系统都牺牲了时间分辨率。为了捕获动态场景，已经提出了几种快照光谱成像器，其将3DHSI倍增到2D空间传感器中，但将空间分辨率转换为光谱分辨率[6，11，14，15]。最近，为了克服时间和空间分辨率之间的权衡，几个基于编码的系统已经流行依赖于CS理论。CASSI使用两个色散器[16]或一个带编码孔径的以沿空间维度对光谱信号进行光学编码。为了提高CASSI的性能，已经提出了具有变化编码孔径的多个镜头[22]和具有对准全色相机的DCD此外，作为CASSI的进步，提出了双编码压缩光谱成像器[26]，其分别使用数字微镜器件和硅上液晶对空间和光谱维度进行单独编码。稍后[26]升级为空间-光谱编码压缩光谱成像仪[25]，其共同考虑空间-光谱编码机制，但仅采用一个编码孔径。本文主要在CASSI [35]和DCD[37]2.2. 编码HSI重建方法基于模型的方法通常将编码的HSI重建公式化为最大后验问题。在这些方法中，各种Kittle等人。 [22]和Wang等人。 [37]采用两步迭代收缩/阈值算法[3]，总变差先验。总变差先验[22，37]可以有效地对分段平滑空间结构进行建模，但恢复的HSI趋势过于平滑且缺乏细节。稀疏先验[33，35，38，39]显示出比总变差先验更好的结果。Wagadarikar等人[35]采用梯度投影稀疏重建算法。Tan等人 [33]在每次迭代中通过集成Winner滤波器作为去噪器来利用近似消息传递。Wang等人 [38]利用基于自适应字典的算法来重建4D高光谱视频，并且从DCD的全色图像中学习稀疏基。 Wang等人[39]进一步将非局部相似性与稀疏表示相结合以提高性能。此外，低秩先验[13]也用于编码HSI重建。Fu等人。 [13]利用低秩近似和非局部相似性的频谱空间相关性进行重建任务。最近，通过利用深度学习的力量，已经提出了基于学习的方法用于编码HSI重建[9，40，43]。Xiong等人。 [43]首先通过现有的基于模型的方法[22]初始重建HSI，然后采用基于CNN的方法来增强初始化结果，并在训练集上进行先验训练Choi等人。 [9]训练自动编码器学习非线性谱表示作为深度先验，然后将其与优化中的总变差先验结合作为正则化器来重建HSI。Wang等人。 [40]采用端到端基于CNN的方法进行编码HSI重建，考虑相邻空间位置之间的空间相关性和相邻频带之间的频谱相关性。手工制作的先验只模拟线性特征-8561在出来0inl场景光束物镜编码中继分光器透镜孔径透镜色散棱镜灰度压缩相机图像Cassi灰度相机全色图像DCD图2. 两个代表性成像系统的图示。其中，Φc表示CASSI的投影矩阵，并且由ω（m，n）、ω（λ）和ω（λ）共同确定，Yc表示压缩图像yc（m，n）的矢量化表示，X是基础HSI。在DCD系统中，如图2所示光首先被分束器分成两个方向。一个方向的光由CASSI捕获，而另一个方向的光由相同类型的全色检测器捕获。全色测量的第（m，n）个像素可以表示为因此，HSI中的非线性不足以利用HSI中的非线性。仅从外部数据集学习的深度先验缺乏测试图像期望的相似性，yp（m，n）=Λx（m，n，λ）ω（λ）.（三）λ=1因此对于未知数据常常不能工作。在这项工作中，我们提出了一种有效的基于CNN的编码HSI重建方法，从外部数据集和内部输入图像中学习深度先验，结合深度外部和内部学习。在我们的方法中，既不需要精细的手工制作的先验，也不依赖于强的先验相似性3. 编码HSI重建在本节中，我们首先将编码HSI重建的问题公式化。然后，我们介绍了我们的编码HSI重建的基于CNN的方法，它可以有效地学习HSI中的空间-谱相关性为每个目标场景，通过使用外部和内部学习。3.1. 观测模型在这里，我们主要示出了两个代表性的快照高光谱成像系统的观测模型，即，[35]和[37]。在CASSI系统中，如图2所示，入射光首先通过物镜投射到编码孔径中，物镜起空间调制作用。然后，经调制的入射光穿过中继透镜并且被棱镜光谱色散。最后，用全色相机捕获光谱色散信息。设X（m，n，λ）表示入射光的强度与等式（2）中的CASSI公式类似等式（3）也可以矩阵形式重写为：Yp= Φp X，（4）其中Φp表示全色相机的投影矩阵，由ω（λ）确定，Yp是全色图像的矢量化表示。DCD感测过程通常可以表示为Yd= Φd X，（5）其中Yd=[ Yc; Yp]且Φd=[ Φc; Φp]。目的是从用于CASSI的编码图像Yc和用于DCD的编码图像Yd重建高质量HSI X3.2. 编码HSI重构网络先前的工作已经表明，有效地利用HSI的潜在内在属性-空间相关性[40]和谱相关性[9] -可以从编码图像重建高质量的HSI。为了更好地探索HSI中的空间-频谱相关性，我们进行了一个深度CNN，通过具有密集连接和通道注意力的多层非线性变换来对空间-频谱相关性进行建模。如图3所示，CASSI重建网络由L个密集块其中1≤m≤M且1≤n≤N索引空间协方差矩阵。[12，32]在两个卷积层之间。令Cc表示1≤λ ≤Λ表示谱坐标。第一卷积层和Cc表示最后一个骗局-压缩测量的第（m，n）个像素可以是重构网络中的卷积层。 对于第l个表示为密集块，输入为Bc至Bc并且输出可以Λyc（m，n）=<$（m−<$（λ），n）x（m−<$（λ），n，λ）ω（λ），表示为0l−1λ=1Bc=Dc（Bc，· · ·，Bc）、（6）（一）l l0l−1其中λ（m，n）表示编码孔径的透射函数，λ（λ）表示棱镜的波长相关色散函数，x是HSI的第（m，n，λ）个像素的光谱分布，ω（λ）表示探测器的响应函数。CASSI观测模型可以用矩阵形式重写为其中Bc=Cc（Y c）和Dc分别表示CASSI重构网络中的第l个密集块函数。在每个密集块中，存在K个残余通道张力（RCA）模块。第k个RCA模块可以表示为ΣH=A（R（HΣ））+H8562Yc= Φc X，（2）cl，kcl，kcl，kc l，k−1c l，k−1 、（7）8563Cassi致密块状DCDl，0l，k前，texL前，texLd（Θd）=L（d）（Y）c出来L在ex，t表示来自ex，t的第t个全色图像。L（Σf（，输出L输入重建网络RCA模块图3. 编码HSI重建网络的结构。其中Hccl−1cl，k和c表示残差在投影矩阵Φc下对应的编码图像，或者组件[18]功能和通道注意组件[19，46]函数。残差分量由通道自适应地重新缩放Φd来构成数据集中的补丁对。对于CASSI重建，通过最小化损失注意力分量，这有利于利用频谱相关性。最终输出可以表示为CΘ c前前）=1TTt=1cYcΘcex，tex）−Xex，t<$2，（10）其中Yc表示第t个外部压缩图像，X^c=Cc（Bc+Cc（Yc））=f c（Yc，Θc），（8）Xex，t表示来自外部数据集的第t个对应的地面实况，并且Θc是外部数据集的参数。其中Bc表示第L个密集块的输出，训练好的CASSI重建网络，T是CASSI重构网络，fc为映射函数和Θc分别表示CASSI重构网络中的参数对于来自DCD的编码HSI重建，为了进一步融合CASSI重建结果Xk和全色图像，Yp，我们附加了一个与CASSI报告相同的布局-分别在外部数据集中训练样本对于DCD重建，为了提高最终的重建精度，我们进一步为CASSI重建添加约束，损失可以表示为1Σ网络，如图3。最终输出可以表示为前前Tt=1+ηf c（Yc前，tΘcex前，t）−Xex例如，t=2），前，t（十一）X^d=Cp（Bp+C p（stack（X^c，Yp）其中Yp=fd（Yc， Yp，Θd），内部训练数据集，Θd表示其中，Bp表示DCD重构网络中的第2L个密集块的输出，fd是DCD重构网络的映射函数，Θd分别表示DCD重构网络中的参数在我们编码的HSI重建网络中，我们根据经验将L、K和特征图分别设置为4、4、64。对于内核大小，密集块中的最后一个卷积层设置为1×1，其他卷积层设置为3×3。3.3. 外部学习为了探索HSI的潜在内在特征，首先从外部数据集学习深度先验。我们从每个大小为256×256的HSI中均匀提取，堆叠ConvConv致密块状致密块状致密块状致密块状致密块状致密块状ConvConv转换ReLUConvRCA模块RCA模块全球集中共用ReLUFC乙状RCA模块堆叠Conv=B，R、不，Yp，Θd）−Xǁ2（九）8564外部训练的DCD重建网络，并且η是我们根据经验设置为0的预定义参数。五、这些损失最小化的自适应时刻估计方法[21]。我们将小批量大小、动量参数和权重衰减分别设置为1、0.9和10−4。学习率最初被设置为0.0001，每30个历元除以10。所有可学习层这些网络使用NVIDIA Titan X Pascal GPU上的深度学习工具Caffe [20]进行训练。3.4. 内部学习现有的HSI数据集仍然很小，训练数据和测试数据之间的差异不能8565在在ex在ex在避免.这些可能使得外部学习的深度先验与测试图像期望的先验缺乏相似性，并且对于未知数据不太实用。受[34]的启发，我们进一步使用具有空间光谱约束的内部学习来学习单个图像的深度先验对于CASSI重构，给定等式（2）中的编码图像与对应HSI之间的关系，等式（8）中的潜在HSI应当与线性映射Φc之后的输入编码图像一致。为了减少分布变化的影响，可以利用来自每个场景的输入编码图像的空间-频谱约束来更新重建网络，其可以表示为Lc（Θc）=<$ Φcfc（ Yc， Θc）−Yc<$2，（12）[8]和ICVL数据集[1]。CAVE数据集由32个HSI组成，空间分辨率为512×512。哈佛数据集由50幅在日光照明下拍摄的户外图像组成，其空间分辨率为1024×1392。由于大面积高光像素，我们去除了6个deteriorated的HSI。ICVL数据集由201幅图像组成，是迄今为止最全面的自然HSI数据集。空间分辨率为1300×1392。CAVE和ICVL数据集的光谱范围从400nm 到 700nm ， Harvard 数 据 集 的 光 谱 范 围 从420nm到720nm，并且所有三个HSI数据集的光谱范围被划分为间隔为10nm的 31个光谱带我们随机选择CAVE数据集中的10幅图像、哈佛数据集中的9幅图像和ICVL数据集中的50幅图像进行测试，在inin in in其余的分别用于训练。其中YcΘ c表示输入编码图像，是利用三个定量图像质量度量，CASSI重建网参数学习并由Θc初始化。对于DCD重建，给定捕获图像与等式（5）中的对应HSI之间的关系，等式（9）中的潜在HSI应当与线性映射Φd之后的输入图像一致。我们在等式（11）中添加空间-频谱约束以用于DCD重构，并且内部学习损失可以表示为Ld（Θd）=<$ Φdfd（ Yc， Yp， Θd）−Yd<$2评估所有方法的性能，包括峰值信噪比（PSNR），结构相似性（SSIM）[41]，光谱角映射（SAM）[23]和相对无量纲整体合成误差（ERGAS）[36]。PSNR和SSIM的值越大，表示性能越好，而SAM和ERGAS的值越小，表示重建效果越好。4.2. 综合数据评价在ininininin（十三）+ηΦdf c（Yc，Θc）−Yd<$2，我们比较了我们的方法与六个国家的最先进的HSIin in in其中，Yp表示内部全色图像，并且Θd是内部训练的DCD反射网络的参数并且由Θd初始化。在内部学习中，与基于模型的方法相比，方程（12）和方程（13）中的潜在HSI的潜在特性在深度先验中建模，而不是在手工先验中建模，并且与基于学习的方法相比，在输入图像上学习。我们的方法有效地结合了深度学习架构中的内部和外部信息。内部学习细节与外部学习相似，除了我们将学习率固定为0.0001，并且所有可学习层4. 实验结果在本节中，我们首先介绍实验中用于定量评估的数据集和然后，我们的方法进行了比较，几个国家的最先进的合成数据的方法。此外，我们的方法的推广能力进行了讨论。最后，我们实现了我们的编码HSI重建方法的真实图像。4.1. 数据集和指标我们的方法在三个公共HSI数据集上进行了评估，包括CAVE数据集[45]，哈佛数据集合成数据的重建方法，包括三个基于模型的方法即，基于总变分的方法（TV）[3]、基于稀疏表示的方法（NSR）[39]和基于低秩矩阵近似的方法（LRMA）[13]以 及 三 种 基 于 学 习 的 方 法 ， 即 ， HSCNN 方 法[43]、Autoencoder方法[9]和Hyper-ReconNet方法[40]。我们尽最大努力，以复制竞争方法的最佳结果，与公开发布或由作者私人提供的代码表1和表2提供了三个数据集上所有测试图像的CASSI和DCD的平均重建结果，以定量比较我们的方法 与 TV ， NSR ， LRMA ， HSCNN ， Autoencoder 和HyperReconNet 。 请 注 意 ， HyperReconNet 是 专 门 为CASSI重建而设计的，并且难以扩展到DCD重建，因此我们仅在CASSI重建上与它进行比较。每个数据集上的最佳结果以粗体显示。 可以看出，DCD总是具有比CASSI好得多的性能在同一系统中比较不同方法的结果，从空间域和谱域的度量来看，我们的方法在大多数情况下优于现有的方法。这揭示了深入挖掘HSI的内在属性的优势，并验证了我们的深度外部和内部学习方法的有效性为了可视化实验结果，图8566表1.在三个HSI数据集上评价不同方法的CASSI重建结果方法洞穴哈佛ICVLPSNRSSIM山姆厄加斯PSNRSSIM山姆厄加斯PSNRSSIM山姆厄加斯电视24.0990.89178.92841.13227.1630.92426.80037.14126.1550.93583.02015.971NSR26.6440.92477.44032.08528.5080.94007.57232.72227.9490.95762.93912.468厄玛25.8710.91988.47334.54530.1130.95725.08626.50629.9750.97201.8199.921HSCNN25.0170.915111.91138.83628.5480.94426.75930.75829.4750.97332.46910.034Autoencoder25.7410.91868.50635.54230.3000.95205.61526.44130.4400.97002.06310.485HyperReconNet24.4440.904312.99640.91330.3410.96446.60925.35832.3630.98612.1217.295我们29.0550.95708.26024.78633.5850.98245.36217.13835.8840.99371.4624.847表2.在三个HSI数据集上评价不同方法的DCD重建结果方法洞穴哈佛ICVLPSNRSSIM山姆厄加斯PSNRSSIM山姆厄加斯PSNRSSIM山姆厄加斯电视34.0900.98495.81714.44536.2940.98925.11415.93736.9020.99141.8075.612NSR35.8900.98645.10513.08738.5640.99344.55312.80139.9150.99601.4043.774厄玛38.3700.99335.0199.18840.4290.99594.1109.73741.1240.99721.3223.090HSCNN33.8340.98527.88014.89937.4920.99244.84512.65238.7970.99661.5163.551Autoencoder33.8630.98747.29414.81639.0520.99524.67910.09641.4990.99831.2252.624我们38.4580.99544.1798.45441.8250.99753.9727.36044.3550.99910.9811.847表3.评估训练数据和测试数据之间分布变异的泛化能力，所有模型都是在ICVL数据集上进行外部训练的。方法洞穴哈佛ICVLPSNRSSIM山姆厄加斯PSNRSSIM山姆厄加斯PSNRSSIM山姆厄加斯CassiHSCNN22.2190.882417.94554.62426.9730.919710.71542.14429.4750.97332.46910.034Autoencoder22.2000.834818.14256.08825.2340.878516.25858.35830.4410.97022.06310.485HyperReconNet21.1710.786623.32069.47524.7650.863614.51071.77832.3630.98612.1217.295Ours-external19.9740.720124.82577.60424.8070.887317.74568.26532.0120.98622.6297.768我们26.8880.932010.88232.61432.7670.97926.05419.18635.8840.99371.4624.847DCDHSCNN28.9650.932011.61530.66634.6250.97447.43927.72838.7970.99661.5163.551Autoencoder26.8490.930918.74738.91429.1480.940217.48045.51941.4990.99831.2252.624Ours-external22.1990.975724.75168.43927.1380.916224.15362.00737.2820.99542.0064.477我们38.3770.99524.2838.84041.4650.99724.0447.77044.3550.99910.9811.8474和5.误差图是跨光谱的地面实况和恢复结果为了显示场景，我们通过CIE颜色映射函数将原始的HSI转换为RGB，如图5的最后一列所示从我们的方法恢复的结果是considerably更准确的所有场景，这表明我们的方法可以提供更高的空间精度。图4和图5中的场景的地面实况与重建结果之间的绝对误差沿着所有方法的光谱在图6中示出。可以看出，我们的方法的结果更接近地面真相，这证明我们的方法获得更高的光谱保真度。4.3. 消融研究由于空间限制，我们只显示了在ICVL数据集上外部训练的模型的结果。为了评估训练数据和测试数据之间分布变化的泛化能力，我们比较了我们的方法与其他基于学习的方法在不同的测试集上进行比较，所有重建网络都在ICVL数据集上训练我们的方法只在ICVL数据集上进行外部学习，被表示为“Ours-external’。从表3可以看出，基于学习的方法和我们的外部学习模型在CAVE和Harvard测试集上的性能都有明显下降，而我们的内外结合学习方法可以明显提高空间精度和光谱保真度。验证了该方法对数据分布变化具有较好的泛化能力。4.4. 真实数据评价我们进一步评估了我们的方法对真实数据的有效性。利用CASSI和DCD成像系统拍摄了实验室环境光条件下具有复杂纹理的卡通封面。CASSI的压缩图像如图7（a）所示，8567电视NSR LRMA HSCNN自动编码器HyperReconNet我们的图4. CASSI HSI数据集中三种典型场景的视觉质量比较。TV/NSR/LRMA/HSCNN/Autoencoder/HyperReconNet/我们的CASSI恢复结果的错误映射从左到右显示，相应的场景如图5所示。电视NSR LRMA HSCNN自动编码器我们的场景图5.基于DCD的HSI数据集中三个典型场景的视觉质量比较。TV/NSR/LRMA/HSCNN/Autoencoder/我们的DCD恢复结果和场景的错误映射从左到右显示。(a) CASSI（b）图6.图4和图5中的场景的地面实况和恢复结果之间的绝对误差沿着所有方法的光谱8568Cassi（a）压缩（b）TV（c）NSR（d）LRMA（e）自动编码器（f）我们的DCD（g）全色（h）电视（i）NSR（j）LRMA（k）自动编码器（l）我们的图7. 607nm光谱带的重建结果。（a）压缩图像。（g）全色图像。（b）-（f）TV/NSR/LRMA/自动编码器/我们的CASSI重建结果。（h）-（l）TV/NSR/LRMA/自动编码器/我们的DCD重建结果。DCD的视觉图像分别如图7（g）所示。我们显示了所有方法在607nm通过比较图7（b、c、d、e、f）中的CASSI重建结果和图7（h、i、j、k、l）中的DCD重建结果表明全色图像对HSI重建有明显的从各种方法的重建结果来看，本文方法在两种系统中的重建效果都优于其他方法。我们可以看到，TV，NSR，LRMA和Autoencoder遭受过度平滑或缺乏结构信息，与其他方法相比，我们的方法产生了更好的结果，具有更多的细节和更少的伪影。5. 结论在本文中，我们提出了一种新的基于CNN的编码HSI重建方法，通过结合深度外部和内部学习，从输入编码图像的外部数据集和内部信息学习深度先验。该方法能有效地利用谱-空相关性，并能适应不同的场景。实验结果表明，该方法在合成数据和真实数据上均优于现有的方法，并且与基于学习的方法相比，具有更好的我们的方法主要是在CASSI和DCD上进行评估，可以直接在其他编码的HSI上实现重建，例如，空间-光谱编码成像系统[25]、多快照成像系统[22，42]等。此外，值得研究深度外部和内部学习组合对自然图像/视频压缩感知重建[24]、图像恢复[32]等的影响。致谢本工作得到国家自然科学基金项目2005年12月号的资助。61425013号61672096和北京市科学技术委员会批准号：Z181100003018003。引用[1] 波阿斯·阿拉德和阿哈德·本·沙哈。从自然rgb图像中稀疏恢复高光谱信号 在proc 2016年欧洲计算机视觉会议（ECCV）。[2] Robert W.巴塞多Carmer和Mark E.一个-安德森。Hydice系统：实施和绩效。在SPIE[3] 何塞·M· Bioucas-Dias和Mario A. 菲格雷多一个新twist：用于图像恢复的两步迭代收缩/阈值算法。IEEETrans. Image Processing，16（12）：2992-3004，12月2007年[4] Asgeir Bjorgan和Lise Lyngsnes Randeberg。走向真实-利用超光谱成像技术进行8569nology在临床和生物医学光谱学和成像IV，第953712页，2015年。[5] 马库斯·博伦加塞 William S. 亨盖特 和RussellWatkins 高光谱遥感：原理与应用.遥感应用系列。CRCPress，Dec.2007年[6] 曹勋、杜浩、童欣、戴琼海、斯蒂芬是林书一种用于多光谱视频采集的棱镜掩模系统。IEEE Trans. Pattern Analysis and Machine Intelligence，33（12）：2423-2435，Dec. 2011年。[7] 曹翔勇，周峰，徐林，孟德宇，徐宗本，约翰·佩斯利.基于马尔可夫随机场和卷积神经网络的高光谱图像分类。IEEE Trans. 图像处理 ，27（5 ）：2354-2367，2018。[8] Ayan Chakrabarti和Todd E.齐克勒 统计真实-世界高光谱图像。 在proc 的Conference on ComputerVision and Pattern Recognition（CVPR），第193- 200页，2011年。[9] 作者：Daniel S.Jeon Giljoo Nam Diego Gutierrez和Min H. Kim.使用光谱先验的高质量高光谱重建。ACM Trans. on Graphics（Proc.的SIGGRAPH亚洲），36（6）：218：1-218：13，十一月。2017年。[10] 迈克尔 德库尔 和 尤斯塔斯 Dereniak.计算-层析成像光谱仪：实验校准和重建结果。应用光学，34（22）：4817-26，1995.[11] 布丽奇特·福特，迈克尔·德库尔，罗纳德·林奇. 大-用于荧光显微术的图像格式计算机断层扫描成像光谱仪。Optics Express，9（9）：444-53，2001.[12] Ying Fu，Tao Zhang，Yinqiang Zheng，Debing Zhang，and花黄。联合相机光谱灵敏度选择和高光谱图像恢复。欧洲计算机视觉会议（ECCV），2018年。[13] Ying Fu，Yinqiang Zheng，Imari Sato，and Yoichi Sato.前-利用光谱-空间相关性进行编码高光谱图像复原。计算机视觉和模式识别会议（CVPR），第3727-3736页，2016年。[14] 作者：Robert T. Kester，Nathan Hagen，and Tomasz S.特卡奇克用于高光谱显微镜的高采样密度快照图像映射光谱仪（IMS）。Optics Express，18（14）：14330[15] Nahum Gat，Gordon Scriven，John Garman ，Ming DeLi，and张静怡。四维成像光谱仪（4d-IS）的发展。Proc. ofSPIE Optics + Photon-ics，第6302卷，第63020 M-63020M-11页，2006年[16] Michael E.放大图片作者：David J.布雷迪，丽贝卡威尔-lett，and Timothy J.舒尔茨具有双色散器架构的单次激发压缩Optics Express，15（21）：14013[17] 泽维尔·格洛特和约舒亚·本吉奥 理解差异--训练深度前馈神经网络的方法。国际人工智能和统计会议论文集，第249-256页，2010年[18] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习。计算机视觉与模式识别会议论文集（CVPR），2016.[19] 杰虎，李申，孙刚。挤压-激发网络。计算机视觉和模式识别会议（CVPR），2018年。[20] 阳青 贾， 埃文 谢尔哈默， 杰夫 Donahue，SergeyKarayev ， Jonathan Long ， Ross Girshick ， SergioGuadarrama，and Trevor Darrell.Caffe：用于快速特征嵌入的卷积架构在国际多媒体会议（MM）的论文集，第675-678页，11月17日。2014年[21] 迪德里克山口金玛和吉米·雷巴。亚当：一种方法随机优化 在proc 2015年国际学习表征会议（ICLR）[22] David Kittle，Kerjil Choi，Ashwin Wagadarikar和David J.布雷迪编码孔径快照光谱成像仪的多帧图像估计。Applied Optics，49（36）：6824[23] F. A. Kruse，A. B. Lefkoff，J. W. Boardman，K. B. 海德brecht，A.T. Shapiro，P.J. Barnard和A.F. H. 戈茨光谱图像处理系统（SIPS）-成像光谱仪数据的交互式可视化和分析。环境遥感，44（2-3）：145[24] Kuldeep Kulkarni ， Suhas Lohit ， Pavan Turaga ， RonanKer-viche和Amit Ashok。再重建：从压缩感知的随机测量中对图像进行非迭代在Proc. of Conference on ComputerVision and Pattern Recognition（CVPR），第449-458页[25] 邢林： 刘业斌 吴嘉民， 和琼海戴。空 间 - 光 谱 编 码 压 缩 超 光 谱 成 像 。 ACM Trans. onGraphics（Proc.的SIGGRAPH亚洲），33（6）：233：1-233：11，十一月。2014年[26] Xing Lin，Gordon Wetzstein，Yebin Liu，and QionghaiDai.双编码压缩超光谱成像。Optics Letters，39（7）：2044[27]陆国兰和保卫飞。医学高光谱成像：审查.Journal of Biomedical Optics，19（1）：010901，2014.[28] 放大图片创作者：Mary Beth Wilhelm; Murchie，AlfredS.作者声明：James J. Wray，Jennifer Hanley，MarionMass，and Matt Chojnacki.火星上反复出现的斜坡线中水合盐的光谱证据。Nature Geoscience，8（11）：829-832，Nov. 2015年。[29] 冈本隆之和山口一郎。 同时获取光谱图像信息。Optics Letters，16（16）：1277[30] 华莱士·MPorter和Harry T.恩马克的系统机载可见光/红外成像测距仪（aviris）概述。年度技术研讨会，第22-31页，1987年。[31] 约阿夫Schechner和Shree K.纳亚尔广义马赛克-成像：宽视场多光谱成像。模式分析和机器智能，24（10）：1334- 1348，10月。2002年[32] Ying Tai，Jian Yang，Xiaoming Liu，and Chunyan Xu.记忆-net：用于图像恢复的持久内存网络。在proc 2017年计算机视觉和模式识别会议（CVPR）。[33] 谭金、马燕婷、胡佛·鲁埃达、德罗尔·巴伦、贡-扎洛河阿尔塞通过近似消息传递的压缩高光谱成像。IEEE Journal of Selected Topics in Signal Processing，10（2）：3898570[34] 德米特里·乌里扬诺夫，安德烈·维达尔迪，维克多·伦皮茨基。深度图像先验。计算机视觉和模式识别会议（CVPR），2018年。[35] Ashwin Wagadarikar， 瑞努·约翰， 丽贝卡·威利特，大卫·布雷迪。编码孔径快拍光谱成像的单色散器设计。应用光学，47（10）：44-51，4月。2008年[36] 卢西恩·瓦尔德高分辨率合成图像的质量是否有一个简单的标准？ 在proc 地球数据融合会议，第99-103页，2000年。[37] Lizhi Wang，Zhiwei Xiong，Dahua Gao，Guangming Shi，and凤舞编码孔径快拍光谱成像的双相机设计。应用光学，54（4）：848-58，2月。2015年。[38] 王立志，熊志伟，高大华，施光明，曾文君，凤舞。采用双摄像头架构的高速高光谱视频采集。计算机视觉和模式识别会议（CVPR），第4942-4950页，2015年[39] 王立志，熊志伟，石光明，凤舞，和曾文君。双相机压缩超光谱成像的自适应非局部稀疏表示。模式分析与机器智能，39（10）：2104-2111，10月。2017年。[40] Lizhi Wang，Tao Zhang，Ying Fu和Hua Huang。超-reconnet：联合编码孔径优化和图像重建压缩超光谱成像。IEEE Trans. Image Processing，28（5 ）：2257-2270，Nov. 2018年。[41] 放大图片作者：Alan C.哈米德？博维克Sheikh和Eero P.西蒙切利图像