基于维数判别低秩张量恢复的高光谱图像重建方法

10183基于维数判别低秩张量恢复的张世鹏1王立志2傅莹2钟晓明3黄华21西安3北京空间机电研究所摘要利用先验信息是计算高光谱成像中图像重建现有的方法通常将三维信号展开为一维矢量，并在不同的方向上处理先验信息(a)（b）第（1）款（c）第（1）款这种方法忽略了高光谱图像的高维特性，重建质量不高。在本文中，我们建议充分利用所需的HSI的高维结构，以提高重建质量。我们首先建立一个高阶张量，利用HSI的非局部相似性。然后，我们提出了一个维度判别的低秩张量恢复（DLTR）模型，在每个维度上自适应地表征结构先验。将DLTR中的结构先验与系统成像过程相结合，建立了HSI重建的优化框架，并采用交替极小化算法进行求解。大量的实验与合成和真实的数据表明，我们的方法优于国家的最先进的方法。1. 介绍高光谱成像技术捕获跨越数十到数百个离散波段的真实场景的反射率与传统的RGB图像相比，高光谱图像具有更高的光谱维数，可以提供更多的细节和特征这些特征已被应用于各种计算机视觉任务，例如分类[1]，识别[2]和跟踪[3]。HSI本质上是3D的，包括一个光谱维度和两个空间维度。为了获得HSI，配备有1D或2D探测器的传统光谱仪[4，5，6，7]需要沿着 空间或光谱维度。因此，基于扫描的高光谱成像方法具有低的时间分辨率，并且不能用于捕获动态通讯作者：lzwang@bit.edu.cn图1：局部补丁中的频谱-空间相关性的图示。（a）31×36大小的局部频谱空间斑块。(b) （a）的3D平滑表面（c）矢量zd 1D信号（a）。这表明矢量化过程破坏了固有的结构信息。场景由于计算摄影术的蓬勃发展，计算高光谱成像已被开发来克服这个问题[8，9，10]。在众多成像系统中，编码孔径快照光谱成像（CASSI）[11，12]及其双相机设计（DCD）[13，14]由于快照的优势，近年来受到越来越多的关注通过精心的光学设计，他们将3DHSI编码为2D压缩测量。因此，计算高光谱成像的瓶颈是如何从压缩测量中忠实地重建3D HSI。由于重建是严重欠定的，图像先验信息的特点，以正则化的重建。到目前为止，该领域的大量研究工作都致力于利用先验信息[14，15，16，17，18，19，20，21]。然而，现有方法通常将3D信号展开为1D向量，并且以不加区分的方式处理不同维度内的先验信息矢量化过程忽略了HSI的高维性质，并破坏了HSI中的原始结构信息。作为直观的示例，图1B示出了图1A的示例。图1示出了具有矢量化和不具有矢量化的一个空间-频谱块的像素值分布的比较。显然，矢量化后的结构信息丢失。我们的主要观察是，与基于一维向量的信号描述相比，高阶张量可以提供一个10184......匹配突起初始化输出DLTR谱相关联合相关空间自相似性测量HSI一般可分为两类：基于先验知识的方法和基于深度学习的方法。传统的方法是利用基于先验知识的正则化方法来求解优化问题，从而重构HSI.在稀疏性假设下，HSI可以通过求解一个λ0或λ1松弛优化问题来重构。在场景中的物体具有分段平滑结构的假设下，基于全变分（TV）正则化的方法已广泛用于计算高光谱成像[15 ， 22 ， 23] 。 通 过 进 行 小 波 变 换 或 过 完 备dictionary作为稀疏基，已经开发了各种稀疏重建方法[12，14，16，17，21，24]。在[18，20]中提出了基于矩阵秩的方法的最小化，图2： 所提出方法的概述。 我们首先从压缩测量中获得初始化。然后迭代地执行我们的重建方法，包括最后，我们输出重建的HSI。更精确的表示，以计算出每个域中的数据这样的观察激励我们利用张量表示的HSI重建，以解决向量化的问题。本文提出充分利用HSI中的高维结构先验，提高计算高光谱成像的重建质量。我们的方法的总体框架如图所示二、具体来说，我们首先建立一个高阶张量，利用非局部相似性的空间和频谱域的主要为每个示范立方补丁。然后，为了表征各维的结构先验，提出了一种基于维区分的低秩张量恢复（DLTR）模型，充分利用了空间自相似性、谱通过将DLTR中基于张量的结构先验与系统成像过程相结合，提出了HSI重建的优化框架据我们所知，这是第一次在计算高光谱成像的维数判别模型表征先验在HSI。大量的实验与合成数据和真实的捕获数据表明，我们的方法优于国家的最先进的方法。2. 相关作品2.1. 高光谱图像重建从二维压缩测量数据恢复三维高光谱信息是计算高光谱成像的关键。HSI重建方法谱相关然而，现有的方法往往将3D信号分解为一维矢量，对不同维的先验信息进行无差别处理，忽略了HSI的高维性，导致重建质量不高。近年来，深度学习技术已被用于图像恢复。深度神经网络的几种方法然而，HSI的异质性使得这些方法难以推广到计算高光谱成像。在[27]中提出了卷积自动编码器（AE）来学习CASSI的非线性稀疏表示。最近一种名为HSCNN的方法使用卷积网络来完成重建任务[28]。但是这些方法都是试图学习单一的先验信息，不能充分利用HSI的高维本质。此外，很少有实验来验证这些网络可以应用于实际的硬件系统。基于我们的观察，高维张量更忠实地提供内在的属性，我们提出了一个基于DLTR的方法，以进一步提高重建保真度。此外，在实际硬件实现上的大量实验验证了我们的方法的推广。2.2. 低阶张量恢复近年来，低秩张量恢复已广泛用于各种计算机视觉任务[29，30，31，32，33]。基于高阶奇异值分解（HOSVD）[34]，低秩张量恢复可以被视为基于因子分解的问题。然而，HOSVD需要确定每个模式的秩，这是一个困难且不稳定的任务。基于秩和最小化的方法[29，35]已广泛用于张量完成。然而，这些方法对所有模态的秩都是一视同仁的，忽略了不同模态的物理意义的差异。为了解决这个问题，提出了一个基于加权张量核范数调节的模型[36]，并进一步发展了其与非凸形式的关系[37，38]1018511412e ul10aV8Rau6LGI4nS20161116212631 36空间长度iN=112NF专栏在本文中，我们利用这一趋势，以提高重建质量的计算高光谱成像。 据我们所知，这是第一次，DLTR模型已被用于计算高光谱成像。3. 离散可微的低秩张量模型3.1. 注释和预备我们首先介绍符号和符号如下。矩阵用黑体大写字母表示，例如，X，矢量用blodface字母表示，例如x，标量用字母表示，例如，X. 我们将N阶张量表示为黑体欧拉脚本X∈RI1×I2×···IN，其Frobenius范数为.其所有元素的平方和，即，X 为第一章i1=1第二章i2=1 ···INx（i，i，···，i）2. 通过改变图3：低秩属性分析。 我们利用非-折射率in，同时保持其他固定，n型光纤X可以得到。通过将N模光纤X作为列向量，得到X的n阶开折矩阵，记为X（n）∈RIn×（I1···In−1In+1···IN）. foldn（·）是将矩阵沿模n转换回张量格式的运算符。3.2. 模型配方HSI重建的基本解决方案是解决一个基于先验知识的正则化优化问题。因此，必须充分利用所需信号背后的内在属性并开发适当的正则化。到目前为止，用于HSI恢复的两种先验是光谱相关性和空间自相似性。光谱相关性表明，HSI含有少量的基本物质，因此表现出丰富的光谱冗余。而空间自相似性表明，对于每一个典型斑块，我们可以找到许多具有同源结构的相似斑块。已经表明，这两个先验知识对HSI处理非常有帮助[29，30，31，32]。采取这样跨空间和谱域的局部相似性，以在第一行中重新计算低秩张量。我们在第二行中沿着每个模式展开张量，并在第三行中显示相应的奇异值。对于大的S，在实践中将引入负担不起的计算和存储器所构造的三维张量同时利用了空间自相似性（模式1）、谱相关性（模式2）和联合相关性（模式3），这将有利于我们在一个统一的框架下研究先验信息。因此，我们可以得到一个基本的表示对低秩张量恢复：Γ（P）=τR（X）−P2+rank（P），（1）其中R（·）表示从X提取3D张量的算子e，τ表示惩罚因子。利用Tucker分解[39]，张量秩为：以展开矩阵的秩和为特征在充分考虑现有知识的基础上，我们制定了3D每一种模式，即rank（P）=3n=1 rank（P（n））.怎么-张量，以促进重建性能。我们首先将HSIX划分为重叠的立方体块，空间块大小为s×s，覆盖整个光谱带。在将每个波段的空间块按字典顺序重新排序为一维列向量后，我们为每个补丁搜索k个最近的相似邻居，并得到一个对应的列向量。响应的三维张量P的大小为s2×Λ×（k+1），其中Λ是谱数.虽然构造一个四维张量来保持二维空间结构是合理的，但通常将空间尺寸s×s设置得很小，不能提取出内在的空间特征。而以往，简单地总结排名缺乏明确的调查，在不同的子空间。在图3中，我们分析了构造的3D张量的低秩性质。我们从一个干净的HSI中提取一个非局部张量，并沿着每个模式实现SVD每个展开矩阵的奇异值都有迅速降为零的趋势。但不同模态的奇异值下降率存在差异。例如，由于非局部相似块中的强冗余，模式3中的奇异值的幅度倾向于以相对较快的速度减小到零。因此，作用于所有模式的单个惩罚因子将产生差的空间谱相关非局部相似性S关键补丁Kk+1联合相关相似块S2展开SVD相似补丁数量光谱带1412108642016111621 26311611 16 21 26 31 36 41161116212631 36空间长度1412108642014121086420s2双头s2（k+1）（k+ 1）S2奇异值奇异值奇异值k+110186（个）Fn张量恢复结果。较低秩的模式仍然包含偏置冗余，而较高秩的模式被过度估计。考虑到不同模式之间的这种差异，以维度区分的方式估计秩（P）为了解决这个问题，我们建议利用加权秩和正则化来利用多维多样性：r（P）=τ<$R（X）−P<$2+<$3w秩（Pn=1（个））、（2）图4：两个代表性计算超光谱成像系统的示意图。其中wn>0是可以被认为是模式n的重要性度量的权重因子。在下文中，我们将说明用于计算高光谱成像的基于DLTR的重建方法CASSI系统，而在另一个方向上的光是cap-tured直接由灰度相机。全色探测器上的压缩测量可以表示为4. 基于自适应-判别的低秩张量恢复重建如：yp（ i，j）= 0.5ΣΛλ=1 ρ（λ）x（i，j，λ）.（五）4.1. 代表性系统简要介绍了两种具有代表性的计算高光谱成像系统，CASSI和DCD。值得注意的是，我们的方法也适用于对于其他计算成像系统，例如多快照成像系统[40，41]，空间-光谱编码成像系统[42]等。在CASSI系统中的入射光，如图所示。4，首先通过物镜投射到编码孔径的平面上。入射光经编码孔径空间调制后，通过中继透镜，在阿米西棱镜的作用下沿垂直方向发生光谱色散。最后，调制和分散的光谱信息被捕获的灰度相机。让X∈RM×N×Λ表示原始HSI，x（i，j，λ）是它的元素，其中1≤i≤M，1≤j≤N表示空间坐标，1≤λ≤Λ表示谱坐标.在CASSI的焦平面上的位置（i，j）处的压缩ΣΛ类似于等式（4）中的CASSI公式，等式（5）也可以以矩阵形式重写为：Yp=Φp（X），（6）其中，Yp表示未编码的测量值，Φp是灰度相机的前向成像函数。计算超光谱成像的一般成像表示可以导出为：Y= Φ（X）。（七）对于CASSI，Y=Yc和Φ=Φc，对于DCD，Y=[Yc;Yp]和Φ=[Φc; Φp]。实际上，计算成像重建的目标是从压缩测量Y估计X。4.2. 重建公式为了利用第3节中分析的HSI的多维内在属性，yc（ i，j）ρ（λ）<$（i−φ（λ），j）x（i−φ（λ），j，λ），（3）DLTR可以推导如下：λ=11ΣL。 ¨¨2minY−Φ（X）τRl（X）− Pl其中n（i，j）表示编码孔径的图案φ（λ）表示Amici棱镜引入的色散，ρ（λ）是探测器的光谱响应为简洁起见，设Yc表示yc（i，j）的矩阵表示。 则X，Pl2Fl=1Σ3+n=1¨ ¨FΣwn秩（P1），（八）CASSI成像的矩阵形式可以表示为：Yc=Φc（X），（4）其中，Φc是前向成像函数（由ρ（λ）、φ（i，j）和φ（λ）共同确定）。其中L表示示例张量的总数最小化方程（8）中矩阵的秩是NP难问题。为了做出更明确和准确的估计，我们进一步提出使用对数和形式引入核范数的非凸松弛：1Σ L。 ¨¨2入射光在DCD系统中，如图所示4、minY−Φ（X）场景分束器O bjective Code d Rela y一 miciG射线尺度透镜孔径透镜棱镜相机CassiG射线照相机DCD10187（个）τRl（X）− Pl首先被分束器等效地分成两个方向。一个方向上的光被X，Pl2Fl=1Σ3+n=1¨wnΘ（P1¨FΣ，），（九）10188（个）（个）RP（0）12R（个）R（个）3（三）2其中，Θ（P1Σ，）=log（σ（Pl）+），是一个小奇异值阈值操作S（σ）定义为：（个）rr（n）α，β正常数和σ（Plt）定义单数.0，如果c ≤0Pl的值。Sα，σ（σ）=sign（σ）（c0+<$c1）1如果c1>0（十三）设f（σ，σ）=log（σ+σ），f（σ，σ）导出一个均值-有效的结果是奇异值可以自适应地处理。具体地，f（σ，σ t）可以使用在σ = σ t处的一阶泰勒展开来近似，即，f（σ，τ）=f（σt，τ）+τf（σt，τ），σ−σt>，其中<σt表示第t次迭代的结果。 其实最小f（σ，σ）解可以合理地近似σ（1）（2）（3）（4）（5）（6）（7）（8）（9）（9）（10）（11）（11）（10）（11）（11）（10）（11）（10）（11）（11）（10）（11）（ 11）σlor展开2其 中 ， C0=|σ|−α ， 且 c1= （ c0）2−4 （ α−α|σ| ）[43]。最后，我们用Pl=fold 3（Pl）更新低秩张量。4.3.2更新整个恒指X一旦我们获得低秩张量Pl，整个HSIX可以通过解决以下问题来更新：可以忽略。因此，min Θ（P1，）=LΣ（n）min 1Y−Φ（X）2+τ <$Rl（X）−Pl<$.min（σ r（P1）/（σ t（P1）+σt））。 这意味着那些X2Fl=1�F第t次迭代的更大奇异值，更重要的信息将得到更小的权重，并且在第（t+1）次迭代时被收缩更低的幅度。在那里-（十四）实际上，等式（14）是二次优化问题，并且允许直接的最小二乘解：因此，可以保留结构信息。基于对数和的正则化模型，可以X=. ΦTΣΦ+2τRlT Rl-1。ΦT （Y）通过奇异值阈值法有效地解决了这一问题，有利于用DLTR重建HSI。然后提出了求解方程（9）的数值算法。L+2τ ΣLl=1lTl（）、（十五）下一节4.3. 优化算法为了优化方程（9），我们采用交替最小化方案将其分成两个更精细的子问题：更新低秩张量P1并更新整个HSI X。4.3.1更新低秩张量Pl通过固定HSIX，我们可以通过求解以下重新表述的方程来独立地估计每个低秩张量P1¨ ¨2Σmin？Rl（X）−Pl？+wΘ（Pl，θ）.（十）其可以通过共轭梯度算法来求解。5. 合成数据实验在本节中，我们通过对合成数据的实验，将我们的方法与基于先验知识的方法和基于深度学习的方法进行了性能5.1. 实现细节数据集。三个公共HSI数据集，包括哥伦比亚数据集[44]，哈佛数据集[45]和KAIST数据集[27]被用作合成数据。这些数据集包含不同材质的各种真实世界对象。在我们的实验中，所有测试图像的分辨率被裁剪成256×256和31个光谱带（400nm¨ ¨PlFn=1N（个）在哥伦比亚大学为700 nm，而在哈佛大学为在这里，我们采用交替最小化策略，以促进问题。具体地，通过初始化Pl=Rl（X），我们以模式方式估计低秩张量Pl：和KAIST）。所有测试的HSIs都按比例缩放到区间[0，1]。比较方法。我们的算法与5个先验知识为基础的方法，即，TV正则化集成TwIST [46]，稀疏重定向的梯度投影min¨-l-Pl¨+αΣ log（σ（Pl）+），构造（GPSR）[16]，近似消息传递PL（个）（n−1）（n）Frr（n）（十一）10189（AMP）[24]，非局部稀疏表示（NSR）[17]和低秩矩阵近似（LRMA）[18]和3种基于深度学习的方法，即， [27]第28话，其中αn=wn/2τ。 对于n=1、2和3，等式（11）允许一个封闭形式，并可以通过以下方式更新：ISTA [26].参数设置。 对于竞争性方法，我们L（个）=foldn（Uαn VT），（12）努力达到最好的效果，他们发布的代码或出版建议。为我们其中，<$αn= diag（Sαn，<$（σ1），Sαn，<$（σ2），.， Sαn，n（σ Dn）），方法，惩罚因子τ=1，自适应权重和U diag（σ1，σ2，.， σ Dn）VT是Pl（n−1）. 的w=[0. 1，0。1，1]c，且c = 10−4<$10−3是常数。 我们P10190表1：CASSI上不同方法的10个HSI的重建结果（PSNR（dB）/SSIM/ERGAS）方法指标平均电视[12]PSNR20.1318.5134.5825.4620.9820.1923.6320.8921.4225.8323.16SSIM0.6750.4290.9280.8450.6430.6260.5710.7940.7700.8460.713厄加斯304.93315.73160.80168.38253.94341.67210.29303.65251.24272.62258.32GSR [16]PSNR20.7418.7431.7922.3719.8919.8922.3221.7421.6025.3622.44SSIM0.5810.4310.8380.7210.5560.5760.5070.7320.6790.7030.632厄加斯295.29308.48227.97238.21287.67353.09246.55281.43244.13291.71277.46AMP[24]PSNR19.6118.4933.6823.9421.1919.8622.9120.9122.9628.3023.18SSIM0.5700.3990.9010.7700.6050.5460.5240.7390.7200.8270.660厄加斯322.56320.12178.82201.53246.97354.04229.17304.57207.02202.82256.76[第17话]PSNR23.4619.1237.0629.5323.4121.5224.4924.2526.9031.6026.13SSIM0.7560.4530.9590.9010.7050.6720.5830.8270.8400.9190.761厄加斯207.60297.59122.49105.15193.31293.67191.57208.17131.18 141.20189.19LRMA[18]PSNR22.7319.3137.3830.9824.1422.0425.0223.0024.9329.8925.94SSIM0.8060.4700.9480.9440.7710.7430.6080.8470.8630.9330.793厄加斯228.00292.05117.2791.65179.84279.03181.52243.49167.42176.00195.63我们PSNR24.2719.7037.4132.5025.5823.2025.6224.4327.1631.5727.15SSIM0.8550.4950.9480.9480.8020.7880.6260.8700.9010.9390.817厄加斯193.35279.83116.5775.29153.06245.12169.83212.34129.62146.50172.15T V G PS的MPNSR LR MA OurG圆真理（17 . 89 / 0。7 9 2）（12.83比0（19 .联合国难民事务高级专员办事处的报告）49比0 75 1）（23.88比0 861（24. 05/ 0。9 10）（26.75/0.943（峰值信噪比/SSI M（23. 06 / 0。89 4）（22.82比0（21. 5 5 / 0。（25 .47/ 0。9 36（30.07/ 0。9 7 7）（32.60 /0.982）图5：填充玩具在CASSI和DCD上在410 nm处的视觉结果比较。括号中给出了平均PSNR和SSIM值我们提出的方法在两个计算成像系统上都获得了更好的结果。经验地设置空间片大小s=6，重叠大小为5。我们在[-20，20]×[-20，20]窗口内搜索45个最近的相似块。评价措施。定量评价采用三个图像质量指标：峰值信噪比（PSNR）、结构相似性（SSIM）[47]和误差相关性（ERGAS）[48]。PSNR测量视觉质量，SSIM测量结构相似性，ERGAS测量光谱保真度。一般来说，PSNR和SSIM越大，ERGAS越小，重建精度越高。5.2. 绩效评价我们首先将我们的方法与基于先验知识的方法在CASSI和DCD上进行比较，以验证其性能。Columbia数据集的定量结果分别见表1和表2。每个图像的最佳结果以粗体突出显示。在同一系统下的实验结果表明，该方法在PSNR、SSIM和ERGAS上都有明显的提高我们在图中显示了两个系统上填充玩具的重建图像。5，这也可以证明我 们 的方 法 的优越性。具体DCDC的SSI101910. 0250. 02或e0。015RRe tu〇 0。01LSo0分。005042047 05 205 7 062067 0720表2：DCD上不同方法的10个HSI的重建结果（PSNR（dB）/SSIM/ERGAS）方法指标平均电视[12]PSNR29.2521.1747.1926.8422.7325.5427.1530.0826.8728.2828.51SSIM0.9210.7930.9940.9120.8220.8800.8730.8540.9560.9340.894厄加斯156.67250.0638.57155.41217.18188.39150.89126.06142.41245.79167.14GSR [16]PSNR27.6225.9936.9725.8624.6925.1327.8829.4826.4727.9227.80SSIM0.8460.8660.9370.8550.8330.8510.7790.8510.9290.8920.864厄加斯181.06133.41140.06164.91172.74194.91138.77144.54151.69241.40166.35AMP[24]PSNR27.6623.5238.7728.9226.5324.9727.3826.4428.3832.6228.52SSIM0.8290.7930.9550.8800.8410.8190.8820.7600.8690.8970.853厄加斯137.55174.13102.23119.43137.27197.58139.14163.35111.78125.03140.75[第17话]PSNR31.0122.2748.4936.7730.8727.2128.0235.4530.1135.5832.58SSIM0.9440.8310.9960.9760.9430.9040.9660.8840.9730.9590.938厄加斯135.46223.8333.6147.3685.87156.51137.6959.0498.7898.90107.71LRMA[18]PSNR40.6528.8748.2040.1134.3133.8534.7141.2237.5735.0337.45SSIM0.9890.9270.9910.9890.9710.9700.9730.9450.9910.9860.973厄加斯34.4999.7135.3432.2457.0172.4359.7230.3540.41111.3057.30我们PSNR42.0229.7948.9140.6735.3734.8035.2741.9438.3035.8838.29SSIM0.9910.9380.9910.9900.9760.9760.9770.9500.9920.9880.977厄加斯25.9889.5833.0830.1350.3664.6855.7927.9037.06103.5851.81A E H SCNN I ST A OURS G 圆真理图6：重建的质量比较。括号中给出了平均PSNR和SSIM值。越位曲线示出了白色标签对地面实况的绝对光谱误差我们提出的方法在空间视觉和光谱精度方面优于所有三种与TV、AMP和NSR相比，我们的方法产生了显著的空间质量提升这表明低秩先验比稀疏先验能恢复更多的结构信息。对LRMA的推广表明，高维张量比矩阵更能有效地利用HSI的内在特性。然后，我们在哈佛数据集和KAIST数据集上对三种基于深度学习的方法进行了彻底的比较。具体来说，对于哈佛数据集，我们使用35个HSI进行训练，9个HSI进行测试。对于KAIST数据集，我们使用29个HSI进行训练，3个HSI进行测试。CASSI的平均数值结果见表3。可以看出，我们的方法也优于所有三种基于深度学习的方法。广泛的比较，包括视觉结果和光谱分布的绝对误差，如图所示。6.为了更好的视觉，我们使用CIE颜色映射函数将重建的HSI转换为RGB。实验结果表明，该方法不仅具有更清晰的空间细节，而且具有更高的光谱保真度。0. 020. 020. 015HSCNN0. 01ISt0. 005我们0（30。33 / 0。9 84）（27 .9 9 / 0。9 7 1）（26.46比0 9 63）（32.16/0.988）（峰值信噪比/ SSI M）Wavele ng th（nm）0. 0642047 05 205 7 062067 07200.050.040.030.020.010H SCNNI St我们（30。7 8 / 0。9 7 2）（29 .66比0 9 41）（31.九分之四。9 60）（37.33/0.988）（PSNR /SSIM）Wavelegth（nm）42047 05 205 7 062067 0720T HarKA ISvAR绝对错误绝对错误10192(a)CASSI image（b）TV-CASSI（c）NSR-CASSI（d）LRMA-CASSI（e）AE-CASSI（f）Ours-CASSI(g)DCD图像（h）TV-DCD（i）NSR-DCD（j）LRMA-DCD（k）AE-DCD（l）Ours-DCD图7：真实数据上的重建性能比较。与其他方法相比，我们的方法可以产生更好的视觉细节。表3：在CASSI上比较3种基于深度学习的方法。通过对2个数据集上的测试图像进行平均来获得结果。我们的方法对基于深度学习的方法产生了显着的促进作用。数据集指标AEHSCNNISTA我们哈佛PSNR29.2027.6029.8731.14SSIM0.9120.9000.9130.932厄加斯91.62105.9085.2174.92KAISTPSNR26.0321.0628.5734.87SSIM0.9200.8140.9090.962厄加斯172.32273.37151.49 37.405.3. 真实数据我们进一步评估所提出的方法使用真实数据的性能。所捕获的场景是实验室环境光条件下的卡通封面。CASSI的压缩测量如图所示。7（a）和DCD的全色图像如图所示。7（g）。实验结果表明，与其他方法相比，该方法在两个系统上都能获得内容清晰、纹理丰富相比之下，TV产生过度平滑的结果，NSR和LRMA都引入噪声并丢失空间细节，而AE遭受严重的伪影。因此，我们的方法也是潜在的应用到真实的自然场景。6. 结论本文提出了一种基于维数判别的低秩张量恢复的计算高光谱成像的通用恢复模型。我们利用三维张量来挖掘高光谱图像的内在特性，包括空间自相似性、谱相关性和联合相关性，以提高图像的分辨率。为了更清楚地描述多维多样性，提出了一种基于加权核范数正则化的维判别低秩张量精化模型。然后将低秩正则化和成像过程统一到一个通用的重建模型中，并采用迭代数值算法进行有效求解在CASSI和DCD上的执行实验验证了该方法的优越性能和应用前景。在我们未来的工作中，我们将研究维数判别的低秩张量再细化到更实际的计算成像系统。确认本 工 作 得 到 国 家 自 然 科 学 基 金 61425013 、61701025、61672096和北京市科委Z181100003018003的资助10193引用[1] 敏H.放大图片作者：David S.放大图片创作者：RichardO.Prum，and David J.布雷迪用于测量固体物体上的高光谱图案的 三维成像光谱学。ACM Transactions onGraphics，31（4）：1[2] 潘 志 宏 ， Glenn Healey ， Manish Prasad 和 BruceTromberg 。 高 光 谱 图 像 中 的 人 脸 识 别 。 IEEETransactionsonPatternAnalysisandMachineIntelligence，25（12）：1552[3] Hien Van Nguyen、Amit Banerjee和Rama Chellappa。使用高 光谱 摄像机 通过 物体反 射进 行跟踪 。在 IEEEConference on Computer Vision and Pattern Recognition -Workshops，第44-51页[4] 华莱士·M Porter和Harry T.恩马克机载可见光/红外成像光谱仪（aviris）的系统概述。在成像光谱学II，第834卷，第22-32页中国际光学与光子学学会，1987年。[5] Robert W.巴塞多Carmer和Mark E.安德森。Hydice系统：实施和绩效。在Imaging Spectrometry，第2480卷，第258-268页。国际光学与光子学学会，1995年。[6] Masahiro Yamaguchi 、 Hideaki Haneishi 、 HiroyukiFukuda、Junko Kishimoto、Hiroshi Kanazawa、MasaruTsuchida、Ryo Iwama和Nagaaki Ohyama。基于光谱信息的高保真视频和静止图像通信：自然视觉系统及其应用。在光谱成像中：第八届多光谱彩色科学国际研讨会，第6062卷，第60620G页。国际光学与光子学学会，2006年。[7] 约阿夫Schechner和Shree K.纳亚尔广义镶嵌：宽视场多光谱 成像 。IEEE Transactions on Pattern Analysis andMachine Intelligence，24（10）：1334[8] 冈本隆之和山口一郎。同时获取光谱图像信息。OpticsLetters，16（16）：1277[9] 迈克尔·德库尔和尤斯塔斯·德雷尼亚克。计算机断层成像光 谱仪 ：实 验校 准和 重建结 果。 应用 光学 ，34（22）：4817[10] 曹勋、杜浩、童欣、戴琼海、林志颖。用于多光谱视频采集的棱镜掩模系统 。IEEE Transactions on PatternAnalysis and Machine Intelligence，33（12）：2423[11] 贡萨洛河戴维？阿尔塞Brady，Lawrence Carin，HenryArguello，and David S.基特尔压缩编码孔径光谱成像：一 个 介 绍 。 IEEE Signal Processing Magazine ， 31（1）：105[12] Ashwin Wagadarikar，Renu John，Rebecca Willett，andDavid Brady.编码孔径快拍光谱成像的单色散器设计。应用光学，47（10）：B44[13] 王立志，熊志伟，高大华，石光明，凤舞。编码孔径快拍光谱成像的双相机设计。Applied Optics，54（4）：848[14] 王立志，熊志伟，高大华，石光明，曾文俊，凤舞。采用双摄像头架构的高速高光谱在IEEE计算机视觉和模式识别会议上，第4942-4950页[15] 阿什温尼科斯·瓦加达里卡尔Pitsianis，Xiaobao Sun和David J.布雷迪编码孔径快照光谱成像仪的光谱图像估计来自不完整数据的图像重建，第7076卷，第707602页。国际光学与光子学学会，2008年。[16] 我是里奥A。T. 作者：RobertD. 不知道，斯蒂芬·J·赖特。稀疏重建的梯度投影：应用于压缩感知及其他逆问题 。 IEEEJournalofSelectedTopicsinSignalProcessing，第586 - 597页[17] 王立志，熊志伟，石光明，凤舞，曾文君。双相机压缩高 光 谱 成 像 的 自 适 应 非 局 部 稀 疏 表 示 。 IEEETransactionsonPatternAnalysisandMachineIntelligence，39（10）：2104[18] Ying Fu，Yinqiang Zheng，Imari Sato，and Yoichi Sato.利用光谱-空间相关性进行编码高光谱图像复原。在IEEE计算机视觉和模式识别会议上，第3727-3736页[19] Lizhi Wang，Chen Sun，Ying Fu，Min H Kim，and HuaHuang.使用深度空间-光谱先验的高光谱图像重建。在IEEE计算机视觉和模式识别会议上，第8032-8041页[20] Yang Liu ， Xin Yuan ， Jinli Suo ， David Brady ， andQionghai Dai. 用于快照压缩成像的秩最小化。IEEETransactionsonPatternAnalysisandMachineIntelligence，2018。[21] 王立志，熊志伟，黄华，石光明，凤舞，曾文君结合奈奎 斯 特 与 压 缩 取 样 的 高 速 高 光 谱 影 像 撷 取 IEEETransactionsonPatternAnalysisandMachineIntelligence，41（4）：857[22] 张世鹏，黄华，傅莹。双相机压缩超光谱成像系统的快速并行实现。IEEE Transactions on Circuits and Systemsfor Video Technology，2018。[23] Shipeng Zhang ， Lizhi Wang ， Ying Fu ， and HuaHuang.Gpu辅助实现双相机压缩超光谱成像的实时重建。 在太平 洋沿岸 多媒体 会议 上， 第711-720页。Springer，2018.[24] 谭进、马燕婷、胡佛·鲁埃达、德罗尔·巴伦和贡萨洛·R.阿尔塞通过近似消息传递的压缩高光谱成像。IEEEJournal of Selected Topics in Signal Processing ， 10（2）：389[25] Jian Sun，Huibin Li，and Zongben Xu.用于压缩感知磁共振成像的深度admm-net。神经信息处理系统的进展，第10-18页，2016年10194[26] 张健和Bernard Ghanem。Ista-net：用于图像压缩感知的可解释优化启发的深度网络。在IEEE计算机视觉和模式识别会议上，第1828-1837页[27] 作者：Daniel S. Jeon、Giljoo Nam、Diego Gutier-rez和Min H.Kim. 使 用 光 谱 先 验 的 高 质 量 高 光 谱 ACMTransactions on Graphics，36（6）：218，2017。[28] 熊志 伟、 詹氏 、李 慧群 、王立 志、 刘