深度非局部展开用于计算光谱成像

16610DNU: 深度非局部展开用于计算光谱成像0Lizhi Wang Chen Sun Maoqing Zhang Ying Fu Hua Huang北京理工大学0{lzwang, sunchen, zmq, fuying, huahuang}@bit.edu.cn0摘要0在过去几十年中，计算光谱成像一直致力于捕捉动态世界的光谱信息。在本文中，我们提出了一种用于计算光谱成像的可解释神经网络。首先，我们引入了一种新颖的数据驱动先验，可以自适应地利用光谱图像中的局部和非局部相关性。我们的数据驱动先验被集成为重建问题的正则化项。然后，我们提出将重建问题展开为一个受优化启发的深度神经网络。该网络的架构具有高度的可解释性，通过明确地描述图像相关性和系统成像模型。最后，我们通过端到端训练学习网络中的完整参数，实现了高空间光谱保真度的稳健性能。广泛的仿真和硬件实验验证了我们的方法优于现有方法的卓越性能。01. 引言0光谱图像描绘了场景的详细表示，对于从基础研究领域（例如医学诊断、医疗保健和遥感）到计算机视觉应用（例如人脸识别、外观建模和目标跟踪）的各种领域都有益处。传统的光谱仪通常沿着空间维度或光谱维度扫描场景，需要多次曝光才能捕捉到完整的光谱图像。因此，这些系统不适用于测量动态场景。为此，研究人员已经开发出了许多计算光谱成像原型[9, 29, 18, 8,58]。基于压缩感知（CS）理论[14]，编码孔径快照光谱成像（CASSI）成为一种有前途的解决方案[3, 48,50]。然而，CASSI的瓶颈在于有限的重建质量。光谱图像重建的核心问题是如何从欠采样的2D测量中推导出底层的3D光谱图像。0HC局部0HC0非局部0DL局部0DL0非局部0迭代0优化0暴力0学习0深度0展开0TwIST27.1dB03DNSR28.5dB0自编码器030.3dB0HSCNN28.6dB0NLNet29.2dB0HyperReconNet030.4dB0NLRN30.8dB0ISTA-Net31.1dB0我们的32.7dB0先验0正则化0优化0方法0图1.优化方法和先验正则化的发展趋势。我们的方法将深度展开方法和非局部先验的优势融合到一个可解释的神经网络中，该网络专门用于解决计算光谱成像的重建问题，根据PSNR达到最佳性能。注意，HC和DL分别是手工制作和深度学习的缩写。我们的代码在[1]处开源。0测量。理论上，重建质量受两个方面的影响：先验正则化和优化方法。由于重建问题是欠定的，需要基于图像先验进行正则化，以描述光谱图像的结构特征。以前的方法在局部窗口内建模图像先验，如全变差（TV）[55]、马尔可夫随机场（MRF）[46]和稀疏性[15]。最近提出的深度去噪先验[61]也是一种局部先验，因为它逐渐处理来自局部邻域的信息[54]。与局部先验相补充，非局部先验是光谱图像重建中利用长程相关性的替代方法[52,31]。然而，现有的基于非局部先验的正则化方法，如非局部均值[7]、协同过滤[12]和联合稀疏性[35]，需要手动调整参数以处理不同场景的特征。除了先验正则化，优化方法对于重建质量也至关重要。早期的CASSI发展通常采用基于模型的优化技术[5,16]。后来，一些工作提出学习压缩图像和光谱图像之间的暴力映射。16620然而，这些方法忽略了系统成像模型。因此，在实际系统中使用时缺乏灵活性，因为不同硬件实现之间的系统成像模型差异很大。最近，研究人员在自然图像压缩感知领域开发了一些基于深度展开的优化方法，这些方法用神经网络代替了基于模型的优化中的迭代过程。然而，它们仍然通过明确强制特征图稀疏来继承局部先验。本文提出了深度非局部展开，一种可解释的计算光谱成像神经网络。首先，我们引入了一种新颖的数据驱动先验，以提高空间-光谱保真度。我们的数据驱动先验明确学习了局部先验和非局部先验。我们进一步通过自适应学习贡献权重来研究局部先验和非局部先验的平衡。然后，我们将我们的正则化器纳入重建问题，并将重建问题展开为一个基于优化启发式的深度神经网络（DNN）。网络的架构通过明确描述图像先验和系统成像模型而直观可解释。最后，我们通过端到端训练学习重建网络中的完整参数，以实现高精度的鲁棒性能。广泛的仿真和硬件实验验证了我们的方法在性能上优于现有方法。02. 相关工作02.1. 光谱图像先验0基于图像先验的正则化是解决欠定优化问题的基本技术，对于计算光谱成像至关重要。由于很难对高维光谱图像的先验进行建模，大多数先前的方法都集中在描述局部区域内光谱图像结构的图像局部先验上。通过对图像梯度进行正则化，TV模型对光谱图像施加了一阶平滑先验。稀疏表示方法建立了一个字典来对图像块进行稀疏建模。然而，手工设计的图像先验无法捕捉各种光谱图像中的特征。最近，通过利用大型数据集，提出了基于深度学习的深度去噪先验的概念，通过学习一种隐式但更准确的先验来进行计算光谱成像。类似的思想也被应用于基于自动编码器的计算光谱成像。由于网络通过卷积从局部邻域提取信息，深度去噪先验和自动编码器先验也属于局部先验。0为了利用长程相关性，NLS（非局部相似性）先验在文献中得到了广泛研究。利用NLS的现成方法是基于相似块之间的欧氏距离。在稀疏表示和低秩逼近的框架下，NLS先验在计算光谱成像中取得了令人印象深刻的结果，证明了NLS在光谱图像重建中的有效性。NLS先验在深度学习框架中进一步研究，其中块匹配操作被视为将相似块输入神经网络之前的预处理步骤。为了提高块匹配的准确性，通过在隐式变换域中利用NLS，提出了一种用于视频分类的非局部神经网络。然后将非局部神经网络模块嵌入到递归神经网络中进行图像恢复。本文遵循NLS开发趋势的方法。我们进一步提出了一种专门用于计算光谱成像的可解释神经网络。02.2. 光谱图像重建0除了先验正则化之外，计算优化方法在计算光谱成像中起着重要作用，用于忠实重建。以前，基于模型的迭代优化方法被用于与手工先验相结合[5, 16,29]。然而，这些方法必须迭代地解决优化问题，因此受到参数调整和高计算复杂性的影响。后来，为CS图像重建开发了基于学习的方法[39, 26, 33,36]。计算光谱成像的学习方法的第一类是将压缩图像与期望图像之间进行暴力映射[53, 38,63]。然而，这些方法只能在训练期间使用的特定系统成像模型上工作。由于编码光阑像素与传感器像素之间的像素对应关系容易改变，系统成像模型会有所变化并与训练期间使用的模型不同。因此，这些方法在实际硬件系统中缺乏灵活性。为此，深度展开优化方法已被用于图像CS[60, 45, 34,49]。这些方法将优化中的迭代展开成一个DNN，并同时学习优化参数和网络参数。尽管基于深度展开的方法已经取得了最先进的结果，但它们仍然继承了局部先验来正则化优化。正如我们上面讨论的，局部先验比非局部先验更弱。本文的动机源于基于NLS的正则化与基于模型的优化方法的成功。在本文中，我们深入研究了一个可解释的DNN，将NLS先验和数学优化方法集成到压缩光谱成像中。Φ = [d(C1), · · · , d(Cλ), · · · , d(CΛ)],(4)MNMNMN�ˆf = arg minf ||g − Φf||2 + τR(f),(5)ˆf = arg minf ||g − Φf||2 + τR(h),s.t.h = f.(6)( ˆf, ˆh) = arg minf,h ||g −Φf||2 +η||h−f||2 +τR(h), (7)ˆf (k+1) = arg minf ||g − Φf||2 + η||h(k) − f||2,(8)ˆh(k+1) = arg minh η||h − f (k+1)||2 + τR(h).(9)16630场景 目标0透镜0编码光阑0中继透镜 探测器 色散0棱镜0图2. CASSI系统示意图。0优化方法。在本文中，我们深入研究了一个可解释的DNN，将NLS先验和数学优化方法集成到压缩光谱成像中。03. 方法03.1. 系统成像模型0计算光谱成像是通过光学编码光谱信息，然后通过计算重建来恢复光谱信息的一种增长趋势。让我们从对CASSI成像模型的深入分析开始。图2显示了CASSI的示意图。光谱信息首先通过具有固定模式的编码光阑进行空间调制，然后通过色散棱镜进行光谱分散，最后被探测器检测到。从数学上讲，考虑到具有Λ个波段{Fλ}Λ1 ∈ R M ×N的光谱图像块被具有模式C ∈ R M ×N的编码光阑调制，测量值G ∈ R M × N可以表示为0G =0λ =1 C λ ◦ F λ, (1)0其中◦表示逐点乘积。Cλ表示按照色散函数J(λ)将编码光阑进行移动得到的波段调制0C λ (m, n) = C(m − J(λ), n), (2)0其中m和n索引空间坐标。注意方程（2）假设沿垂直维度存在色散，后续推理也适用于水平色散。CASSI成像模型可以重写为矩阵-向量形式0g = Φf, (3)0其中g ∈ R MN和f ∈ R MNΛ是压缩图像和底层光谱图像的矢量化表示，Φ ∈ R MN ×MNΛ是描述系统成像模型的感知矩阵。我们观察到感知矩阵Φ是一个分块对角矩阵，可以写成0其中 d(∙)表示使用操作符构建对角矩阵。回顾方程（2），我们可以看到：0编码孔径0感知矩阵0重复和移位重塑0图3.从编码孔径到感知矩阵的转换。为了合成块对角感知矩阵，首先将编码孔径重塑为一个向量，然后在水平方向上重复，每次在垂直方向上进行均匀移位，重复次数与光谱带数相同。0感知矩阵 Φ 仅取决于编码孔径C。图3显示了从编码孔径到感知矩阵的转换，其中假设了一个大小为4 × 4 ×3的光谱图像块。感知矩阵包含与光谱带数相同数量的对角模式。每个对角模式对应于矢量化的编码孔径，并且相邻的对角模式具有均匀的移位。值得注意的是，感知矩阵 Φ的特殊结构将导致 ΦΦ �成为一个对角矩阵，这决定了我们网络架构的发展。03.2. 可解释的展开重建0给定压缩图像 g 和感知矩阵Φ，后续任务是估计潜在的光谱图像。由于重建问题严重欠定，需要解决以下最小化问题[44]：0其中 R(∙) 是对解的图像先验的正则化项，τ是调整数据项和正则化项权重的参数。方程（5）中的优化问题不能直接求解，一般的策略是将其分解为两个子问题。通过引入一个辅助变量，方程（5）可以写成一个约束优化问题：0然后，我们采用半二次分裂（HQS）方法将上述约束优化问题转化为非约束优化问题0其中 η 是惩罚参数。方程（7）可以分解为两个子问题：h(k+1) = S(f (k+1)).(10)f (k+1) = (Φ⊺Φ + ηI)−1(Φ⊺g + ηh(k)),(11)ΦiΦ⊺i = diag{φ1, ...φi, ..., φMN},(12)where φi can be pre-calculated according to the coded aper-ture pattern C. By following the matrix inverse lemma, thematrix inversion in Eq. (11) can be written as(Φ⊺Φ+ηI)−1 = η−1I −η−1Φ⊺(I +Φη−1Φ⊺)−1Φη−1.(13)According to Eq.(12), we know(I + Φη−1Φ⊺)−1 = diag{ηη + φ1, ...ηη + φi, ...ηη + φn}(14)By plugging Eq. (12), Eq. (13) and Eq. (14) into Eq. (11)and simplifying the formula, we havef (k+1) = h(k) + Φ⊺[(g − Φh(k))./(η + ΦΦ⊺)].(15)In this manner, the f−subproblem can be solved to obtainan accurate solution. Further, the calculation of Eq. (15)only needs linear operations with much fewer computa-tional cost compared with the iterative CG-based method.We then unify the two subproblems as a whole by sub-stituting Eq. (10) into Eq. (15)f (k+1) = S(f (k)) + Φ⊺[(g − ΦS(f (k)))./(η + ΦΦ⊺)].(16) ����Spectral imageprior network S��./�� + ���)⊕⊕�� ���� ���−�� ����RecursionCompressiveImage �Spectralimage �Figure 4. Illustration of the proposed neural network. The networkintegrates the insight of the optimization method and exploits thespecific structure of the sensing matrix. It is composed of multiplerecursion, and each recursion includes one spectral image priornetwork concatenated with some linear connections that accordswith the imaging model.We would like to highlight that it is the first time to deducethe recursion formula in Eq. (16) for the regularization-based optimization, owning to the specific structure of thesensing matrix in computational spectral imaging.To faithfully solve Eq. (16), we propose to unroll therecursion via a DNN, as shown in Figure 4.The net-work is composed of multiple recursions, each of whichincludes one spectral image prior network (as introduced inSec. 3.3.) concatenated with linear connections that accordswith Eq. (16). In the proposed network, the recursions runin a feed-forward manner. The network is trained end-to-end to obey the imaging model and exploit the image priorssimultaneously, which is advantageous over the separativesolvers in previous methods.Specifically, the input compressive patch g is first fedinto a linear layer parameterized by the transpose of thesensing matrix Φ⊺. The output vector is treated as the ini-tialization: f (0) = Φ⊺g. For the kth recursion, the inputf (k−1) is successively fed into the spectral image prior net-work S(·) and a residual network block [22]. In the resid-ual network block, the identical connection and the residualconnection mimic the first part and second part in Eq. (16),respectively. In the residual connection, the input is fedinto a linear layer parameterized by Φ, summed up with thecompressive image g and followed by linear connectionsparameterized by η + ΦΦ⊺ and Φ⊺, respectively. Such re-cursion is run K times. According to the recent evidencein [60, 11], we set the recursion number K = 11 in thefollowing simulations and experiments, to obtain a balancebetween accuracy and memory.16640在这个观点中，HQS算法将感知矩阵 Φ 和正则化 R(∙)分开，这两个子问题可以交替求解。在本节中，我们重点研究方程（8）中 f子问题的一个合理解决方案。请注意，我们将在第3.3节中使用光谱图像先验网络来解决 h 子问题。这里我们将跳过 h子问题的细节，只给出一个通用求解器来实现后续推导：0方程（8）中的 f子问题是一个二次正则化最小二乘问题。可以给出一个闭合形式，如下所示：0其中 I是一个具有所需维度的单位矩阵。图像恢复领域中的先前方法广泛认为，由于矩阵 Φ � Φ + η I非常大，直接计算逆矩阵是不可能的[13, 42,41]。相反，采用迭代共轭梯度（CG）算法，然而，这需要很多迭代次数，并不能保证找到精确解。在本文中，由于感知矩阵 Φ具有特定的结构，如图3所示，我们改进了最近的进展[59,31]，直接计算方程（11）的精确解。具体来说，给定一个块对角感知矩阵 Φ ∈ R MN × MNΛ，我们可以简单地计算一个对角矩阵 Φ i Φ � i，如下所示：ConvReLUConvLocal prior branchConv1 × 1 × Λ⊗16650�0NLS先验分支0⊕0Λ0Λ01 - �0�(�+�)�(�+�)0ReLU0图5.光谱图像先验网络的架构。它包含一个局部先验分支和一个NLS先验分支，通过可学习的权重自适应地集成在一起。03.3.神经局部和非局部先验0现在我们转而讨论方程（9）中的h子问题，实际上是在点f(k+1)处计算的R(h)的近端算子。此外，已经证明光谱图像中存在局部先验和NLS先验[52,62]。因此，我们提出明确地将这两种类型的先验纳入到近端算子的一般形式中，如方程（9）所示。0ˆh(k+1) = arg min h η || h - f(k+1) ||2 + τlRl(h) + τnRn(h),0（17）其中Rl(h)和Rl(h)分别表示基于局部先验和非局部先验的正则化项，τl和τn是正则化参数。我们提出使用定制的神经网络直接学习用于近端算子的求解器S(∙)，而不是显式建模正则化项并求解近端算子。通过这种方式，光谱图像先验不是显式建模，而是通过神经网络进行学习，这引入了先验建模中的非线性性，并提高了手工设计的图像先验的准确性。光谱图像先验网络的结构如图5所示。两个直觉指导光谱图像先验网络的设计。首先，它应该能够同时利用局部先验和NLS先验。其次，它应该尽可能简单，以便于训练。根据这些直觉，我们提出了一个光谱图像先验网络，它包含两个分支：局部先验分支和NLS先验分支。局部先验分支简单，只包含两个线性卷积层，之间插入一个修正线性单元（ReLU）层。这个设计受到了图像超分辨率方面的优秀工作的启发，该工作去除了神经网络中的不必要的层（如批归一化）[28]。在局部先验分支中，第一个卷积层使用3×3×Λ的滤波器，产生L=64个特征，而第二个卷积层使用3×3×L的滤波器，产生Λ个特征。NLS先验分支根据非局部均值操作的原则进行设计[7]。具体而言，NLS先验0（b）图6.具有（w/）和不具有（w/o）NLS先验的方法的性能比较。（a）训练误差。（b）峰值信噪比。0分支输入中间光谱图像f并生成精化输出ˆf。非局部操作的通用公式为0ˆfi = ReLU(�0j d(fi, fj)ψ(fj)) (18)0其中 i 和 j 是空间位置的索引。一对一函数 d(∙, ∙)计算表示两个位置输入之间的距离（即相似性）的标量。函数 ψ(∙) 计算输入的嵌入表示。为简单起见，我们将 ψ(∙)设置为线性卷积嵌入，并将 d(∙, ∙) 设置为点积相似性：d(fi,fj) =fi�fj。符合公式（18）的NLS先验分支如图5所示。嵌入中的卷积使用1×1×Λ的卷积核并生成Λ个滤波器。最后，我们提出使用权重参数ω将局部先验分支和NLS先验分支进行整合。我们在光谱图像先验网络中进一步采用残差网络设计[22]，因为残差学习可以实现快速稳定的训练并减轻计算负担。图6显示了训练损失和从NLS先验分支获得的最终峰值信噪比的改善，验证了网络设计的直觉。03.4. 自适应参数学习0网络构建完成后，我们通过端到端训练来训练网络，同时学习网络参数和优化参数。在我们的实现中，所有参数在每次递归中都被设置为不同的值，随着递归次数的增加，重建质量得到改善，因此网络参数和优化参数应相应改变。需要强调的是，我们提出了一种自适应学习参数ω的方法，而不是手动设置参数ω，以自适应地平衡局部先验和NLS先验的贡献。给定一组光谱图像块F(l)及其对应的压缩块g(l)作为训练样本，网络根据基于均方误差的损失函数进行训练。16660表1. ICVL和Harvard数据集（3%压缩比）上的性能比较。最佳性能以粗体标注。0数据集 指标 TwIST GPSR BPDN 3DNSR SSLR HSCNN ISTA-Net 自编码器 HyperReconNet 我们的方法0ICVL0PSNR 26.15 24.56 26.77 27.95 29.16 29.48 31.73 30.44 32.36 34.270SSIM 0.936 0.909 0.947 0.958 0.964 0.973 0.984 0.970 0.986 0.9910SAM 0.053 0.09 0.052 0.051 0.046 0.043 0.042 0.036 0.037 0.0340Harvard0PSNR 27.16 24.96 26.67 28.51 29.68 28.55 31.13 30.30 30.34 32.710SSIM 0.924 0.907 0.935 0.94 0.952 0.944 0.967 0.952 0.964 0.9780SAM 0.119 0.196 0.155 0.132 0.101 0.118 0.114 0.098 0.115 0.0910时间(s) 555 302 705 8648 6986 3.11 1.15 521 30 0.980可以表示为0(¨Θ, ¨η) = arg minΘ, η 1 L0l=1 || F(g(l); Θ, η) - F(l) ||2, (19)0其中，F(∙)表示网络在给定输入和参数的情况下的输出。我们使用TensorFlow实现网络，使用随机梯度下降方法最小化损失函数，并将其训练至150个epochs。图6a显示了测试损失随训练epochs的变化情况，验证了所提方法的收敛性。小批量大小和动量分别设置为64和0.9。学习率初始值为0.001，并在每十个epochs指数衰减至90%。网络参数使用[19]中的方法进行初始化。我们使用一台配备有Intel Corei7-6800K CPU、64GB内存和NVIDIA Titan X PASCALGPU的机器。04. 在合成数据上的模拟04.1. 配置0为了全面评估，我们在两个公共光谱数据集上进行了模拟，即ICVL数据集[2]和Harvard数据集[10]。获取这些数据集的光谱相机的基本配置不同，因此来自不同数据集的图像具有多样性和异质性。具体而言，ICVL数据集中的光谱图像是使用Specim PS KappaDX4光谱相机和旋转台进行空间扫描获取的。光谱范围为400nm至700nm，分为31个光谱波段，每个波段的带宽约为10nm。ICVL数据集中有201个光谱图像。为避免过拟合，我们排除了31个具有相似背景的光谱图像和20个具有相似内容的光谱图像。然后我们随机选择了100个光谱图像进行训练，50个光谱图像进行测试。Harvard数据集中的光谱图像是使用CRI NuanceFX光谱相机和液晶可调滤波器进行光谱扫描获取的。光谱范围为420nm至720nm，共有31个光谱波段。Harvard数据集包含50个具有不同自然场景的光谱图像。我们删除了6个质量较差的光谱图像。0大面积饱和像素，并随机选择35个光谱图像进行训练和9个光谱图像进行测试。我们将补丁大小设置为48×48，并随机选择80%的补丁进行训练，其余补丁进行验证。编码孔径模式是通过遵循伯努利分布中的随机矩阵构建的，其中p =0.5。然而，测试和训练中的编码孔径模式完全不同，因为这种配置代表了硬件系统中的实际情况，其中系统成像模型对变化非常敏感。我们将我们的方法与包括五种基于手工先验的方法在内的九种主流方法进行比较：基于TV的TwIST方法[24]，基于稀疏性的GPSR方法[48]和BPDN方法[29]，基于NLS的3DNSR方法[52]和SSLR方法[17]，以及四种基于学习的方法：HSCNN[57]，ISTA-Net[60]，Autoencoder[11]和HyperReconNet[53]。所有竞争方法的代码都是公开发布或由作者私下提供给我们的，我们也付出了很大努力来产生他们最好的结果。我们采用了三个定量图像质量评估指标来评估这些方法的性能，包括峰值信噪比（PSNR），结构相似性（SSIM）[56]和光谱角映射（SAM）[25]。PSNR和SSIM是在每个2D空间图像上计算的，并在所有光谱波段上进行平均。PSNR和SSIM的值越大，空间域中的准确性越高。SAM是在每个1D光谱向量上计算的，并在所有空间点上进行平均。SAM的值越小，光谱域中的误差越小。04.2. 评估0数值结果。表1总结了在ICVL和Harvard数据集上的数值结果，其中压缩比为3%。根据空间和光谱领域的指标，所提出的方法在所有现有方法中表现出色，这证明了NLS和深度展开的集成的优越性。具体而言，我们的方法相对于基于手工先验的方法表现出明显更高的准确性。这表明我们的方法通过光谱图像先验网络能够捕捉到更准确的先验。此外，我们的方法相对于暴力学习方法的收益，RMSE SAMTwIST0.116 0.046GPSR0.144 0.137BPDN0.091 0.0603DNSR0.093 0.097SSLR0.095 0.065HSCNN0.063 0.033ISTA-Net0.034 0.032Autoencoder0.052 0.021HyperReconNet 0.057 0.027Set1110%22.6524.2825.8025.964%20.1220.6321.2322.11BSD6810%23.1224.1525.0225.464%21.3221.6622.1222.9416670压缩图像 TwIST GPSR BPDN 3DNSR SSLR (21.57 / 0.904) (20.76 / 0.892) (23.59 / 0.944) (24.84 / 0.957) (23.86 / 0.941)0HSCNN ISTA-Net Autoencoder HyperReconNet 我们的方法 真实值 (27.30 / 0.979) (27.31 / 0.985) (28.22 / 0.984) (29.86 /0.988) ( 33.64 / 0.994 ) (PSNR / SSIM)0图7. 视觉质量比较。结果图像的PSNR和SSIM显示在括号中。我们的方法在感知质量和定量指标方面均优于所有竞争方法。0我们的方法 0.018 0.0110图8.光谱准确性比较。点在图7中指示。与其他方法相比，我们方法重建的光谱与参考光谱更接近。RMSE和SAM的数值进一步证明了我们方法在光谱保真度上的优越性。0即HSCNN和HyperReconNet等方法证明了我们对深度展开的特定架构的有效性。最后但并非最不重要的是，我们的方法比ISTA-Net和Autoencoder要好得多，后者是基于学习的方法，但仅使用局部先验。我们将这归因于我们方法中对NLS先验的利用。感知质量。我们在图7中展示了来自ICVL数据集的一幅代表性图像的重建结果。为了同时展示所有光谱波段的结果，我们通过CIE色匹配函数将光谱图像转换为sRGB。我们还为每个结果图像提供了PSNR和SSIM值。显然，与其他方法相比，所提出的方法可以产生具有更少伪影和更清晰边缘的视觉上令人愉悦的结果，这与数值指标一致。0表2. 自然图像压缩感知性能比较0数据集 CS比例 SDA ReconNet ISTA-Net 我们的方法0光谱保真度。图8绘制了图7中一个点的恢复光谱。我们的方法重建的光谱与参考光谱最接近。RMSE和SAM进一步证明了我们的方法在光谱保真度方面的卓越性能。计算复杂度。表1列出了重建大小为512×512×31的光谱图像的运行时间。所有代码都是在Intel Core i7-6800KCPU上实现的。可以看出，我们的方法与ISTA-Net和HSCNN（以秒为单位）相当，并且比其他方法快得多。在我们的方法中，光谱图像先验网络的总乘法次数约为M×N×10^5。相比之下，例如，GPSR方法采用稀疏编码技术来解决近端操作，当使用2×过完备字典时，其乘法次数约为M×N×10^7。在自然图像压缩感知方面的普遍性。提出的深度非局部展开模型是一种通用的图像恢复模型。为了测试其在光谱成像之外的普遍性，我们按照[26,60]中的配置对自然图像压缩感知进行进一步的模拟。我们将我们的方法与三种最先进的基于优化的方法进行比较：SDA [39]，ReconNet [26]和ISTA-Net[60]。表2列出了Set11和BSD68上两个CS比例的平均PSNR结果。可以观察到，我们的方法优于所有竞争方法，进一步证明了深度非局部展开的优点。(c) TwIST(d) BPDN(e) 3DNSR(f) SSLRRMSE SAMTwIST0.109 0.563BPDN0.093 0.4763DNSR0.095 0.491SSLR0.090 0.46116680(a) 压缩图像0(b) 参考0(g) 自编码器0图9.实际捕获数据的比较。除了重建结果，我们还展示了目标的压缩图像和全色图像作为参考。与其他方法相比，我们的方法可以产生具有更清晰视觉信息的结果。所选波段的中心波长为632nm。0表2列出了Set11和BSD68上两个CS比例的平均PSNR结果。可以观察到，我们的方法优于所有竞争方法，进一步证明了深度非局部展开的优点。05. 在硬件系统上的实验0我们在一个真实的硬件系统上进行实验，以证明我们的方法的实用性。为了处理真实场景，我们通过结合两个数据集中的光谱图像对网络进行重新训练。图9显示了我们的方法与TwIST、BPDN、3DNSR、SSLR和自编码器一起重建的图像。我们还捕获了目标的全色图像作为参考。可以看到，我们的方法可以产生更好的结果，具有更少的伪影和更清晰的内容。0自编码器 0.056 0.2880我们的方法 0.023 0.1200图10.光谱准确性的比较。该点在图9中标示。与其他方法相比，我们的方法重建的光谱更接近参考光谱。RMSE和SAM数值进一步证明了我们的方法在光谱保真度方面的优越性。0与其他方法相比，我们的方法在定性结果和光谱图中提供了更好的结果。参考光谱是通过商业光谱仪（OceanOptics）获得的。与其他方法相比，我们的方法重建的光谱更接近参考光谱。RMSE和SAM数值进一步显示了我们的方法在光谱保真度方面的优越性，这证明了我们的方法在实际硬件系统中的有效性。06. 结论0在本文中，我们提出了一种可解释的神经网络用于计算光谱成像。所提出的方法综合了深度展开和NLS的优点，具体如下：（1）通过利用感知矩阵的分块对角性质，我们推导出一种新的递归公式，基于此我们开发了一种可解释的神经网络来解决计算光谱成像中的重建问题。（2）通过认识到以前的深度学习方法仅通过局部卷积考虑局部先验，我们提出了一种机制来自适应地将非局部先验融入光谱图像先验网络中。我们的方法不需要优化参数调整，并且降低了计算复杂度。我们还验证了所提出方法在真实硬件原型上的有效性。感兴趣的未来方向是将所提出的方法扩展到更多的光谱图像处理问题，例如光谱插值和去马赛克。另一个方向是加速所提出的方法以达到视频速率的重建，从而实现高光谱视频的实时获取。0致谢0本工作部分得到了中国国家自然科学基金（Grant61701025和Grant61672096）的支持，部分得到了北京市科技计划（GrantZ181100003018003）和北京理工大学青年学者研究基金项目的支持。16690参考文献0[1] https://github.com/wang-lizhi/DeepNonlocalUnrolling. 10[2] B. Arad and O. Ben-Shahar.从自然RGB图像中稀疏恢复高光谱信号. In European Conferenceon Computer Vision, pages 19–34, 2016. 60[3] G. Arce, D. Brady, L. Carin, H. Arguello, and D. Kittle.压缩编码光谱成像：简介. IEEE Signal Processing Magazine,31(1):105–115, 2014. 10[4] V. Backman, M. B. Wallace, L. Perelman, J. Arendt, R.Gurjar, M. M¨uller, Q. Zhang, G. Zonios, E. Kline, T. McGilli-can, et al. 检测早期癌细胞. Nature, 406(6791):35, 2000. 10[5] J. M. Bioucas-Dias and M. A. Figueiredo.新的变化：两步迭代收缩/阈值算法用于图像恢复. IEEETransactions on Image Processing, 16(12):2992–3004, 2007.1, 20[6] M. Borengasser, W. S. Hungate, and R. Watkins.高光谱遥感：原理与应用. CRC press, 2007. 10[7] A. Buades, B. Coll, and J.-M. Morel.一种用于图像去噪的非局部算法. In IEEE Conference onComputer Vision and Pattern Recognition, volume 2, pages60–65, 2005. 1, 50[8] X. Cao, H. Du, X. Tong, Q. Dai, and S. Lin.用于多光谱视频采集的棱镜-掩膜系统.