HerosNet: 高光谱可解释重建和最优采样深度网络

175320HerosNet：用于快照压缩成像的高光谱可解释重建和最优采样深度网络0Xuanyu Zhang 1 , Yongbing Zhang 2 , Ruiqin Xiong 3 , Qilin Sun 4 , Jian Zhang 1 , 501 北京大学深圳研究生院，中国深圳 2 哈尔滨工业大学深圳研究生院，中国深圳 3 北京大学，中国北京4 香港中文大学深圳研究院，中国深圳 5 鹏城实验室，中国深圳0摘要0高光谱成像是一种重要的成像模态，广泛应用于遥感、农业和医学等领域。受到现有高光谱相机速度慢、价格昂贵或体积庞大的限制，从低成本的快照测量中重建高光谱图像（HSIs）引起了广泛关注。通过将截断的数值优化算法映射到具有固定阶段数的网络中，最近的深度展开网络（DUNs）用于光谱快照压缩感知（SCI）取得了显著的成功。然而，由于缺乏跨阶段特征交互和自适应参数调整，DUNs远未达到工业应用的范围。在本文中，我们提出了一种新的高光谱可解释重建和最优采样深度网络（HerosNet），它在ISTA展开框架下包括多个阶段。每个阶段可以灵活地模拟感知矩阵，并在梯度下降步骤中上下文地调整步长，并分层融合和交互前几个阶段的隐藏状态，以有效地恢复当前HSI帧。同时，学习了一种硬件友好的最优二进制掩码，进一步提高了重建性能。最后，我们的HerosNet在模拟和真实数据集上都验证了比现有方法更好的性能。源代码可在https://github.com/jianzhangcs/HerosNet上获得。01. 引言0随着人工智能和机器人技术的发展，对于捕捉和感知高光谱图像的需求不断增加。0本工作得到深圳市基础研究项目（No.GXWD20201231165807007-20200807164903001）和国家自然科学基金（61902009）的部分支持。（通讯作者：张健）0图1. CASSI系统的示意图和所提出的HerosNet和DGSM[13]在真实数据集上的一些可视化结果。我们重建的HSIs具有更清晰的边缘和更详细的纹理，而DGSM的结果则有更多的噪声和伪影。0近年来，对光谱图像的感兴趣程度急剧增加[3, 6, 12,47]。基于传统的压缩感知（CS）[51,54]，光谱快照压缩感知（SCI）系统旨在通过2D探测器记录3D场景。它具有带宽低、成本低和数据吞吐量高的优点，在遥感、目标检测、超分辨率和医学诊断等广泛应用中发挥着越来越重要的作用[2, 8, 14, 18, 25, 36, 38,55]。本文重点研究了一种名为编码孔径快照光谱成像仪（CASSI）[11, 21,30]的典型成像系统，它通过编码孔径（即物理掩膜）调制光谱帧，并通过色散器在光谱维度上进行移动。0在过去的几年中，对通过CASSI压缩的HSIs进行了大量的重建方法研究，包括基于模型的方法和基于深度学习的方法。传统的基于模型的方法[5, 15, 16, 29, 34, 40, 41,46]通常会寻找最优解。175330这些方法通过迭代和优化来将结果精确到所需的信号域。尽管这些方法具有很高的可解释性，但它们受到手工设计的先验知识和重建速度慢的限制。由于深度学习的发展，已经使用了几种基于学习的方法[20, 22-24, 26, 39, 43, 56,57]来重建HSIs，它们直接从2D测量学习到3D高光谱立方体的逆映射。与基于模型的方法相比，它们往往大大降低了时间复杂度，并取得了更好的性能。然而，它们并没有明确体现系统成像模型，只是作为一个黑盒子进行训练。0最近，一些研究者将DUNs引入到HSI重建任务中，将基于模型和基于学习的方法的优势结合起来[13, 17, 19, 31, 32,53]。DUNs通过梯度下降模块执行迭代过程，并通过深度先验模块对中间结果进行优化。尽管现有的DUNs在一定程度上缓解了基于模型和基于学习的方法的一些缺点，但仍然存在一些问题需要解决。首先，如何有效地在不同阶段之间相互交互和融合特征是提高重建质量的关键。大多数现有的DUNs没有建立起前后阶段之间的联系。随着阶段数量的增加，有益信息往往在信息传输过程中丢失。此外，受CS中的记忆机制的启发，前一阶段的隐藏状态可以为当前阶段的计算提供补充信息。因此，引入不同阶段之间的特征交互机制以获得增强的特征表示是必要的。其次，在过去的研究中忽略了如何动态学习梯度下降模块中的参数。以前的研究者通常将这些参数视为固定常数来压缩HSIs。然而，固定参数无法在不同场景中进行自适应和上下文调整，这将导致次优的重建结果并限制DUNs的灵活性。第三，针对HSIs，现有的DUN没有将掩膜优化和图像重建结合到一个统一的框架中，无法完全保留HSIs的结构和信息。0受ISTA的启发，提出了一种新的用于SCI的高光谱可解释重建和最优采样的深度网络，称为HerosNet。特别地，该网络由采样子网络、初始化子网络和恢复子网络组成。受ISTA-Net及其变体的成功启发[37, 44,49]，恢复阶段通过动态梯度下降模块(DGDM)更新当前估计，并通过分层特征交互模块(HFIM)优化粗略估计。由于每个恢复阶段对应一个ISTA迭代，并且所有参数都是0通过端到端学习，网络具有高质量的重建能力和强解释性。例如，在图1中，所提出的HerosNet的结果比DGSM[13]的结果具有更清晰的细节纹理。总的来说，我们的贡献可以总结如下。0•提出了一种新颖的基于ISTA的深度展开网络，称为HerosNet，用于联合学习二进制最优掩膜和恢复高质量HSIs。0•引入了动态梯度下降模块(DGDM)，可以灵活模拟感知矩阵并在梯度下降步骤中调整步长。0•设计了一个分层特征交互模块(HFIM)，用于在近似映射步骤中融合和交互前一阶段的隐藏状态，以恢复当前阶段的HSI帧。0•我们的HerosNet在模拟和真实数据集上的表现远远超过现有方法。02. 相关工作02.1. HSI重建算法0基于模型的方法：基于模型的方法通过受图像先验启发的正则化项迭代地解决了逆问题。在[5]中，设计了一种两步迭代收缩/阈值(TwIST)算法，以保持良好的重建性能并提高收敛速度。在[46]中，应用了总变差优化来进行HSI重建，并利用广义交替投影(GAP)算法来解决优化问题。在[15]中，学习了一个过完备字典来利用稀疏表示并重建HSIs。在[40,41]中，将HSI重建任务视为最大似然估计，并引入了高斯混合模型(GMM)来建模HSIs的数据分布。最近，在[16]中，将HSIs的非局部自相似性和秩最小化策略纳入到交替方向乘子法(ADMM)的框架中，取得了传统基于模型方法中最好的性能。尽管这些方法在特定应用中产生了不错的结果，但很难设计适用于所有场景的手工先验。基于深度学习的方法：依靠深度网络的强大表示能力，基于学习的HSI重建方法越来越受到关注。根据是否从优化过程中展开，学习-based方法通常分为两类。在没有深度展开的方法中，端到端的深度网络倾向于直接学习从2D测量到3D高光谱立方体的非线性映射。例如，Miao等人。Xi = M ⊙ Xi,C175340图2.所提出的HerosNet的示意图，包括采样子网、初始化子网和恢复子网。恢复子网由K个阶段组成。每个阶段由动态梯度下降模块（DGDM）和分层特征交互模块（HFIM）组成。在训练过程中，HerosNet将3D高光谱立方体x作为输入，获取压缩测量y，并生成重建的HSI帧x(K)和最优掩膜M。在测试过程中，HerosNet通过优化的二进制掩膜M压缩高光谱立方体x，并重建HSI帧x(K)。0al.[24]引入了双阶段生成模型来提取光谱和空间信息。Meng等人[20]将三个自注意力模块嵌入到U-Net骨干中，从而实现了高质量和实时重建。除了端到端网络外，插入和播放（PnP）框架[48,57]将预训练的深度去噪器纳入优化过程，并有效地将图像信号投影到所需的域中。最近，将深度图像先验与PnP机制相结合，构建了一个未经训练的自监督网络[22]。尽管这些方法在重建HSIs方面起到了一定的作用，但它们都面临着一些不可避免的挑战。例如，端到端深度网络缺乏可解释性，而PnP框架非常缓慢。在深度展开方法中，Wang等人[31]展开了半二次分裂（HQS）方法，并设计了一个空间-光谱深度先验来提高数据的准确性。此外，HSIs的局部和非局部相关性[32]也被考虑在先验设计中。Zhang等人[53]通过深度CP分解学习了张量低秩光谱先验。最近，Huang等人[13]提出了一个深度高斯混合模型，学习了尺度先验，并通过3D滤波器估计图像的局部均值。尽管这些方法取得了巨大的成功，但缺乏跨阶段特征交互和内容感知参数调整仍然是重建性能的主要瓶颈。因此，本文提出了一种新颖的DUN，以有效利用跨阶段相关性并自适应地更新参数。02.2. 掩膜优化算法0一些现有的传统CS工作探索了联合掩膜优化和图像重建的可能性。例如，Zhang等人[50]提出了一种基于约束优化的网络，用于自适应采样和恢复。You等人[45]引入了随机掩膜优化算法。0领域投影增强策略用于学习任意采样矩阵并提高模型的泛化能力。在光谱SCI中，Arguello等人[4]将掩膜优化转化为基于受限等距性质（RIP）理论的秩最小化问题。此外，Wang等人[33]将移位的3D数据立方体重新排列，并将其分为四个参数共享的子块以进行采样掩膜学习。同时，Zhang等人[52]设计了一个端到端可学习的自动编码器来优化照明模式并压缩HSIs。尽管上述方法在一定程度上实现了自适应采样，但将掩膜优化与光谱SCI中的DUN相结合仍然具有挑战性，值得探索。03. 提出的方法03.1. 问题描述0在CASSI系统中，首先通过编码孔径（即物理掩膜）调制3D高光谱立方体，然后通过色散棱镜进行分散。从数学上讲，考虑由C个HSI帧组成的序列{Xi}Ci=1∈RH×W，它们通过掩膜M∈RH×W进行调制：0其中X'i是调制的HSI帧，⊙是Hadamard（逐元素）乘积。然后，不同波长的调制HSI帧在元素方式上进行空间移位和求和。因此，将调制的HSI帧{X'i} Ci = 1 ∈RH×W压缩为编码测量，如下所示：0Y（m，n）=0i = 1 X' i（m，n + di）+N，（2）0其中m，n表示空间坐标，di表示第i个通道的移位距离。N∈RH×（W + C-1）175350图3.HerosNet中恢复阶段的详细信息。恢复阶段由动态梯度下降模块（DGDM）和分层特征交互模块（HFIM）组成。DGDM将中间结果x（k-1）和测量y作为输入，并生成粗估计r（k）。HFIM旨在利用前一阶段的隐藏状态H（k-1）和初始化立方体x（0）来改进粗估计r（k），从而产生准确的重建图像x（k）和第k个阶段的隐藏状态h（k）。0和Y∈RH×（W +C-1）分别表示噪声和压缩测量。光谱SCI的向量形式表示如下：0y = Φx + n，（3）0其中x∈RHW C，y∈RH（W + C-1），n∈RH（W + C-1）0分别表示X，Y和N的向量形式。Φ∈RH（W +C-1）×HWC表示感知矩阵。03.2. 提出的HerosNet的架构0在本小节中，我们提出了一种基于优化启发式的深度展开网络，用于联合掩码优化和图像重建。如图2所示，所提出的HerosNet由三个子网组成，包括一个采样子网、一个初始化子网和一个恢复子网。03.2.1 采样子网0在本文中，采样子网旨在学习HSI压缩感知的最优二进制掩码，以保留足够的光谱空间信息并消除冗余。采样子网的训练过程分为三个阶段，包括随机化、二值化和压缩。为了学习二进制掩码M，采用具有均值μb和方差σb的随机高斯初始化来生成连续矩阵˜M。此外，我们设计了一个逐元素二值化函数BinarySign（∙），将连续矩阵转换为二进制掩码，如下所示：0M = BinarySign（˜M），（4）0当z≥μb或0时，BinarySign（z）= 1。.（5）0根据第3.1节中描述的成像规则，我们使用转换函数Mask2Mat（∙）将二进制掩码M转换为感知矩阵Φ，如方程（3）所示：0Φ = Mask2Mat（M）.（6）0由于感知矩阵Φ被视为可学习的参数，因此二值化函数的导数被定义为常数，即BinarySign'（z）=1，用于采样子网的反向传播。最后，根据方程（1）和方程（2），将3D高光谱立方体x压缩为快照测量y。03.2.2 初始化子网0给定测量y∈RH×（W +C-1），初始化子网旨在将此2D测量分割为3D高光谱立方体x（0）∈RH×W×C，其中W，H是帧的空间尺寸，C是光谱通道数。具体而言，从测量y中裁剪出一个提取窗口，然后以步长d滑动，生成C个HSI帧。最后，将C个帧在通道维度上连接起来，组成一个3D高光谱立方体x（0）∈RH×W×C。03.2.3 恢复子网络0如图 3所示，提出的恢复子网络旨在从压缩测量中重建高质量的HSI。受到ISTA的启发，图像重建被视为一个优化问题，如下所示：0x  = arg min x 1 2 ∥ y  −  Φx ∥ 2 2 +  λψ ( x )，(7)x(k) = proxλψ(r(k)).(10)r(k)(k1)175360需要注意的是，第一项是数据保真度项，而第二项 ψ ( ∙ )是先验正则化项。λ 是正则化参数。为了解决公式 (7)中的优化问题，我们展开ISTA以设计简单且可解释的深度网络。传统的ISTA通过两个步骤来更新结果，即梯度下降和近端映射，其公式如下：0r ( k ) =  x ( k − 1) −  ρ Φ � ( Φx ( k − 1) −  y )，(8)0x ( k ) = arg min x 1 2 ∥ x  −  r ( k ) ∥ 2 2 +λψ ( x ) ，(9)0其中 k 表示ISTA迭代的次数，ρ 表示步长。通过引入近端映射算子 prox λψ ( r ) = argmin x 102 ∥ x − r ∥ 2 2 + λψ ( x ) ，公式 (9)可以改写为如下形式：0通过修改这两个步骤，我们设计了一个动态梯度下降模块(DGDM) 和一个分层特征交互模块 (HFIM)来重建HSI。动态梯度下降模块(DGDM)：为了通过深度网络实现公式 (8)，DGDM被用于动态生成即时重建结果 rk。大多数现有的DUNs将公式 (8) 中的 Φ，Φ � 和 ρ视为常数，这限制了网络的灵活性并限制了重建的准确性。为了解决这些问题，引入了深度模块 H Φ ( ∙ ) 和 H Φ � ( ∙ )来模拟矩阵 Φ 和 Φ �，其中 H Φ ( ∙ ) 和 H Φ � ( ∙ )分别由两个卷积运算符和四个残差块组成。为了实现内容感知的参数调整，动态步长算子 H dy ρ ( ∙ )被纳入到梯度下降过程中，以进一步增强网络的泛化能力。步长 ˜ ρ ( k ) 直接从先前状态 x ( k − 1)中学习，并随着网络训练的进行自适应调整。具体而言，我们将 ˜ ρ ( k )分解为静态和动态两个组件。静态组件是一个可学习的向量，每个光谱通道的值是共享权重的。动态组件是从 x ( k −1) 学习得到的通道注意力图。如图 4所示，通道注意力图通过全局平均池化、两个 1 × 1卷积运算符、ReLU激活函数和Sigmoid函数获得。最后，公式 (8) 可以修改为如下形式：0=  x ( k − 1) −  ˜ ρ ( k ) H Φ � ( H Φ ( x ( k − 1) )−  y ) ，(11)0其中 ˜ ρ ( k ) =  H dy ρ ( x ( k − 1) ) =  ρ ( k ) +  θ Λ( k ) ，(12)0图 4. DGDM 中一些关键组件的详细信息。DGDM旨在灵活模拟感知矩阵并动态调整步长。0其中 ρ ( k ) ∈ R 1 × C 和 Λ ( k ) ∈ R 1 × C分别表示静态和动态组件。θ是一个用于稳定网络训练的常数。分层特征交互模块(HFIM)：为了通过深度网络实现公式 (9)，HFIM被设计用于改进粗糙重建结果 r ( k)。之前的深度近端映射模块的性能受到两个问题的限制。首先，由于梯度下降模块在图像域中运行，而深度近端映射模块在特征域中执行，当两个模块之间传输时，谱信息将会丢失。其次，随着恢复阶段的增加，之前阶段的有用特征不会传播到后续阶段。为了缓解这些问题，所提出的 HFIM关注两个方面：1) 如何弥合图像域和特征域之间的差距；2)如何有效地相互作用以增强当前阶段的特征的有益特征。如图 3 所示，除了由 DGDM 产生的 r ( k )，HFIM还将级联的分层特征 H ( k − 1) = [ h ( k − 1) ,  h ( k − 2) ,. . . ,  h (0) ] 作为输入，其中 h ( i ) 表示第 i个阶段的隐藏状态。需要注意的是，隐藏状态保留了从当前阶段的重建图像中提取的有益信息。具体而言，中间结果 r (k ) 首先通过运算符 Conv 1转换为特征域，然后与隐藏状态 H ( k − 1) 通过密集连接Conv 2 融合。然后，将融合特征输入到增强模块 H EM ( ∙ )中提取光谱和空间特征，其中 H EM ( ∙ )由四个编码块和四个解码块组成。为了增强网络的表示能力，在编码器和解码器之间嵌入了由十六个标准残差块组成的残差模块。该过程的公式如下：0FEM = HEM(Conv2([H(k-1), Conv1(r(k))])), (13)175370其中FEM ∈RH×W×N表示由HEM(∙)产生的增强特征，N表示通道数。在获得增强特征FEM ∈RH×W×N后，设计了一个精心设计的特征交互机制来生成重建的HSI帧x(k) ∈RH×W×C。0和隐藏状态h(k) ∈RH×W×N。一方面，通过运算符Conv4将增强特征FEM转换为图像域，并与初始化立方体x(0)相加，生成重建的HSI帧x(k)。该过程如下所示：0x(k) = Conv4(FEM) + x(0). (14)0另一方面，网络直接通过运算符Conv5和Sigmoid从当前状态x(k)学习一个注意力立方体，以提供像素级交互信息并生成隐藏状态h(k)，其公式为：0h(k) = Conv3(FEM) � Sigmoid(Conv5(x(k))) + FEM. (15)x(k)和h(k)都将在后续阶段的重建中被利用。最后，方程（9）可以修改为：0x(k), h(k) = HFIM(r(k), x(0), H(k-1)). (16)0通过引入HFIM，我们建立了层次连接，将不同阶段的特征进行整合。借助所提出的DGDM和HFIM，恢复子网络可以准确快速地重建HSI。03.3. 网络训练和实现细节0在我们的实现中，光谱通道数C为28，特征通道数N为32。在我们的采样子网络中，通过掩码优化设置μb和σb分别为0和0.1。在我们的恢复子网络中，恢复阶段数K为8，方程（12）中的θ为0.5。所提出网络中的可学习参数用Θ表示，包括二进制掩码M，DGDM中的参数D(k)和HFIM中的参数H(k)。为了学习参数Θ = {M, D(k),H(k)}，我们利用最终阶段和一些中间阶段的重建结果计算损失函数[19]。具体来说，给定训练数据{x_i}Nd_i=1，损失函数定义为：0L = Lf + Lp, (17)0Lf = 10Nd0i=1 ∥x(K)i - xi∥22, (18)0Lp = β0Nd0i=1 ∥x(K-1)i - xi∥22 + ∥x(K-2)i - xi∥22. (19)0其中Lf和Lp分别表示最终阶段和前几个阶段的损失函数。K和Nd表示0图5.KAIST数据集上Scene1的重建图像，使用我们的HerosNet和其他最先进的方法。通过CIE色匹配函数[27]将HSI帧转换为RGB图像。所选区域的光谱曲线和可视化结果表明，我们的结果具有更高的光谱精度和更好的感知质量。0恢复阶段和训练样本的数量。β是平衡常数，设为0.5。我们的HerosNet使用4个NVIDIATesla V100 GPU进行实现。我们采用Adam[9]对网络进行100个epochs的训练。学习率初始化为1×10-4。0并且每10个epochs衰减因子为0.9。04. 实验结果04.1. 实验设置0在本文中，我们验证了所提出的网络在模拟数据集和真实数据集上的有效性。模拟实验采用了公共HSI数据集CAVE[42]和KAIST[7]，大小为256×256×28，即28个光谱通道和256×256的空间尺寸。对于真实场景的实验，我们利用了由真实SCI系统捕获的空间尺寸为640×694的5个压缩测量结果进行测试。使用PSNR和SSIM [35]指标评估重建质量。04.2. 仿真结果0为了证明所提方法在仿真数据集上的有效性，我们将提出的HerosNet与几种现有方法进行比较，包括基于模型的方法（GAP-TV [ 46 ]，DeSCI [ 16]），基于端到端深度学习的方法（λ -net [ 24 ]和TSA-Net[ 20 ]），即插即用方法（PnP-DIP-HSI [ 22]）和深度展开网络（HSSP [ 31 ]和DGSM [ 13]）。所有这些竞争方法都是在CAVE数据集上使用固定的真实掩膜进行训练的。175380表1. 在KAIST数据集上，提出的网络与最先进的HSI重建方法的比较结果。需要注意的是，HerosNet-base表示没有掩膜优化的提出方法。最佳结果以红色显示，次佳结果以蓝色显示。0测试集 GAP-TV [ 46 ] DeSCI [ 16 ] HSSP [ 31 ] λ -net [ 24 ] TSA-Net [ 20 ] PnP-DIP-HSI [ 22 ] DGSM [ 13 ] HerosNet-base HerosNet0(ICIP, 2016) (TPAMI, 2018) (CVPR, 2019) (ICCV, 2019) (ECCV, 2020) (ICCV, 2021) (CVPR, 2021) (我们的方法) (我们的方法)0场景01 25.13 / 0.724 27.15 / 0.794 31.07 / 0.852 30.82 / 0.880 31.26 / 0.887 32.70 / 0.898 33.17 / 0.954 34.24 / 0.963 35.69 / 0.9730场景02 20.67 / 0.630 22.26 / 0.694 26.30 / 0.798 26.30 / 0.846 26.88 / 0.855 27.27 / 0.832 31.61 / 0.933 32.94 / 0.952 35.01 / 0.9680场景03 23.19 / 0.757 26.56 / 0.877 29.00 / 0.875 29.42 / 0.916 30.03 / 0.921 31.32 / 0.920 31.55 / 0.952 34.15 / 0.966 34.82 / 0.9670场景04 35.13 / 0.870 39.00 / 0.965 38.24 / 0.926 37.37 / 0.962 39.90 / 0.964 40.79 / 0.970 37.43 / 0.981 38.80 / 0.984 38.07 / 0.9850场景05 22.31 / 0.674 24.80 / 0.778 27.98 / 0.827 27.84 / 0.866 28.89 / 0.878 29.81 / 0.903 29.43 / 0.927 31.39 / 0.953 33.18 / 0.9690场景06 22.90 / 0.635 23.55 / 0.753 29.16 / 0.823 30.69 / 0.886 31.30 / 0.895 30.41 / 0.890 32.49 / 0.960 32.88 / 0.960 34.94 / 0.9760场景07 17.98 / 0.670 20.03 / 0.772 24.11 / 0.851 24.20 / 0.875 25.16 / 0.887 28.18 / 0.913 30.64 / 0.937 32.79 / 0.963 33.58 / 0.9620场景08 23.00 / 0.624 20.29 / 0.740 27.94 / 0.831 28.86 / 0.880 29.69 / 0,887 29.45 / 0.885 31.06 / 0.955 31.11 / 0.953 33.19 / 0.9680场景09 23.36 / 0.717 23.98 / 0.818 29.14 / 0.822 29.32 / 0.902 30.03 / 0.903 34.55 / 0.932 30.87 / 0.951 31.58 / 0.953 33.04 / 0.9640场景10 23.70 / 0.551 25.94 / 0.666 26.44 / 0.740 27.66 / 0.843 28.32 / 0.848 28.52 / 0.863 31.34 / 0.955 31.64 / 0.949 33.01 / 0.9650平均 23.73 / 0.683 25.86 / 0.785 28.93 / 0.834 29.25 / 0.886 30.15 / 0.893 31.30 / 0.901 31.96 / 0.951 33.15 / 0.960 34.45 / 0.9700图6.在KAIST数据集上，我们的HerosNet与其他最先进方法的视觉比较。所有这些图像的波长都是648.1nm。HerosNet的重建图像可以保留更多的细节和更清晰的纹理，并且具有更少的伪影。0如表1所示，提出的HerosNet在PSNR方面达到了34.45dB，在SSIM方面达到了0.970，这大大超过了所有竞争方法。与最先进的方法DGSM相比，提出的网络在PSNR方面提高了2.49dB，在SSIM方面提高了0.019。与第二好的方法PnP-DIP-HSI相比，提出的方法在PSNR/SSIM上也实现了3.15dB/0.069的增益。这表明，提出的恢复子网络可以更好地挖掘光谱信息，而提出的掩膜优化策略可以搜索最优的二值掩膜。如图5所示，HerosNet生成的重建HSIs在不同光谱通道中具有更多的空间细节和更清晰的纹理，而其他竞争方法的结果则不同。0表2.提出的优化掩膜与其他类型固定掩膜的比较结果。需要注意的是，即使在相同的真实掩膜[13]上进行训练，所提出的方法也超过了表1中列出的所有现有方法。0掩膜类型 PSNR SSIM0均匀掩膜 31.78 0.935 高斯掩膜 32.490.943 真实掩膜[13] 33.15 0.9600优化的二进制掩膜 34.45 0.9700图7.不同类型掩膜的视觉说明，包括均匀掩膜、高斯掩膜、真实固定掩膜、优化的二进制掩膜（我们的方法）。0方法更模糊。此外，HerosNet的光谱曲线与参考光谱具有更高的相关性。图6进一步绘制了所提出的HerosNet、DGSM、TSA-Net和DeSCI在其他四个场景上的一些视觉比较。与这三种典型方法相比，所提出的HerosNet提供了更清晰的边缘，更好的视觉效果和更少的伪影。04.3. 多重掩膜结果0为了客观评估所提出的掩膜优化策略的有效性，我们在不同类型的掩膜上训练了我们的模型。如图7所示，实验中使用的四种不同掩膜的中心区域以64×64的空间尺寸呈现。需要注意的是，当在固定掩膜上训练时，我们从所提出的网络中去除了掩膜优化策略。表2列出了在KAIST数据集上测试的PSNR和SSIM结果。可以清楚地看到(a) (Ours-base)×✓✓✓33.150.960(b)✓×✓✓33.410.961(c)✓✓×✓33.590.965(d)✓✓✓×34.110.966(e) (Ours)✓✓✓✓34.450.970175390图8. 我们的HerosNet、DGSM [13]和TSA-Net[20]在真实数据集Scene1上的视觉比较。显然，我们的HerosNet可以恢复更多的图像细节和更清晰的内容（即右上角的花朵），而DGSM和TSA-Net则不能。0提出的HerosNet通过联合掩膜优化优于直接在固定掩膜上训练的网络。主要原因是优化的二进制掩膜保留了完整的图像结构和足够的详细信息以实现最佳采样。同时，即使在相同的掩膜上训练，所提出的方法也超过了表1中列出的所有SOTA方法。这进一步证明了即使在相同的掩膜上训练，所提出的方法在HSI重建方面也具有很大的优势。04.4. 真实数据结果0为了验证所提出方法对真实数据的效果，我们利用真实光谱SCI系统捕获的五个压缩测量结果进行测试。由于真实场景的真实值不可用，我们去除了采样子网并只将2D压缩测量作为输入。为了公平比较，所有方法都是在CAVE数据集上使用固定的真实掩膜进行训练，注入了11位的拍摄噪声。图8显示了所提出的HerosNet与现有的SOTA方法DGSM[13]和TSA-Net[20]的视觉比较。显然，我们的结果在各个波长上恢复了更多的图像细节，减少了伪影，并且内容更清晰，而其他方法的重建图像更模糊，更容易受到噪声破坏。这进一步证明了所提出的HerosNet在噪声失真方面更具鲁棒性，并且在真实光谱成像系统中更有效。04.5. 消融研究0为了评估提出的HerosNet中不同组件的贡献，我们在CAVE和KAIST数据集上进行了消融研究。我们主要关注四个组件，即掩膜优化（MO），分层特征交互模块（HFIM），残差模块（RM）和动态步长（Dyρ）机制。表3显示了不同设置下的PSNR和SSIM结果。为了研究掩膜优化策略的有效性，我们去除了MO并重新训练了我们的重建网络。0表3. 不同组件有效性的评估。0案例索引 MO HFIM RM Dy ρ PSNR SSIM0可以清楚地看到，PSNR和SSIM的结果分别下降了1.30dB和0.010，这证明了所提出的MO的有效性。值得注意的是，即使没有MO，Ours-base在表1中列出的所有现有重建方法中也取得了最佳性能。为了研究HFIM的影响，我们重新实现了一个变体网络，直接使用U-Net作为深度先验，没有任何相位之间的交互。显然，没有HFIM，PSNR和SSIM的值分别下降了1.04dB和0.009，从而证明了它的显著效果。同时，表3显示，当RM被移除时，PSNR/SSIM从34.45dB/0.970下降到33.59dB/0.965。此外，将公式（12）中的动态步长˜ρ(k)替换为静态分量ρ(k)，PSNR和SSIM的结果分别下降了0.34dB和0.004，这验证了动态步长机制的作用。05. 结论0在本文中，我们提出了一种新颖的HerosNet用于光谱快照压缩成像。受ISTA的启发，HerosNet展开了优化迭代过程，并能够联合优化二进制掩码和准确重建HSI。为了提高网络的泛化能力和灵活性，我们提出了一种动态梯度下降模块，实现自适应和内容感知的参数调整。为了更好地利用交叉相位相关性，设计了一个分层特征交互模块，用于融合和交互不同相位之间的有用信息。最后，实验证明我们的网络在模拟和真实数据集上均优于现有方法。我们未来的工作将支持HerosNet在MindSpore [ 1]上，这是一个新的深度学习计算框架。广泛的影响和局限性：HerosNet的提出有助于光谱SCI的工业应用，并启发了其他图像反问题中深度展开网络的设计。然而，当涉及不同的成像系统和物理掩码时，我们的模型在没有重新训练或微调的情况下无法获得良好的结果。同时，所提出的基于学习的方法不可避免地会反映出训练数据中的偏见。这些问题需要进一步的研究和探索应用。175400参考文献0[1] Mindspore.  https://www.mindspore.cn/ , 2020. [2] HamedAkbari, Yukio Kosugi, Kazuyuki Kojima, and Nao- fumiTanaka. 使用可见和不可见高光谱成像检测和分析肠道缺血.IEEE生物医学工程学报 , 57(8):2011– 2017, 2010. [3] Gonzalo RArce, David J Brady, Lawrence Carin, Henry Arguello, andDavid S Kittle. 压缩编码光学光谱成像: 介绍.  IEEE信号处理杂志 ,31(1):105–115, 2013. [4] Henry Arguello and Gonzalo R Arce.光谱选择性压缩成像的秩最小化编码孔径设计. IEEE图像处理杂志 ,22(3):941–954, 2012. [5] Jos´e M Bioucas-Dias and M´ario ATFigueiredo. 新的变化: 用于图像恢复的两步迭代收缩/阈值算法.IEEE图像处理杂志 , 16(12):2992–3004, 2007. [6] Xun Cao, TaoYue, Xing Lin, Stephen Lin, Xin Yuan, Qiong- hai Dai,Lawrence Carin, and David J Brady. 计算快照多光谱相机:动态捕捉光谱世界.  IEEE信号处理杂志 , 33(5):95–108, 2016. [7]Inchang Choi, MH Kim, D Gutierrez, DS Jeon, and G Nam.使用光谱先验进行高质量高光谱重建.  ACM图形学交易 ,36(6):1–13, 2017. [8] Meng Ding, Xiao Fu, Ting-Zhu Huang,Jun Wang, and Xi- Le Zhao.可解释的块项张量建模的高光谱超分辨率.IEEE选定主题信号处理杂志 , 15(3):641–656, 2020. [9] KingmaDP and Jimmy Ba. Adam: 随机优化的一种方法. 在国际学习表示会议论文集  中, 2015. [10] Yonina C Eldar andGitta Kutyniok.  压缩感知: 理论和应用 . 剑桥大学出版社, 2012.[11] Michael E Gehm, Renu John, David J Brady, Rebecca MWillett, and Timothy J Schulz. 双色散器结构的单次压缩光谱成像. 光学快报 , 15(21):14013–14027, 2007. [12] Wei He, NaotoYokoya, and Xin Yuan.基于非迭代子空间融合的双相机压缩高光谱成像的快速恢复.IEEE图像处理杂志 , 30:7170–7183, 2021. [13] Tao Huang,Weisheng Dong, Xin Yuan, Jinjian Wu, and Guangming Shi.用于光谱压缩成像的深度高斯混合尺度先验. 在IEEE计算机视觉和模式识别会议论文集  中, 2021. [14] Jie Lei,Weiying Xie, Jian Yang, Yunsong Li, and Chein-I Chang.用于高光谱异常检测的光谱-空间特征提取.IEEE地球科学和遥感杂志 , 57(10):8131–8143, 2019. [15] XingLin, Yebin Liu, Jiamin Wu, and Qionghai Dai.空间-光谱编码压缩高光谱成像.  ACM图形学交易 , 33(6):1–11,2014. [16] Yang Liu, Xin Yuan, Jinli Suo, David J Brady, andQionghai Dai. 用于快照压缩成像的秩最小化.0IEEE模式分析和机器智能交易，41(12)：2990-3006，2018年。[17]马佳伟，刘晓阳，寿铮，袁鑫。用于快照压缩成像的深度张量ADMM-Net。在计算机视觉IEEE国际会议论文集中，2019年。[18]Farid Melgani和LorenzoBruzzone。