4059λ-net：从快照测量重建高光谱图像Xin Miao1，†Xin Yuan2，Yunchen Pu3Vassilis Athitsos11美国德克萨斯大学阿灵顿分校2美国新泽西州诺基亚贝尔实验室3美国加利福尼亚州Facebookxin. mavs.uta.eduxyuan@bell-labs.compyc40@fb.comathitsos@uta.edu摘要我们提出了λ-网络，它重建高光谱图像（例如，具有24个光谱通道）。该任务通常被称为快照压缩频谱成像（SCI），其享有低成本、低带宽和高速感测速率以捕获三维（3D）信号，（x，y，λ），使用2D快照。SCI提出已有十多年，但重建出租率低、质量差，阻碍了SCI的广泛应用 为了解决这一挑战，在本文中，我们开发了一个双阶段生成模型来重建SCI中所需的3D信号，称为λ-net。模拟和真实数据集上的结果都证明了λ-net的显著优势，从而导致与当前最先进的技术相比，仿真数据的PSNR提高>4dB。此外，λ-net可以在亚秒内完成重建任务，而不是最近提出的DeSCI算法所需的数小时，从而将重建速度提高了1000倍以上。1. 介绍快照压缩光谱成像（SCI）是指将多个高光谱帧映射到单个测量中的压缩成像系统[6，12，22，39，61，62，84]。第一个SCI系统，称为编码孔径快照光谱成像（CASSI），在[22]中开发，它通过编码孔径（物理掩模）和色散器调制不同波长的信号通过这种方式，二维（2D）单色摄像机可以以视频速率对高光谱场景进行采样[62]，因此与使用传统光谱仪相比，除了高速感测之外，还可以显著节省内存、带宽和成本。在享受所有这些优点的同时，类似于其他计算成像系统[4]，SCI中的一个重要步骤是需要算法来从感测过程之后的每个快照测量重建3D高光谱数据立方体前-[2] 2018年，Xin Miao在诺基亚贝尔实验室做暑期实习生时完成了部分工作*通讯作者。该代码可在https://github.com/xinxinmiao/lambda-net上获得。图1.使用各种算法从单次拍摄测量（左）重建的高光谱图像（右）：提出的λ- net（PSNR：30.0dB），DeSCI（PSNR：22.4dB），GAP-TV（PSNR：16.6dB）和TwIST（PSNR：13.1dB），与地面真相相比。示出了在不同波长处的24个重构帧中的四个请注意，只有λ-net可以恢复连续线。并行算法要么太慢，要么性能不高。受深度学习在反演问题上的最新进展[13，36，43，74，82]的启发，在本文中，我们提出了用于SCI重建的λ图1描绘了不同的算法导致各种质量的重建图像，其中TwIST（两步迭代收缩/保持）[10]和GAP-TV（基于通用交替投影的总变差）[76]在以前的CASSI系统[39， 61 ， 84] 中 用 作 基 线 ， 而 最 近 提 出 的 算 法 ，TASSCI（DeSCI）在[39]中引入，在视频和频谱SCI中都取得了最先进的结果。请注意，所有这些算法从单个测量中重建24个光谱图像（通道）（图1）。1左）拍摄的相机（图。2顶部），4个选定的通道绘制在图的右侧。1.可以观察到，TwIST导致模糊的结果，而GAP-TV提供令人不快的伪影; DeSCI提供了比它们更高质量的图像，但会导致过平滑现象。相比之下，我们提出的λ-net带来了更好的结果（图1中场景的PSNR>7 dB）。而只有λ-net才能重建图1中的连续线。1.一、此外─4060图2.上图：SCI的成像过程。高光谱场景被成像到编码孔径上，并且在由透镜中继之后，棱镜将光传播到不同波长的不同空间位置，然后由相机捕获（右上）。尽管使用单个掩模，但是由于色散器，不同波长的信号被掩模的移位版本调制，因此不同。底部：这些掩模（上部中固定掩模的移位版本）连同测量（右下）被馈送到λ-网络中以重构高光谱数据立方体（左下）。在所提出的λ-net中存在两个阶段，其中第一阶段（重建阶段）由自注意GAN加上分层通道重建（HCR）策略组成，以从掩模和测量生成3D立方体，并且第二阶段（细化阶段）细化每个通道中的高光谱图像。此外，对于不同的算法，特别是对于成像，速度是一个重要的度量DeSCI、GAP-TV和TwIST是基于优化的算 法 ; 而GAP-TV可 以 完成 任 务 ， 例 如 ， 重 建一 个256×256×24像素的数据立方体从256×256测量，在30秒和扭曲通常需要10分钟，DeSCI需要大约一个小时台式机配备12核i7 CPU和64G RAM。相比之下，我们提出的λ-net可以在同一CPU上在1秒内重建高光谱数据立 方 体 ， 在 NVIDIA GTX 1080 Ti GPU 上 在 33 毫 秒（ms）内重建。我们知道这些算法运行在不同的平台上，λ-net在执行任务之前需要进行预训练。然而，考虑到这些数字，我们可以预期，当相机以每秒30帧的速度工作时，λ-net和CASSI可以提供实时3D高光谱成像和重建，因此可以应用于我们的日常生活。虽然基于深度学习的算法已经开始用于计算成像系统[55，36，46，54，13，74，82]，但在使用深度学习的SCI重建中存在重大挑战和问题1) 有限的训练数据集可用。虽然有一些数据集[1，2，5]可用，但不同成像系统的光谱波长通常不同。为了克服这一挑战，除了通常使用的数据论证技术之外，我们进一步使用光谱插值来将数据集统一到同一组波长。2) SCI的测量是单帧，而更多超过20个光谱通道（我们的实验中使用了24个）将被生成（重建）。因此，预计将使用深度（生成）模型。然而，由于网络中的大量参数和上述有限的数据集，这是具有挑战性的。3) 第三个问题是，是否有可能采用小型网络来提高SCI重建的质量？考虑到这些挑战和问题，本文件作出以下贡献。i) 开发了基于U-网[52]的生成模型，以根据SCI测量和掩模重建3D光谱立方体。自注意生成对抗网络（GAN）[87]与U-网络集成，以利用光谱图像中的非局部相关性。ii) 提出了一种基于神经网络提取特征和先前重建通道的分层这种HCR策略加上自我注意力GAN构成了我们的λ-net的重建阶段2）的情况。iii) 开发了一个由小型U-网络和残差学习[24]组成的细化阶段，在这个阶段，每个通道独立执行。iv) 我们已经在广泛的“真实掩模在环”模拟数据以及CASSI相机捕获的真实数据上验证了我们提出的λ-网络λ-net提供了比DeSCI（和其他深度学习方法）更好的结果，并且可以在亚秒内完成重建。4061k=1k=1k=1k=1kkEΦ2. 快照压缩光谱成像如图1顶部所示。2，在CASSI [22，61]中，光谱场景由物镜收集并由固定掩模进行空间编码。然后那个加密的场景被色散器光谱色散。在此之后，空间-光谱编码的场景由电荷耦合器件（CCD）检测。因此，CCD上的快照对场景的数十个光谱带进行编码。快照的编码帧的数量由色散元件的色散特性以及掩模和CCD的像素大小考虑在SCI中调制和编码B帧（频谱信道），并且每个帧具有n（=nx×ny）像素。在不考虑光学细节的情况下，在数学上，SCI中的测量可以被建模为（61）U-net + GAN是最近提出的自注意机制，适用于利用空间纹理的非局部此外，我们提出了一个额外的HCR策略，逐步重建所有通道，保证了结果的质量和光谱信息的准确性。λ-net重建具有B（在我们的实验中为24）个光谱通道的高光谱图像，这是高维数据。即使使用深度U网和HCR，由于参数数量庞大和训练数据有限为了克服这一挑战，我们建议在重建阶段使用另一个比第一个U-网更浅的细化该细化阶段分别提高每个光谱通道的图像质量。y=Φx+g，（1）其中Φ∈Rn×nB是感知矩阵，x∈RnB是期望信号，g∈Rn表示噪声。虽然Eq。(1)有类似于compres的公式，主动感知（CS）[17，15]，与传统CS不同，这里考虑的感知矩阵不是稠密矩阵，并且它不满足受限等距性质。在SCI中，ma-betΦ具有非常特定的结构，可以写为3.1. 重构级重建阶段输出高光谱图像，其目的是从测量中提取空间和光谱信息。3.1.1条件GAN与无条件（原始）GAN不同，Φ=[D1，. . .，DB]，其中{Dk}B是对角矩阵在条件GAN（cGAN）[45]中，也可以观察到由下面的掩码定义。具体来说，考虑发电机的输出 cGAN适用于我们的SCIB个谱帧{Xk}B∈Rnx×ny是调制的重建，因为我们的目标是生成相应的输出通过固定掩码的移位版本{Ck}B∈Rnx×ny，以输入测量为条件的高光谱图像（图）2，右下角）。 测量Y∈Rnx×ny由下式给出：Y=BXC+G，（2）其 中 k 表 示 逐 元 素 乘 积 ， 并 且 Dk=diag （ vec（Ck）），其中k=1，. . .、B.对于位置（i，j）处的所有B像素（在B帧中），i = 1，. . . ，nx; j =1，. . . ，纽约，它们被折叠以在快照平均值中形成一个像素和面具。具体地，输入掩码是固定的（在预处理中）。构建的SCI系统），而输入测量取决于捕获的场景。因此，掩模不需要由操作员观察我们的cGAN的目标函数可以表示为LGAN（G，D）=Ey，x[logD（y，x）]（三）+y[log（1−D（y，G（y，）]，保证yi，j=Bci，j，kxi，j，k+gi，j。 通过定义其中G和D表示生成元，Tk=1x=x1，. . .，xB，其中xk=vec（Xk），我们有方程的向量公式。（一）.因此，x∈RnxnyB，Φ∈Rnxny×（nxnyB），并且SCI中的压缩采样率等于1/B。最近在[30，31]中已经证明，即使当B >1时，SCI的重建也是有界的。3. λ-网λ-net的目标是从SCI相机获取的单次测量数据中重建高光谱最近，GAN [23]和变分自动编码器（VAE）[33]成为最有说服力的生成模型，并命名为深度学习[14，63]中最近出现的研究。也有人认为，使用U-net作为GAN中的生成模型能够解决各种问题[29，47，89]。在我们的任务中，除了分别3.1.2具有自我注意力的更图中详细描述的U-net架构。3在我们的cGAN中用作生成器。如前所述，我们的输出超光谱图像和输入测量共享类似的空间结构，边缘的位置。编码器和解码器可以帮助捕获输入和输出之间共享的低电平信息并去除噪声;但是它也可能丢失来自测量的位置信息。为了解决这个问题，我们添加了跳过连接来帮助位置信息通过网络。此外，由于我们重建的是高维高光谱图像，我们采用了更深的U-网络。特别是，我们有3次卷积运算，步长为1，406232 32 32 3232 32 32 321x1转换646464输出concatenate连接646464掩模测量1281281281281281282562562562562562565125125125123x3卷积，步长1最大池化，步长2反卷积复制并与其他要素地图连接8下采样或上采样（在[52]中为2）;我们在U-net的编码器和解码器中也具有5倍的下采样和上采样，而不是4倍。实验结果在SEC。5.2（表2）表明，我们的更深的U-网络实现了比原始U-网络更好的结果（PSNR为1.92dB）。其中c′是一个整数，我们在实验中设置c′= c。我们现在使用{f（θ），g（θ）}来计算注意力地图。首先，我们将它们重塑为2D矩阵{f ′（θ），g′（θ）} ∈Rc′×N，其中N = h × w;然后通过下式计算注意力图A的每个条目：aj，i=exp（sij），其中thsij=f′（θi）Tg（θj）.（四）Ni=1 exp（sij）102410241024图3.我们的网络重建阶段使用的U-net架构这里，aj，i表示当生成第j个区域时，模型的扩展取决于第i个位置。然后将该注意力图A与特征空间合并h（ θ ）。我们首先将h（θ ）整形为h′（θ ）∈Rc×N，然后将A加到它上面，ε′=Ah′（θ）T∈ RN×c.（五）接下来，我们对“R”中的每个通道（列）进行整形，以获得注意力层的输出“R”∈Rc×h×w。 最后功能地图（C'g（单位：千克）整形转置HAWsoftmax重塑自我注意力特征 图我们将注意力层的输出乘以一个尺度，可学习参数γ并将其加回输入特征图θ。这导致了最终的结果z=γθ + θ。（六）h1×1convwCH什C'……h（）HWCHWC3.1.3分层信道重构从一次测量中重建所有24通道图像是具有挑战性的因此，我们提出了一种渐进重建方案，即，等级变化-图4.我们框架中的自我注意模块; softmax是适用于每一行。注意力模块已广泛用于许多计算机视觉任务[86，44，38，27]。由于U-net中的卷积算子具有局部感受野，因此只有多个卷积层才能捕获长程依赖性。通过加入自注意，网络可以很容易地学习一层中的长距离相似性。在我们的自我注意层中，所有频谱通道共享相同的注意力图[60]，因为我们不仅要捕获空间中的长程依赖性，还要在SCI重建中保持频谱相似性。这种自我关注（图）。4）不仅用于发电机，也用于发电机。我们通过将自我注意力添加到网络的不同层来进行实验，并发现将其施加到中高层特征映射上会产生更好的结果，但注意力映射更大受GPU内存的限制，我们通过在图3中的U-网解码器中的解卷积之前将自注意力施加到具有256个特征图的层来显示结果。如图所示4.设θ∈Rc×h×w表示我们要施加自注意力的特征映射通过在θ上使用1×1卷积，我们可以得到三个特征空间f（θ）∈Rc′×h×w，g（θ）∈Rc′×h×w，h（θ）∈Rc×h×w，4063隧道重建（HCR）。HCR尝试恢复频谱通道的一部分，然后基于我们已经恢复的信息重建整个在我们的实验中，有24个光谱通道需要重建.我们首先重建[x1，x5，x9，x13，x17，x21]光谱通道 ， 间 隔 为 4 。然 后 我 们 重 构 [x1 ， x3 ，x5，. . . ，x23]间隔为2. 最后，重建了所有24个通道还采用了残差学习方法拟议的HCR的细节见图。五、通过这种方式，我们的λ-网络逐步重建高光谱图像，其中我们已经分解了1→24问题到1→6→12→24个级联问题。 换句换句话说，如果我们可以重建部分光谱通道，正确的频谱信息，一个简单的插值方法应该有资格重建整个通道。表2表明HCR提高了λ-net的性能。我们将中间输出和最终输出分别定义为I1（y，Φ），I2（y，Φ）和G（y，Φ）λ-net的目标是重建信号，因此将λ2损失添加到我们的目标函数中是合理的L<$2（G）=Ey，x[<$x1 −I1（y，Φ） <$2+<$x2−I2（y，Φ） <$2+<$x−G（y，Φ）<$2]，（7）40641B′GANG2我图5.在我们的实验中的分层通道重建模块在重构阶段，我们首先对网络进行训练，确定参数;然后，我们将结果发送到细化阶段以训练第二个U网络。这种单独的训练策略主要是由于数据的大小差异。如上所述，重建阶段输出3D高光谱图像立方体，但是细化阶段独立地处理每个光谱帧。可以联合训练两个网络。然而，由于在重建阶段中的每个批次包含同一场景的所有通道，而在细化阶段中，我们希望每个批次由不同的场景组成（可能在不同的频谱其中x1d=ef[x1，x5，x9，x13x17x21]且x2d=ef通道），我们可能需要一个巨大的内存来保存这些数据和参数。由于GPU内存的限制，我们可以-[x1，x3，x5，. . . ，x23]。当量（7）表示发电机不只是为了欺骗敌人，也是为了执行命令。接近地面的真相。我们的最终目标是（G，D）=arg min maxL（G，D）+αL（G），（8）G D其中α是平衡这两项的参数。通过将这种HCR策略与自注意GAN相结合，我们得到了重建阶段通过单独的训练形成我们的实验。4. 相关工作一般来说，我们感兴趣的SCI问题属于计算成像（CI）[4]。与传统成像中用户直接捕获所需信号不同，在CI中，捕获的测量通常不是信号本身，而是包括信号。x′=G（y，Φ）=X（x′）T，的。. .，（x′）TT 、（9）以复杂的方式NAL，并且需要重建算法来从测量中恢复信号。受CS的启发，各种压缩成像系统[16]这是期望的3D超光谱图像。3.2. 炼气期重建阶段可以捕获高光谱图像立方体的光谱信息，但它否则，应该使用更深的网络，但这将需要更大的训练数据集。为了克服这一挑战，我们提出了细化阶段，以提高重建质量。细化阶段的输入是单个帧，而不是一次拍摄中通过这种方式，网络将每个光谱通道视为独立的图像，并且可以提取所有光谱通道的信息。考虑到输入和输出图像共享相同的结构，我们在细化阶段使用另一个U形网作为基本架构，但这次我们输出的是高质量的单帧由于每一帧的尺寸都很小，因此浅U形网就足以完成此任务，即，在编码器和解码器中分别进行4倍下采样或去卷积。此外，我们还将残差学习添加到输入图像中，这提高了最终结果（表2中的PSNR为1.27dB）。我们将重建阶段获得的高光谱图像立方体中的每一帧传递到细化阶段。将地面真实值与细化阶段的输出之间的102损失用作目标函数L2（refine）= Exi，x′ [xi− xi2]，i = 1，. . . 、B.（ 十）已经建立了捕捉高维数据，从视频[21，26，50，40，79，56，57，58，81，80，83，85]，超，光谱图像[12，22，61，62，84]，动态范围[75]到深度[41，49，77]和偏振[59]等。关于光谱压缩成像，继使用编码孔径和棱镜来实现波长调制的CASSI之后，还使用了其他调制，例如遮挡掩模[11]、空间光调制器[84]和数字微镜装置[70]。同时，CASSI的进展也通过使用多次激发[34]、双通道[64，65，66，67]和高阶信息[9]得到了发展。并行研究是用于光谱压缩成像的掩模设计[7，8，19，20，25]，其通常需要多次测量。另一个重要的研究方向是算法设计.除了[62]中提出的 NeAREst 之 外 ， 还 使 用 了 各 种 优 化 算 法 ， 例 如TwIST [10]，GPSR [18]和GAP-TV [76]。其他算法，如高斯混合模型和稀疏编码[51，73，67]也已开发。最近，在[39]中提出的在SCI中重建视频或超光谱图像的De- SCI已经导致了最先进的结果。DeSCI的唯一缺点是运行时间，通常需要几个小时才能重建24通道光谱图像。为了解决这个问题，并受到深度学习在图像恢复方面的最新进展的启发[71，88]，研究人员已经开始在计算成像中使用深度学习[13，28，32，36，46，42，54，72，82，78]。 最近深度学习模型已被用于重建超4065从RGB图像光谱图像[3，35，37，48，53]。然而，这与我们的问题不同，我们的问题旨在从CASSI中设计的编码测量中重建高光谱图像（图1）。2）的情况。最近一篇与我们的工作相关的论文是[68]，它采用卷积神经网络来共同学习掩模设计和重建。然而，与[36]中的先驱工作类似，使用了重复的模式，这在真实相机中非常具有挑战性甚至不真实[82]。5. 实验我们将λ-net与几种最先进的方法进行了比较，包括Twist [10]，GAP-TV [76]和DeSCI [39]。我们还尝试了[66，67]中的稀疏编码算法;它们的性能比DeSCI更差，运行时间更长类似的情况存在于其他算法[73，84]中，因此由于空间限制，此处忽略。峰值信噪比（PSNR）和结构相似性（SSIM）[69]都被用作评估性能的指标。如前所述，最近提出的DeSCI算法提供了最先进的结果[39]。λ-net始终产生高性能结果，并在“真实掩码在环”（MIL）仿真数据中超过DeSCI因此，MIL模拟表示我们使用CASSI相机捕获的真实掩模而不是随机生成的掩模来生成测量众所周知，实际捕获的数据中含有噪声，因此问题更具挑战性。在真实数据上（我们只能从CASSI的作者那里得到一个真实数据），我们的λ-net也取得了比DeSCI更好的结果（图9-10）。虽然我们的λ-net是第一个为CASSI重建真实数据而开发的网络，但我们确实与其他一些网络进行了比较，即使它们是为其他任务而开发的。经过一些修改，我们将λ-网与文献[35，37，53]中为CASSI重建而开发的网络进行了比较.图6.实验中使用了16个测试场景5.1. 培训所有实验均在NVIDIA GTX 1080 Ti GPU上进行对于一个256×256×24的测试场景，我们的框架可以在23ms内完成重建阶段（CPU上为0.6s）。在细化阶段，每帧图像可以并行处理，在10ms（0.4s）CPU）。在不使用GPU的情况下，λ-net可以在1秒内在i7 CPU上完成这两个阶段。5.1.1数据增强用于训练和验证模型的数据从[5]下载。我们手动选择了80张高光谱图像作为我们的训练数据，以避免测试场景（图1）。6）和训练具有相同内容的数据。除了随机翻转图像外，我们还随机旋转，缩放和平移训练图像。原始数据集具有统一的在 400 ~ 700 nm 波 长 范 围 内 ， 分 辨 率 为1392×1300×31，间隔为10 nm，由SCI相机捕获的具有从400nm到700nm的24个通道，但是具有不同的间隔，即，波长：{398.62，404.40，410.57，417.16，424.19，431.69，439.70，448.25、457.38、467.13、477.54、488.66、500.54、513.24、526.8., 541.29、556.78、573.33、591.02、609.93、630.13、651.74、674.83、699.51} nm。为了缓解这个问题，我们使用光谱插值将数据集统一到与[61]相同的波长集。 具体来说，我们执行每个空间位置的数据插值通过我们的数据增强生成的高光谱图像的大小为1392×1300×24。5.1.2培训详细信息表1.通过不同算法重建的16个不同场景的PSNR（单位为dB）（每个单元中的左条目）和SSIM（右条目）。算法λ-网GAP-TV扭曲DeSCI场景136.29，0.92529.48，0.8026.77，0.77231.51，0.896场景230.07，0.92916.58，0.805十三点一四，零点七五三二十二点三十九分，零点八零六分场景334.19，0.94021.48，0.769二十三点六六，零点七三八二十四点九二，零点八二二场景428.90，0.89926.49，0.82226.08，0.86129.78，0.907场景534.58，0.89026.63，0.68822.45，0.69529.02，0.844场景6二十八点零九，零点八五八二十二点八一，零点六一四20.11，0.662二十四点七五，零点七九七第七36.15，0.942二十四点九五，零点六九九26.20，0.75329.68，0.881场景832.64，0.909二十一点二十六，零点六九五十八点三八，零点六四三二十五点五八，零点八二三第九三十三点八三，零点九一二二十九点九四，零点八一二二十八点零九，八点零七三十二点八六，零点九三七场景10二十八点六三，零点八七七二十三点零四分，零点七零六分20.84，0.620二十四点，零点七四八第十一35.21，0.946二十四点零七，零点七五四21.75，0.785二十八点一九分，零点九一二分场景1234.77，0.823二十八点九九，零点七五八26.75，0.69931.80，0.863场景1332.07，0.844二十七点五七，零点六五二十四点五四，零点七一八30.91，0.823场景14三十三点七三，零点八28.54，0.764二十六点二七，零点七二十九点六九，零点八4066六九六五五二场景1529.88，0.91325.80，0.801二十三点八四，零点七六五27.45，0.864第十六30.54，0.855十一点九九，零点二九三20.50，0.511十九点四二，零点三零五平均32.29，0.896二十四点三十五，零点七一五二十三点零九分，零点七二二分27.62，0.818我们从通过数据增强获得的数据中随机裁剪256×256×24个补丁批大小设置为20.在重建阶段，我们交替地更新G和D中的参数;方程中的α(8)设置为200。生成器的输入是测量和掩码的级联（图1）。2右下角）。我们已经进行了实验，以表明这比仅将测量输入到表2中的网络表现更好（2.09dB PSNR改善）在测试过程中，我们将重建阶段获得的高光谱图像立方体的每个通道然后我们收集这些B=24通道的高质量图像作为最终输出结果。4067图7.四个场景（从左到右：图7中的场景7、10、11、16）的4种算法重建图像示例（六）。三个帧波长分别为477.5nm、526.8nm和630.1nm。所有通道的结果可在补充材料（SM）中找到图8.重建的光谱曲线，16个场景中的4个被选为示例，每个场景中有两个区域。5.2. “Real Mask in the Loop” Simulation如上所述，在MIL模拟中，我们使用真实捕获的掩模生成测量值，高光谱图像由24个光谱帧组成，每个光谱帧的大小为256×256像素。我们有16个测试场景（图）。（5）数据集[5]。 生成的测量值并采用不同的算法对高光谱图像进行掩模重建表1列出了使用所有四种算法的这16个场景的平均PSNR和SSIM可以看出，平均而言，我们的λ-net超过最好的方法DeSCI 4.67dB。唯一的例外是第四场，这是一个简单的场景，大面积是相同的白色屏幕。这符合De-SCI中的秩最小化模型，因此DeSCI提供了0.88dB更高的PSNR。λ-net在所有其他场景中的表现都优于DeSCI。各种算法的重构帧与真实帧的比较如图所示。7.显然，λ-net既能提供大规模的结构，又能提供场景的精细细节GAP-TV通常导致斑点伪影，而TwIST 提 供 块 状 伪 影 。 DeSCI 提 供 了 比 GAP-TV 和TwIST更好的结果;然而，如[39]中所观察到的，它通常会导致过平滑重建。评价SCI算法的一个重要指标是当不同的物体具有不同的光谱信息时，它们可以重建的光谱信息有多好，例如。天空、树、墙等。我们绘制了一个小区域的光谱曲线，并计算了图中重建和地面真实值之间的比值。8.与其他方法相比，λ-net方法对不同的对象提供了更高的相关值这清楚地表明，λ-net可以提取更多的光谱信息比其他方法。为了定量研究我们提出的λ-网的不同块，我们对λ-网中的部分组件进行了实验，例如，没有GAN，没有自我注意，结果总结在表2中。可以看出，在我们的λ-网中，所有组件都起着重要的作用;例如，在没有GAN的情况下，结果降低了2。81 dB的PSNR;没有自我注意，结果下降3。52 dB的PSNR，没有细化阶段，结果下降1。PSNR为62dB。如前所述，掩模包含有用的信息，因此将掩模与测量一起使用将结果提高了2。09dB的PSNR。此外，在细化U-网络中的残差学习使PSNR提高了1.27dB，HCR使结果提高了0.48dB。4068√√√√测量+掩模×}表2.使用模型的不同组件进行比较对于每列，表示已使用，×表示未使用。真相深U-net 1 GAN自我关注HCR剩余学习测量√×√√√√√×32.290.896√×√√√×√×31.810.882√×√×√√√×29.480.860√×√√×√√×28.770.854√×√×√ √√ √√ √√√×√×√×30.670.873√×√√√√×30.370.870√×√√√√××31.020.878λ-网如前所述，我们还将我们的λ-网与其他网络进行了比较，并对CASSI重构进行了修改。结果总结在表3中，我们可以观察到λ-net提供了比其他网络更好的表3.与其他深度网络相比网络Simu PSNRSimu SSIM实际峰值信噪比λ-网32.290.89625.59[35]第三十五届27.420.75021.42[37]第三十七届26.780.73521.09[五十三]29.070.83623.775.3.真实数据结果鸟类测量数据由CASSI系统采集[61]。由24个光谱帧组成，每个光谱帧的大小为1021×703像素。由于GPU的限制，理论上，我们使用416×416像素来执行我们的实验1。在图9中，我们可视化了6个通道的重建结果。nels使用4个算法。我们可以看到，λ-net可以提供稍微好一点的（0. 4dB）的结果比DeSCI和约1dB的PSNR比GAP-TV和TwIST高。值得注意的是，只有λ-net可以在波长699.5nm处重建最后一帧。实例光谱曲线如图所示.10.由于训练数据集与实际数据之间的不匹配，光谱并不完美;即使如此，λ-net仍然可以提供与其他三种出租算法相比较或更高的相关值。如前所述，我们只有一个真实的数据，即，鸟的数据，与地面实况捕获的CASSI。为了进一步验证我们的λ-网的通用性，我们将网络修改为视频CS系统[40]。结果与DeSCI相当（见SM）。6. 结论本文旨在解决光谱压缩成像中的挑战性问题：缓慢的重建。受深度学习的最新进展，特别是新兴的生成模型的启发，我们构建了一个两阶段重建网络来从快照测量中恢复高光谱图像。通过将U-网集成到自注意GAN框架中，我们将非局部相似性引入到自注意GAN框架中。1可以为大面积的不同区域训练多个λ-网，因为不同地方的掩码值不同。然而，训练时间太长，需要多个GPU，这超出了我们的能力。我们相信这个416×416的区域可以证明我们提出的λ-net的性能。GAP-TV扭曲DeSCI图9.真实数据结果：重建鸟类数据从测量捕获的真实相机。示出了24个光谱通道中的六个（{404.4、439.7、488.7、556.8、630.1和699.5nm）可以看出，只有λ-net可以恢复最后一 个 通 道 （ 最 右 边 ） 。 PSNR ： λ-net 25.59dB ， GAP-TV24.58dB，TwIST 24.33dB，DeSCI 25.13dB。图10.真实数据结果：重建光谱的鸟类数据从测量捕获的真实SCI相机。光谱图像的重建网络，从而提高了我们的模型的性能。提出了分层信道重构的方法，将复杂的信道重构问题分解为几个较简单的任务。实验结果表明，HCR能进一步提高系统的性能.为了进一步提高重建图像的质量，我们采用了另一个带有残差学习的小U-网络来改进第一阶段的结果通过独立处理每个由于这个细化阶段，重建图像的质量得到了显著改善。我们提出的λ-网络已被压缩光谱相机捕获的实际数据所验证。它不仅取得了比现有技术更好的效果，而且在很短的时间内完成了重建预计将使用CASSI相机与我们的λ-net来构建端到端视频速率3D高光谱成像系统，同时享受低成本和低带宽的好处。致谢这项工作得到了国家科学基金会资助IIS 1565328的部分支持。PNSR结果结果SSIM输入细化阶段重构级30.200.866√√√U-net2U-net [52]4069引用[1] 洞穴多光谱图像数据库。网址：//www1.cs.columbia.edu/CAVE/databases/multispectral/.访问时间：2018-11-05。[2] 高光谱和彩色成像。https://sites.google.com/site/hyperspectralcolorimaging/dataset/general-scenes.访问时间：2018-11-05。[3] Naveed Akhtar和Ajmal S Mian。基于高斯过程的rgb图像高光谱恢复。IEEE transactions on pattern analysis andmachine intelligence，2018。[4] 放大图片创作者：Stephen McLaughlin.放大图片创作者：Alfred O.希罗和丹尼尔·法克西奥。量子计算机成像Science，361（6403），2018.[5] 波阿斯·阿拉德和阿哈德·本·沙哈。从自然rgb图像中稀疏恢复在ECCV。施普林格，2016年。[6] Gonzalo R Arce 、 David J Brady 、 Lawrence Carin 、Henry Arguello和David S Kittle。压缩编码孔径光谱成像：一个介绍。IEEE Signal Processing Magazine，31（1）：105[7] Henry Arguello和Gonzalo R Arce。 用于光谱选择压缩成像的秩最小化编码孔径设计。IEEE transactions onimage processing，22（3）：941[8] Henry Arguello和Gonzalo R Arce。压缩光谱成像中测度集中的彩色编码孔径设计。IEEE Transactions on ImageProcessing，23（4）：1896[9] 作者：Henry Arguello，Hoover Rueda，Yuehao Wu，Dennis W. Prather和Gonzalo R.阿尔塞编码孔径光谱成像的高阶计算模型。应用选择，52（10）：D12[10] 乔是比乌卡斯-迪亚斯和马里奥-菲格雷多。一个新的转折 ： 两 步 迭 代 收 缩 / 阈 值 算 法 的 图 像 恢 复 。 IEEETransactions on Image Processing，16（12）：2992[11] 曹勋、杜浩、童欣、戴琼海、林志颖。用于多光谱视频采 集 的 棱 镜 掩 模 系 统 。 IEEE transactions on patternanalysis and machine intelligence，33（12）：2423[12] 曹迅，岳涛，林星，林欣，袁欣，戴琼海，劳伦斯·卡林，大卫·布雷迪.计算快照多光谱相机：对光谱世界的动 态 捕 捉 。 IEEE Signal Processing Magazine ， 33（5）：95[13] Jen-HaoRickChang ， Chun-LiangLi ， BarnabasPoczos ， BVKVijayaKumar ， andAswinCSankaranarayanan.一个网络来解决所有使用深度投影模型的线性逆问题。在ICCV，第5889-5898页[14] Xueqing Deng，Yi Zhu，and Shawn Newsam.下面是什么样的？：使用条件生成对抗网络从俯视图像生成密集的地面视图和图像特征第26届ACM会议SIGSPATIAL关于地理信息系统进展的国际会议，第43-52页。ACM，2018。[15] David L Donoho 等 . 压 缩 感 知 。 IEEE Transactions onInformation Theory，52（4）：1289[16] Marco F Duarte 、 Mark A Davenport 、 DharmpalTakhar、Ja- son N Laska、Ting Sun、Kevin F Kelly和Richard G Bara- niuk。通过压缩采样的单像素成像。IEEE信号处理杂志，25（2）：83[17] Candes Emmanuel，Justin Romberg和Terence Tao。Ro-bust不确定性原理：从高度不完整的频率信息中精确重建 信 号 IEEE Transactions on Information Theory ， 52（2）：489[18] Ma'rioATFigueiredo，RobertDNow ak，andStephenJWright.稀疏重建的梯度投影：应用于压缩感知及其他逆问题。IEEE Journal of selected topics in signal processing ， 1（4）：586[19] Laura Galvis，Henry Arguello和Gonzalo R.阿尔塞失配压缩光谱成像中的编码孔径设计。应用选择，54（33）：9875[20] 作者简介：陈晓，陈晓，陈晓明，陈晓明.阿尔塞基于边信息的压缩光谱成像编码孔径设计 Appl.
