可扩展的拉普拉斯金字塔重构对抗网络

LAPRAN：一种可扩展的拉普拉斯金字塔重构对抗网络徐凯1[0000 - 0001 - 8122 - 1419]、张志康1[0000 - 0002 - 3024 - 1644]、任风波1[0000 -0002 - 6509 - 8753]亚利桑那州立大学，Tempe AZ 85281，美国{kaixu，zzhan362，renfengbo}@ asu.edu抽象。本文主要研究单幅图像的压缩感知和重构问题。我们提出了一个可扩展的拉普拉斯金字塔重建对抗网络（LAPRAN），使高保真，灵活和快速的CS图像重建。LAPRAN遵循拉普拉斯金字塔的概念通过多个阶段的重构对抗网络（RAN）渐进地重构图像。在每个金字塔级别，CS测量值与上下文潜在向量融合以生成高频图像残差。因此，LAPRAN可以产生重建图像的层次结构，并且每个层次结构具有增量分辨率和改进的质量。LAPRAN的可缩放金字塔结构使得能够以灵活的分辨率进行高保真CS重建，该分辨率适应于宽范围的压缩比（CR），这对于现有方法是不可行在多个公开数据集上的实验结果表明，与基于模型和数据驱动的基线相比，LAPRAN分别提供了平均7.47dB和5.98dB的PSNR，以及平均57.93%和33.20%的SSIM改善关键词：压缩传感·重构·拉普拉斯金字塔·重构对抗网络·特征融合。1介绍压缩感测（CS）是比奈奎斯特采样更高效的变换采样技术。而不是采样在奈奎斯特速率，然后压缩采样数据，CS的目的是直接感测信号在一个压缩的形式，同时保留必要的信息，准确的reconstruction和灰。编码简单性的折衷是复杂的重建过程。传统的CS重建算法基于凸优化[2，3，17，26，27]或贪婪/迭代方法[5，20，35]。这些方法具有限制其实际使用的三个主要缺点。首先，迭代性质使得这些方法计算密集并且不适合于硬件加速。其次，广泛采用的稀疏性约束，因为sumes给定的信号是稀疏的一个已知的基础上。然而，自然图像不具有在任何已知基础（DCT、小波或小波变换）上的精确稀疏表示。2K. XU等人curvelet）[27]。对稀疏性约束的强依赖性成为常规方法的性能限制因素。用确定性原子构建过完备字典[37，38]只能适度放松约束，因为学习的线性稀疏模型通常很浅，因此影响有限。第三，常规方法具有仅允许以固定分辨率重建的刚性结构。当压缩比（CR）由于有限的通信带宽或存储空间而需要折衷时，不能保证恢复质量。更好的解决方案是 以折衷的分 辨率重建， 同时保持令 人满意的重 建信噪比（RSNR），而不是针对固定分辨率降低RSNR。最近已经探索了深度神经网络（DNN）用于学习CS的逆映射[15，16，22，23]。现有的基于DNN的方法的局限性是双重的。首先，重建结果往往是模糊的，这是由于欧几里德损失的排他性使用具体来说，当CR较低时，基于DNN的方法的恢复CR<= 10。其次，与基于优化的方法类似，现有的基于DNN的方法都具有刚性结构，仅允许以固定和非自适应分辨率进行重建。当CR低于所需阈值时，重建将简单地失败。在本文中，我们提出了一个可扩展的拉普拉斯金字塔重建对抗网络（LAPRAN）的灵活CS重建，解决了上述所有问题。LAPRAN不需要稀疏性作为先验知识，因此可以潜在地用于更广泛的应用中，特别是在精确的信号稀疏性模型未知的情况下。当应用于图像信号时，LAPRAN通过多个阶段的专门重构对抗网络（RAN），按照拉普拉斯金字塔的概念逐步重构高保真图像在每个金字塔级别，CS测量值与低维上下文潜在向量融合，以生成具有更高分辨率和重建质量的重建图像。LAPRAN的非迭代和高并发性使其适合于硬件加速。此外，LAPRAN的可缩放金字塔结构使得能够实现具有灵活分辨率的高保真CS重建，该灵活分辨率可以适应于宽范围的CR。当CR变得更低和更高时，可以分别从LAPRAN中动态地添加或移除RAN级，以更高或更低的分辨率重建图像因此，可以在广泛的CR范围内保证始终如一的卓越本文的主要贡献如下：– 我们提出了一种新的架构的神经网络模型（LAPRAN），使高保真，灵活和快速的CS重建。– 我们建议在每个金字塔级别将CS测量与低分辨率图像的上下文潜向量融合，以提高CS恢复质量。– 我们说明了渐进学习和重建策略可以减轻CS中逆映射问题的难度。这种策略不仅通过限制搜索空间来加速训练，而且通过消除错误的积累来提高恢复质量。LAPRAN：一个拉普拉斯金字塔重构对抗网络32相关工作CS重建本质上是一个欠定问题。先验知识，即，必须利用信号的结构来减少重构之后的信息损失。根据应用先验知识的方式，CS重建方法可以分为三类：1）基于模型的方法，2）数据驱动的方法，3）混合方法。2.1基于模型的重建方法基 于 模 型 的 CS 重 建 方 法 主 要 依 赖 于 稀 疏 先 验 。 例 如 ， 基 追 踪（BP） 、最 小 绝对 收 缩和 选择 算 子（ LASSO） 和最 小 角度 回归（LARS）都基于1最小化。其他方法利用其他类型的先验知识来提高恢复性能。NLR-CS [17]提出了一种非局部低秩正则化来利用相似补丁的组稀疏性。TVAL3 [26]和EdgeCS [36]使用全变差（TV）正则化器通过更准确地保留边缘或边界来重建更清晰的图像。D-AMP [27]扩展了近似消息传递（AMP），以采用去噪算法进行CS恢复。通常，基于模型的恢复方法遭受有限的重建质量，特别是在高CR下。因为图像虽然可压缩，但在任何常用的变换域中都不是理想的稀疏[27]。需要图像结构的附加知识此外，当可用的CS测量的数量低于理论下限时，基于模型的方法将简单地使重建失败。2.2数据驱动的重建方法代替明确地指定先验知识，已经探索了数据驱动的方法Kuldeep等人和Ali等人提出了“ReconNet”[23]和“DeepInverse”[29 ]，非常明确。可以通过卷积神经网络（CNN）从CS测量重构图像块。实验结果表明，这两种模型是高度鲁棒性的噪声和能够恢复视觉上更好的图像比基于模型的方法。然而，这些方法的主要缺点是专门使用的2重建损失的训练。由于2损失不能可靠地生成形状图像，因此必须引入额外的损失度量以进一步提高重建质量。此外，从低维测量域到高维图像域的直接映射是高度欠确定的。由于两个域之间的维度间隙相应地扩大，因此随着CR的增加，这种欠定映射问题变得更加臭名昭著。2.3混合重建方法混合方法旨在结合基于模型的方法和数据驱动的方法两者的益处。这种方法首先利用专家知识来建立一个重新定义的模型，4K. XU等人ǁ − ǁ×算法，然后从训练数据中学习额外的知识，同时保持模型的可解释性和性能界限。受基于去噪的近似消息传递（D-AMP）算法的启发，Chris et al. 提出了一种用于CS图像重建的学习D-AMP（LDAMP）网络迭代D-AMP算法被展开并与去噪卷积神经网络（DnCNN）组合，该去噪卷积神经网络在每次迭代中用作去噪器。这种方法的主要缺点是其复杂的迭代结构，禁止并行训练和有效的硬件加速。受用于图像生成的生成对抗网络（GAN）的成功的启发，Bora等人提出使用预训练的DCGAN [32]用于CS重建（CSGM）[6]。该应用发现了一个最小化目标AG（z）y2的子向量z，其中G、A和z分别是生成器、感测矩阵和CS测量。最佳重建结果表示为G（z）。不同的是，所述方法从CS测量结果中导出大小化信息，这减轻了对额外潜在空间的探索。虽然这两种方法都是基于GAN的，但它们代表了两种根本不同的CS重建方案。CSGM是稀疏合成模型[7，8]，其将未知信号近似为x=G（z），其中同时测量稀疏系数（z）。而LAPRAN是根据x = G（y）从对应的CS测量y直接合成未知信号x的共稀疏分析模型[30，9]。因此，我们将所提出的模型的构建块称为重建对抗网络（RAN）而不是GAN。RAN优雅地近似来自CS测量样本的自然图像分布，避免了合成模型中的迂回 当多个plentw或kpro pa tin被设计为在CSGM中获得最优z时，LAPRAN在单个前馈传播中完成重构。因此，LAPRAN具有较低的计算复杂度和较快的重建速度。3方法所提出的CS系统的总体结构如图1所示。它由两个功能单元组成，用于采样的多速率随机编码器和用于重建的LAPRAN。多速率随机编码器从单个图像生成具有不同CR的多个CS测量。LAPRAN采取了CS测量值作为输入，并逐步重建原始图像在多个层次结构中，解决方案和恢复质量不断提高。在第一阶段中，RAN1重建原始图像的低分辨率缩略图（8 8）。在每个阶段的以下RAN将由前一阶段生成的低分辨率输入与CS测量融合，以产生通过因子2上采样的重建图像。因此，重建图像的分辨率在整个级联RAN中逐渐提高。所提出的LAPRAN架构是高度可扩展的。可以级联更多的RAN（就像“LEGO”块）以将其作为所述级联的图像的保留来累积。LAPRAN的每个构建块在下面详细描述。补充材料中提供了有关LAPRAN架构LAPRAN：一个拉普拉斯金字塔重构对抗网络5RecGen 1y2RecGen 2y1o1C2O2L1L2RecDisc2RecDisc 1Lk确认RecGen k2联系 我们联系我们×K×12第一阶段第二y1y2yk阶段kyk...多速率编码器RAN1RAN2RANk图1：所提出的LAPRAN的总体结构。高维图像的CS测量由多速率随机编码器执行LAPRAN将CS测量值作为输入，并以递增的分辨率和恢复质量在多个层次中逐步重建原始图像在每个金字塔级别，RAN生成图像残差，其随后与来自前一级别的放大输出组合以形成当前级别的更高分辨率输出（上采样和放大分别是指在添加和不添加新细节的情况下增加图像分辨率RAN的详细结构如图3所示。3.1多速率CS编码器我们提出了一个多速率随机编码器CS采样。 给定一个输入图像，编码器将C_S_m分解为u_r_m_s_l，，yt然而，每一个都具有不同的维度。所产生的测量值作为输入被馈送到RAN的每个帧中，即，例如，y1，，yk是为了RAN1，… RA Nk。根据率失真理论[13]，最小比特率与重建质量正相关，这表明第i个RAN需要比所有先前RAN更多的信息，以便通过递增地添加更精细的细节来提高图像分辨率每个RAN所需的测量次数的定量分析如下。 设A是m × n的感知矩阵，满足或der2k的限制等距性（RIP），其对称性为δ2k∈（0，]）. 向CS报告或y[12]，CSmenumer的下限作为urementsreqred满足RIP的定义为：m ≥ Ck log（n），其中C = 1log（24 + 1）≈ 0。28.在CS图像重建问题中，令输入测量两个相邻RAN精确重建N-N图像和2N2N图像所需的测量分别为m1和m2，我们定义测量增量比为β=m2。如果我们假设两个图像的稀疏比（k）m1n在两个相邻RAN上保持恒定，则β可以计算为：β= 4 k × log[（2 N × 2 N）/4 k]= 4。（一）k×log[（N×N）/k]等式（1）指示前一个RAN所需的CS测量（以及CR）的数量应当是后一个的至少1/4，以便保证令人满意的重建性能。应注意，β= 4φ1φ2φkEnc 2…Dec 112月2日6K. XU等人⌊⌋∈ ∈ ∈∈∈ ∈···∈N年1年2年3年4年M2mΦ14m8mΦ2Φ3Φ4感测矩阵CS测量图2：用于多速率CS的感测矩阵的图示。在Φ1∈Rm×N，Φ2∈R2m×N，Φ3∈R4m×N，Φ4∈R8m×N的四种意义下，当u元素s{y1，y2 ，y3，y4}∈R{m，2m ， 4m ， 8m} 时 ， 对 四 个 C-S-m 都 有 意 义 . y1 、 y2 、 y3 、 y4被指定为RNN1到RNN4，作为形式源。是上限，较低的β值可以用于以在早期阶段收集更多CS测量为代价提供更好的重建性能。在这项工作中，我们采用β = 2设置一个逐渐增加的CR在不同的阶段，而不是使用一个统一的CR。由于测量向量的维度等于感测矩阵中的行数，因此图1中的k个感测矩阵具有以下维度：Φ1Rm×N，Φ2Rβm×N，ΦkRβk−1 m×N。图2中示出了用于4级LAPRAN的多速率编码的感测矩阵的示例所生成的测量值y1Rm 、y2R2m、y3R4m、y4R8m分别用作RAN1、RAN2、RAN3和RAN4的输入。 关于k级LAPRAN，我们仅需要对用于训练的对象进行分类。 由于y都是yi+1的子集合，我们可以将y的前βi-1个元素作为hi在数据库中存储。所提出的LAPRAN使得能够以灵活的分辨率进行CS重建当CS测量的数量不能满足所需的阈值时，现有的方法将无法重建，没有回旋的余地。替代地，所提出的方法仍然可以在CS测量不充分的情况下重建具有较少细节的图像的较低分辨率预览。每个RAN的输出构成了图像金字塔，为用户提供了极大的灵活性，选择重建图像的所需分辨率。3.2用于CS图像重建的我们提出了一个RAN在每个金字塔的水平，以产生重建的图像与一个固定的分辨率。RAN由不被定义为“R ec G e n”的重构生成器和不被定义为“R ec D i s c”的重构生成器组成。“R ec D遵循DCGAN [32]的结构，RecGen的结构是专门为重建而定制的。将第二RNN阶段中的RecGen2作为LAPRAN：一个拉普拉斯金字塔重构对抗网络731616deconv2u264643C264C116161638864816resblk1~31616conv2484FC1FC2conv3解v1conv4conv1I2O2y2R2特征提取特征融合残差生成图3：RecGen2的结构。通过编码器-解码器网络将低分辨率输入图像i2变换成高频图像残差r2通过将图像残差添加到放大的输入图像来生成高分辨率输出图像。每个特征图的维度在图中表示。还示出了每个卷积层的示例输出。{i2，r2，u2，o2}分别是来自前级、图像残差、放大的输入和输出图像的累积输入。 y2是由多速率CS编码器生成的输入测量。RecGen2 由 两 个分 支 组 成 ： 1 ） 上 部 分 支 ， 其 经 由 去 卷 积 神 经 网 络（deconvl）生成放大的输入图像u2;以及2）下部分支，其生成图像残差r2以补偿由上部分支引入的伪影。 注意，u 2是从较低分辨率图像放大的，因此u 2缺少高频分量（参见图3），并且仅提供对较高分辨率地面实况图像的粗略近似。 正是高频残差r 2的添加恢复了图像的整个频率范围，从而大大提高了重建质量[14]。输入i2被视为用于生成残差图像r2的低分辨率上下文。 我们建议首先使用编码器来提取上下文潜在向量c 1来表示低分辨率上下文i 2。编码器由两个卷积层和一个全连接层组成。 为了保证在融合之后对特征的相等贡献，上下文潜在向量cl具有与CS测量y2相同的维度。 应当注意，通过增加Cl的维度，可以预期来自上下文输入的更多图像图案出现在最终重建中，反之亦然。在特征空间中，C1与CS元融合，如在特征空间中的连续性（在[ 34]中被称为“快速融合”全连接层用于将融合向量变换回具有与上下文输入i2相同维度的特征图。放大的常见做法是使用解池层[41]或插值层（双线性，双三次或最近邻）。然而，这些方法是不可逆的或不可训练的。相反，我们应用一个去卷积层8K. XU等人deconv1 [40]以学习融合特征图的上采样。我们设置了三个残差块（resblk 1 - 3）[19]来处理上采样的特征图，以生成图像残差r2，然后将其与上分支（deconv 2）生成的u2组合，以形成最终的输出图像。从情境中学习代替直接从CS测量重建原始图像，我们提出利用低分辨率上下文（图3中的i/2）来调节重建。所提出的条件重构方案从根本上不同于仅依赖于CS测量的常规方法。原因如下。学习逆重构映射是一个高度欠定的问题，因此众所周知很难解决。我们需要准确地预测这样一个异常高维空间中的每个像素值所有现有的数据驱动的方法直接在这样一个广阔的空间中搜索，并试图建立从低维CS测量到高维地面实况的直接映射。问题的复杂性和缺乏额外的约束使搜索过程效率低下，不可信。不同地，我们委托低分辨率上下文来限制子搜索空间，即，远离搜索空间中的上下文的候选将被排除。此外，CS测量补充了恢复图像的整个频谱所需的必要信息。因此，上下文和CS测量的融合提高了收敛速度和恢复精度。剩余学习。在LAPRAN中，每个RAN的RecGen类似于[19]中的ResNet所有卷积层后面都是空间批量归一化（BN）层[21]和ReLU，输出层除外。输出层使用Tanh激活函数来确保输出图像具有在[0，255]范围内的像素值。使用BN和归一化权重初始化[25]缓解了梯度消失或爆炸的问题，因此提高了收敛精度和速度。3.3用于灵活CS重建的级联RAN现有的基于DNN的方法都具有刚性结构，允许仅以固定的CR和非自适应分辨率进行重建。当在编码过程中使用不同的CR时，必须从头开始重新训练新模型。受基于自相似性的超分辨率（SR）方法[18，10]的启发，我们提出了一种灵活的CS重建方法，该方法通过在运行时动态级联多个RAN（参见图1）来实现。在训练时，每个RAN对应于重建图像的特定分辨率以及准确重建所需的CR的上限。CR在不同阶段的阈值应根据给定目标准确度度量的实验来确定。在运行时，取决于输入的CR，仅具有较高CR阈值的RAN将被启用用于重建。因此，所提出的LAPRAN可以执行高保真CS重建，具有灵活LAPRAN：一个拉普拉斯金字塔重构对抗网络9无融合无融合MSEMSE0.06 0.060.04 0.040.02 0.0200 5 1015历元00 5 10 15历元(a) 第1（b）阶段第20.06 0.060.04 0.040.02 0.0200 5 1015历元00 5 10 15历元(c)第3（d）阶段第4图4：收敛性分析。我们在CR为10时使用CI-FAR 10数据集比较MSE检验误差。没有测量融合的结果可以被视为SR方法的性能。由于缺乏新的信息，SR方法的MSE损失在第1阶段之后不能有效地减小。分辨率，适应广泛的CR。这一优点对于CS应用场景尤其重要，其中CR必须适应存储空间或通信带宽的动态要求当CR在这样的应用场景中受损时，所有现有的方法都将无法重建，而所提出的LAPRAN仍然可以以降低的分辨率重建图像的准确预览。所提出的LAPRAN的另一个优点是其分层结构降低了训练的难度CS重建是一个高度欠定的问题，具有巨大的搜索空间。因此，用单个网络精确地逼近逆映射是非常困难的.采用分而治之的策略，我们提出了一个高度欠确定的问题划分成一系列的轻度欠确定的问题，并在多个层次上征服他们。由于每个子问题中输入和输出之间的维度差距显著减小，因此与原始问题相比，学习每个映射的难度此外，由于分层结构利用了一系列上采样操作，因此在每个阶段发生误差累积为了缓解这样的问题，我们定义了一个损失函数，并独立地执行每个阶段的反向传播。与在最终输出处执行单个反向传播的情况相比，在每个阶段之后有效地减少了训练误差。在每个金字塔水平处注入的CS测量是CS重建的关键，其区分无融合无融合MSEMSE10K. XU等人guesses从图像SR方法提出的方法SR模型[15，16，22，24]负责推断输入中不存在的高频分量从频率的角度来看，SR模型应该是充分非线性的，以补偿频率间隙，这不可避免地导致复杂的结构。不同的是，所提出的方法将新的信息提供的CS测量到重建在每个阶段。CS测量补充了恢复图像的整个频谱所需的必要信息，这是学习视觉表示的强大信息源。因此，在所提出的方法中，重建图像的分辨率和质量在不同阶段上都增加。为了说明这一点，我们比较LAPRAN的一个变种，没有融合机制，在每个阶段实现（SR对应）。比较结果如图4所示。很明显，所提出的LAPRAN的重建精度是一致的逐步提高，而SR对应遭受有限的性能改善。3.4重构损失我们使用逐像素的2重建损失和对抗损失进行训练。损失找到重建图像的整体结构。对抗性损失从图像分布中提取特定模式，并生成更真实的总损失函数定义如下：zEnc（z |xl），xh=G（y| z），Ladv（G，D）=Exh[logD（xh|z）]+Ey[l〇 g（1-D（G（y|z））]，Leuc=Exh[xh−xG2]，Ltotal=λadvLadv+λeucLeuc，（2）其中，xxl、xh和xG分别是低分辨率输入图像、高分辨率输出图像、地面实况图像和CS测量。编码器函数（Enc）将低分辨率输入xl映射到上下文潜在向量z上的分布。3.5培训每个RAN的训练被单独地和顺序地执行。我们从训练第一阶段开始，输出用作第二阶段的输入。所有后续阶段的训练以这种顺序方式执行由于不同阶段的RAN具有相似的结构但具有不同的输出维度，因此我们使用前一阶段的预训练权重初始化每个阶段的训练，以利用迁移学习。实验表明，这种训练方案比静态初始化（如高斯或Xavier）更稳定，收敛速度更快。此外，相邻阶段之间的权重转移有助于解决GAN中臭名昭著的模式崩溃问题，因为预训练的权重已经覆盖了训练图像中存在的多样性建议利用权重转移来促进剩余RAN的训练。LAPRAN：一个拉普拉斯金字塔重构对抗网络11×≥表1：拟定方法和参考方法之间的主要差异总结。名称模型/数据驱动迭代？重构损失NLR-CS模型是的直接组稀疏，低秩TVAL3模型是的直接2，电视D-腺苷酸模型是的直接去噪ReconNet数据没有直接ℓ2LDAMP混合是的直接去噪CSGM数据没有直接2、对抗性LAPRAN数据没有进步2、对抗性4实验在本节中，我们评估所提出的方法的性能。我们首先描述用于训练和测试的数据集。然后，提供用于训练的参数。最后，我们比较我们的方法与国家的最先进的CS重建方法。4.1数据集和训练设置我们用三个广泛使用的基准数据集来训练和评估所提出的LAPRAN。前两个是MNIST和CIFAR10。第三个数据集是按照先前SR工作[22，24，33]中使用的规则制作的，其使用来自Yang等人的91个图像。[39]和来自Berkeley Segmentation Dataset（BSD）的200张图像[1]。这291幅图像被增强（旋转和翻转）并切割成228，688块作为训练数据。使用相同的方法对Set5 [4]和Set14 [42]进行预处理，并用于测试。我们实现了一个4阶段LAPRAN CS图像重建。我们将每个训练图像调整为64 - 64，并使用128的批量大小训练LAPRAN，用于提前停止的100个时期我们使用亚当求解器，学习率为1× 10- 4。在单个NVidiaTitan X GPU上进行训练大约需要两天时间4.2与最新技术水平的我们将提出的LAPRAN与六种最先进的CS重建方法进行比较：NLR-CS [17]，TVAL 3 [26]，BM 3D-AMP（具有BM 3D降噪器的D-AMP[11]），ReconNet [23]，CSGM [6]和学习的D-AMP[28]。所有方法总结于表1中。结构相似性（SSIM）和峰值信噪比（PSNR）被用作性能指标的基准。重建性能的定量比较如表2所示。所提出的LAPRAN在所有测试数据集和所有CR上实现了最佳恢复质量。特别地，LAPRAN在大CR（20）处的性能退化是有界的。主要原因有两方面。首先，我们的方法采用了渐进式重建策略，大大提高了12K. XU等人减轻了近似CS的逆映射的困难相比之下其次，我们的方法利用低分辨率的图像作为输入，以指导在每个阶段的生成过程，这有助于进一步减少搜索空间的欠定问题，通过消除不相关的候选人。来自组5和组14的重建图像（在5和20的CR下）的视觉比较分别在图5a和5b中示出。实验结果表明，该方法可以准确地重建地面实况图像中的平行线等高频细节。相比之下，参考方法产生明显的伪影，并且在CR为20时开始丢失细节。表2：最新CS重建方法的定量评价。算法CRMNISTCIFAR10Set5产品14SSIM PSNR SSIM PSNR SSIM PSNR SSIM PSNRNLR-CS0.408 24.85 0.868 37.91 0.803 30.42 0.794 29.42D-腺苷酸0.983 37.78 0.968 41.35 0.852 33.74 0.813 31.17TVAL-30.934 36.39 0.847 32.03 0.812 31.54 0.727 29.48ReconNet50.911 29.03 0.871 32.55 0.824 31.78 0.763 29.70CSGM0.748 28.94 0.788 30.34 0.619 27.31 0.575 26.18LDAMP0.797 31.93 0.971 41.54 0.866 32.26 0.781 30.07LAPRAN（我们的）0.993 38.46 0.978 42.39 0.895 34.79 0.834 32.71NLR-CS0.416 21.98 0.840 33.39 0.764 28.89 0.716 27.47D-腺苷酸0.963 35.51 0.822 30.78 0.743 27.72 0.649 25.84TVAL-30.715 27.18 0.746 29.21 0.702 28.29 0.615 26.65ReconNet100.868 28.98 0.843 29.78 0.779 29.53 0.704 27.45CSGM0.589 27.49 0.784 29.83 0.560 25.82 0.514 24.94LDAMP0.446 22.40 0.899 34.56 0.796 29.46 0.687 27.70LAPRAN（我们的）0.990 38.38 0.943 38.13 0.849 32.53 0.775 30.45NLR-CS0.497 21.79 0.820 31.27 0.729 26.73 0.621 24.88D-腺苷酸0.806 28.56 0.402 16.86 0.413 16.72 0.329 15.12TVAL-30.494 21.00 0.623 25.77 0.583 25.18 0.513 24.19ReconNet200.898 27.92 0.806 29.08 0.731 27.07 0.623 25.38CSGM0.512 27.54 0.751 30.50 0.526 25.04 0.484 24.42LDAMP0.346 17.01 0.756 28.66 0.689 27.00 0.591 24.48LAPRAN（我们的）0.985 37.02 0.896 34.12 0.801 30.08 0.716 28.39NLR-CS0.339 17.47 0.703 27.26 0.580 22.93 0.581 22.93D-腺苷酸0.655 21.47 0.183 10.62 0.230 10.88 0.1369.31TVAL-30.381 18.17 0.560 24.01 0.536 24.04 0.471 23.20ReconNet300.892 25.46 0.777 29.32 0.623 25.60 0.598 24.59CSGM0.661 27.47 0.730 27.73 0.524 24.92 0.464 23.97LDAMP0.290 15.03 0.632 25.57 0.572 24.75 0.510 22.74LAPRAN（我们的）0.962 31.28 0.840 31.47 0.693 28.61 0.668 27.09LAPRAN：一个拉普拉斯金字塔重构对抗网络13×××∼表3：用于重建64 × 64图像块的运行时间（秒）。 与基于模型的方法不同，LAPRAN的运行时间对CR是不变LAPRAN比ReconNet稍慢，因为它的模型容量很大CSGM和LDAMP由于其迭代性质而相对较慢名称装置CR=5CR=10CR=20CR=30NLR-CSCPU1.869e11.867e11.833e11.822e1TVAL3CPU1.858e11.839e11.801e11.792e1BM3D-AMPCPU4.880e-14.213e-13.018e-12.409e-1ReconNetGPU2.005e-31.703e-31.524e-31.661e-3CSGMGPU1.448e-11.125e-19.089e-28.592e-2LDAMPGPU3.556e-12.600e-11.998e-11.784e-1LAPRANGPU6.241e-36.384e-36.417e-36.008e-34.3重建速度我们比较每种重建方法的运行时间重建64 - 64图像补丁基准重建速度。对于基于优化的方法，GPU加速由于其迭代性质而无效。因此，我们使用Intel Xeon E5-2695 CPU来运行各自作者提供的代码。对于基于DNN的方法，我们使用Nvidia GTX TitanX GPU来加速重建过程。每个方法的平均运行时间如表3所示所提出的LAPRAN重建时间约为6ms64 64图像块，其比NLR-CS和TVAL 3快四个数量级，并且比BM 3D-AMP、LDAMP和CSGM快两个数量级。如第2.3节所示，LDAMP和CSGM都是需要求解凸CS恢复问题的混合方法。在每个迭代中，DNN被传播以提供子问题的解决方案因此，执行多个传播以获得单个重建，这解释了为什么LDAMP和CSGM都比LAPRAN慢两个数量级与ReconNet相比，LAPRAN牺牲了较小的重建速度，但恢复质量明显提高（提高约3 10dB PSNR）。所提出的LAPRAN对于执行实时CS重建仍然足够快。5结论在本文中，我们提出了一个可扩展的LAPRAN高保真，灵活，快速CS图像重建。LAPRAN由多个阶段的RAN组成，这些RAN在多个层次中逐步重建图像在每个金字塔级别，CS测量与低维上下文潜在向量融合以生成高频图像残差，其随后经由转置CNN进行上采样然后将生成的图像残差添加到从前一级的输出放大的的14K. XU等人地面实况NLR-CSTVAL-3BM3D-AMPReconNetCSGMLDAMPLAPRAN（SSIM，PSNR）（SSIM，PSNR）（0.661，24.23）（0.778，25.48）（0.803，27.86）（0.720，27.52）（0.882，30.33）（0.817，31.70）（0.852，30.79）（0.859，31.18）（0.634，23.52）（0.580，24.91）（0.889，27.84）（0.790，32.91）（0.889，31.79）（0.880，33.19）(a) CS重建结果为CR 5。地面实况NLR-CSTVAL-3BM3D-AMPReconNetCSGMLDAMPLAPRAN（SSIM，PSNR）（0.621，21.58）（0.472，19.13）（0.295，13.51）（0.565，20.06）（0.493，20.41）（0.636，21.38）（0.708，25.18）(SSIM、PSNR）（0.0.58，23.19）（0.436，21.07）（0.256，14.23）（0.541，22.47）（0.441，22.69）（0.530，24.39）（0.654，26.78）(b) CR为20时的CS重建结果。图5：分别在5和20的CR下，蝴蝶（组5）和斑马（组14）的视觉比较。LAPRAN保留了更精细的细节。LAPRAN的分层性质是实现具有灵活分辨率的高保真CS重建的关键，该灵活分辨率可以适应于宽范围的CR。LAPRAN中的每个RAN可以通过权重转移来独立训练，以实现更快的收敛和提高的准确性。在每个阶段利用上下文输入和训练中的分治策略是实现出色重建性能的关键。6确认这 项 工 作 得 到 了 NSF 资 助 IIS/CPS-1652038 和 Google Faculty ResearchAward的支持。LAPRAN：一个拉普拉斯金字塔重构对抗网络15引用1. Arbelaez，P.，Maire，M.，福克斯角Malik，J.：轮廓检测和分层图像片段。TPAMI33（5），8982. Becker，S.，Bobin，J.，Cands，E.J.：Nesta：一种快速准确的一阶方法，用于sparrerecover。SIAMJournalonImag ingSciences4（1），13. Becker，S. R.， Cand d`es，E. J. Grant，M. C. ：用于稀疏信号恢复的应用的卷积核的改进。Mathematical Programming Computation3（3），165- 218（2011）4. Bevilacqua，M.，Roumy，A.，Guillemot角Alberi-Morel，M.L.：基于非负邻域嵌入的低复杂度单幅图像超分辨率In：BMVC，pp. 一百三十五1-1 35 10（2012年）5. Blumensath，T.，Davies，M.E.：用于压缩感知的迭代硬阈值。Applied andComputational Harmonic Analysis 27（3），2656. Bora，A.，Jalal，A.，Price，E.，Dimakis，A.G.：使用生成模型的压缩感测。 In：ICML，pp. 5377. Candes，E.，Romberg，J.，Tao，T.：从不完整和不准确的测量中恢复稳定的信号Communications on Pure and Applied Mathematics 59（8），12078. Cand d`es，E. J. R〇mberg，J.， 再见，T。：Robustunce rtaintypr inc iples：从高复杂度的复杂度中提取简单的替代形式。TIT52（2），4899. 坎兹E.J. Eldar，Y.C. Needell，D.，Randall，P.：具有相干和冗余字典的压缩感知。应用和计算谐波分析31（1），59 - 73（2011）10.崔志，张，H.，Shan，S.，Zhong，B.，Chen，X.：深度网络级联用于图像超分辨率。In：Fleet，D.，Pajdla，T.，Schiele，B.，Tuytelaars，T.（ eds. ECCV2014。 LNCS，vol.8693，pp.49比64Springer，Heidelberg（2014）. https://doi.org/10.1007/978-3-319-10602-1www.example.com11.Dabov，K.，Foi，A.，Katkovnik，V.，Egiazarian，K.：基于稀疏三维纹理的图像去噪TIP16（8），208012.Davenport，M.A.：随机观察上的随机观察：稀疏信号采集与处理。博士Rice University（2010）13.Davisson，L.：率失真理论：数据压缩的数学基础。TCOM20（6），120214.Denton，E.L.，Chintala，S.，斯拉姆河，Fergus，R.：深度生成图像模型使用驱动器网络的一种并行算法。 ^^ 148615.董，C.，Loy，C.C.，他，K.，唐X：使用深度卷积的图像超分辨率。TPAMI38（2），29 516.董，C.，Loy，C.C.，他，K.，唐X：学习用于图像超分辨率的深度卷积网络。In：Fleet，D.，Pajdla，T.，Schiele，B.，Tuytelaars，T. （eds.ECCV2014。 LNCS，vol. 8692，pp. 184-199 Springer，Heidelberg（2014）.https://doi.org/10.1007/978-3-319-10593-21317.Dong，W.，Shi，G.，Li，X.，妈妈，Y.，Huang，F.：经由非局部低幅区域的压缩感测。TIP23（8），361818.Glasner，D.，Bagon，S.，Irani，M.：从单一图像中获得超分辨率。In：ICCV，pp. 34919.他，