基于深度学习的图像压缩感知的可扩展卷积神经网络及其性能评估

12290用于图像压缩感知的史乌镇1，姜锋1，2，刘少辉1，2，赵德斌1，21哈尔滨工业大学计算机科学与技术学院，中国哈尔滨2鹏程实验室，深圳，中国{wzhshi，fjiang，shliu，dbzhao}@ hit.edu.cn摘要最近，已经提出了基于深度学习的图像压缩感知（CS）方法，并证明了具有低计算复杂度的卓越重建质量。然而，现有的基于深度学习的图像压缩感知方法需要针对不同的采样率训练不同的模型在本文中，我 们 提 出 了 一 个 可 扩 展 的 卷 积 神 经 网 络 （ 称 为SCSNet），实现可扩展的采样和可扩展的重建，只有一个模型。具体而言，SCSNet提供粗粒度和细粒度可扩展性。对于粗粒度可扩展性，SC-SNet被设计为单个采样矩阵加上包含基本层和多个增强层的分层重构网络。基本层提供基本重建质量，而增强层参考较低的重建层并逐渐提高重建质量。对于精细粒度的可扩展性，SCSNet通过使用贪婪方法来选择测量基来实现在任意采样率下的采样和重构。与现有的基于深度学习的图像CS方法相比，SCSNet仅用一个模型就实现了任意采样率下的可伸缩采样和质量可伸缩重建。实验结果表明，SCSNet具有最先进的性能，同时保持与现有的基于深度学习的图像CS方法相当的运行速度11. 介绍压缩感知（CS）[11]描述了一种用于信号采集和重构的新范式它联合实现了采样和压缩。给定一个采样矩阵Φ∈Rm×n，其中m n，CS表示信号x∈n×1，它可以在变换中稀疏表示域，可以很好地从其线性测量重建-y=Φx。由于CS理论保证了信号1测试代码可从https://github.com/wzhshi/SCSNet获得。图1.重建质量和CPU运行速度的比较。比较的传统CS方法用蓝色字体标记，比较的基于深度学习的CS方法用绿色字体标记。该图表基于采样率为0.1的Set 11 [20]结果。在信号稀疏的情况下，可以在低采样率下重建出高质量的信号，因此，压缩感知受到了广泛的关注。已经提出了一些工作来将CS应用于图像采集[12，17]，信源编码[28，15]，无线广播[37，21]等。在CS的研究中，两个主要的挑战是（1）采样矩阵的设计和（2）从其线性测量重构原始信号[14，1]。对于第一个挑战，代表性的采样矩阵包括：随机矩阵[14]、二进制矩阵[1，23]和结构矩阵[9，15]。对于第二个挑战，代表性方法包括：凸优化算法（例如[8，35，13]），贪婪算法（例如，[24，33，30]），以及迭代阈值算法（例如，[16]）。这些传统方法的迭代性导致了计算的复杂性，从而限制了它们的实际应用。最近，已经提出了一些基于深度学习的图像CS重建方法[26，20，4，32，39，36]。如图1所示，基于深度学习的im-12291与传统方法相比，新的CS方法可以以更低的计算复杂度获得更好的性能现有的基于深度学习的图像CS方法的共同问题是它们针对不同的采样率训练不同的模型，这增加了编码器和解码器的复杂性。太多的模型占用了大量的存储、内存带宽和计算资源。特别是，这些资源需求变得令人望而却步的嵌入式移动应用程序。此外，如果给定采样率下的重建质量不满足，则现有的基于深度学习的图像CS方法必须对所有测量值进行重新采样。这将导致过采样并损害被捕获的对象（例如，医学成像）。此外，一些作品[37，21]研究了用于无线广播的图像CS，其中不同的用户将基于他们的信道条件从不同量的测量中因此，优选可缩放重构。这两种情况（医学成像和无线广播）都期望可扩展的采样和可扩展的重构，这是现有的基于深度学习的图像CS方法所没有考虑的在本文中，我们提出了一个可扩展的卷积神经网络（称为SCSNet），以实现可扩展的采样和可扩展的重建，提供粗粒度和细粒度的可扩展性，只有一个模型。对于粗粒度可扩展性，SCSNet被设计为单个采样矩阵加上包含基本层（BL）和多个增强层（EL）的分层重构网络与粗粒度可伸缩性相同，H.264和H.265 [5]，SCSNet的BL提供基本的重建质量。EL参考较低层并逐渐提高重建质量。对于细粒度的可扩展性，SCSNet通过使用贪婪算法来选择测量基2，以任何采样率实现采样和重构。与现有的基于深度学习的方法相比，SCSNet仅用一个模型就实现了实验结果表明，SCSNet具有最先进的重建质量，同时保持与现有的基于深度学习的图像CS方法相当的运行速度。本文的主要贡献如下：• 提出了一种可扩展卷积神经网络（SC-SNet），该网络仅用一个模型就可以实现可扩展采样和可扩展重构。• 提出了一种基于CNN的粗粒度可伸缩采样和可伸缩重构方法，提供基本的重建质量，并且EL- s逐渐改善重建质量。2本文将抽样矩阵的每一行称为一个测量基。• 提出了细粒度可伸缩采样和可伸缩重构方法，采用贪婪法选择测量基。细粒度可缩放性可以以任何采样率对图像进行采样和恢复。2. 相关工作和动机我们通过将现有方法分为传统CS方法和基于深度学习的CS方法来回顾相关工作。通常，传统的CS方法通过求解稀疏正则化优化问题来从CS测量恢复信号。众所周知的方法包括：凸优化方法[7]、贪婪算法[24，33]和梯度下降方法[8，35，13]。对于图像CS，一些方法引入图像先验作为正则化项。例如，Li et al.[22]使用总变差（TV）正则化约束来代替基于稀疏的约束，以增强局部平滑性。在[40]中，Zhang et al.提出了一种基于组稀疏表示（GSR）的图像压缩感知恢复方法，该方法同时增强图像的稀疏性和非局部自相似性。此外，还提出了基于块的压缩采样（BCS）和基于投影Landweber的CS重建方法[14，27，6]，其中可以很容易地结合广告优化标准。在文献[27]中，离散小波变换（DWT）被用来增强图像的稀疏性。在[6]中，多假设（MH）预测被认为是静态图像和视频序列的CS重建。最近，已经探索了一些基于深度学习的图像CS方法。这些方法可以粗略地分为逐块重构方法[26，20，39，36]和端到端重建方法[32]。在[26]中，Mousavi et al.提出了一种堆叠式去噪自动编码器（SDA），以捕获特定信号的不同元素之间的统计依赖性，并提高信号重构 性 能 。在 [20] 中 ， Kulkarni et al.使 用 CNN（ReconNet）进行图像块重建，并使用现成的去噪器进行去块。在[39]中，Zhang et al.将迭代收缩阈值算法转换为CN-N（ISTA-Net）。在[36]中，Xu et al.提出了一种拉普拉斯金字塔重构对抗网络（LAPRAN），该网络可以生成具有不同分辨率仿真的多个输出。 这些逐块重建方法[26，20，39，36]将导致块伪影。与这些方法相比，CSNet [32]可以通过学习测量和整个重建图像之间的端到端映射来避免块然而，现有的基于深度学习的CS方法需要针对不同的采样率训练不同的模型，这增加了编码器和解码器的复杂度。图像CS已被探索用于多种应用，例如图像采集[12，17]、图像/视频源12292.编码[28，15]、医学成像[31]和无线广播[37，21]。现有的基于深度学习的CS方法针对不同的采样率使用不同的模型这将给存储和硬件实现带来困难。此外，一些应用需要可伸缩采样和可伸缩重构。在医学成像中，过采样可能会损害被捕获的对象。在无线广播中，可伸缩的recruitment是首选。然而，现有的基于深度学习的图像压缩感知方法没有考虑可伸缩采样和可伸缩重构。3. 该方法3.1. SCSNet概述图2示出了具有两个EL的SC-SNet的网络结构示意图。SCSNet使用具有特定过滤器大小和步幅的卷积层来实现BCS。SCSNet的重构网络具有BL和多个EL。BL和EL都有一个初始重建网络和一个深度重建网络。BL的初始重建网络直接从测量生成初始重建图像。EL的初始重建网络首先使用测量来获得补充信息（即，残差），然后将较低重构层的初始重构添加到、、、比值α，nB=α1B2）。这个过程可以转换为一个卷积层具有特定的过滤器大小和步幅，y=S（x）=Ws<$x（1）其中Ws对应于支持B×B×l的n个B滤波器。该卷积层在图2中表示为Conv（B，l，nB）。在层中没有偏置，并且没有激活在这一层之后为了保证采样率的固定，该卷积层的步长为B×B，以实现非重叠采样。利用该特定卷积层，可以通过联合优化该卷积层和重构网络来学习采样矩阵3.2.2分层初始重构网络通过采样层获得的测量值可以被视为n-B特征图，这些特征图被分成多个组，如图2中用不同颜色标记的。BL仅使用一组测量值来获得初始重建。每个EL使用一组测量值来生成重建残差，并参考较低层以提高初始重建质量。给定测量值y，CSNet [32]通过使用卷积层和组合层获得初始重建，表示为生成EL的初始重建。使用深度重建网络对初始重建I（y）=Wint 中文（简体）在每个重建层中。这种分层反射网络结构类似于可伸缩视频编码的解码器架构[5]，并提供粗粒度的x=I（y）=κ.ΣγI11（y）.···γ. . ..Σ1w（y）（三）可扩展性。为了实现细粒度可扩展采样和缩放，。ΣγIh1（y）· · ·γ.Σihw（y）SCSNet能够重建，首先认识到每个测量基地离线的重要性。较高重构层参考较低重构层的初始重构，因此较低重构层中的测量基比较高重构层中的测量基更重要。采用贪心法确定同一重建层中测量基SCSNet通过去除一些不重要的测量基以及与重构网络的相应连接，实现任意采样率下的采样和重构3.2. 粗粒度可扩展性3.2.1具有卷积层的BCS将图像分成大小为B ×B ×l的非重叠块，其中B和l分别是空间大小和通道数量。请注意，我们所有的实验都是在灰度图像上进行的，因此本文中l = 1。对于第j个块xj，BCS表示为yj=ΦBxj，其中ΦB是大小为nB× 1B2的采样矩阵（用于采样其中Wintt对应于1B2滤波器，Wintab（y）是1×1×1B2向量r，a和b是Winta（y）的空间索引，h和w表示行和列中的块的数目。具体来说，γ（·）是将1×1×1B2向量重构为B×B×l块的整形函数，κ（·）是将所有这些块级联以生成一个完整的形象。在这项工作中，BL使用Eq. (2)和等式(3)以获得初始重建，但每个EL仅使用Eq. (2)和等式(3)以得到如图2所示的重建残差。该ini-第i个EL中的初始重建是第i个EL的重建残差加上第（i-1）个EL或BL的初始重建 假设第i组测量值是用ni个测量基获得的，(2) 对应于支集为1 × 1 × ni的lB2滤波器。3.2.3沙漏形深层重建网在得到初始重建之后，在传统BCS方法中存在非线性重建过程[14，27]。在这项工作中，深度重建网络12293图2. SCSNet的网络结构示意图，具有两个EL。图3.深度重建的网络结构。用于进一步细化BL和EL中的重建图像Dong等人[10]表明，沙漏形网络具有良好的性能和较低的计算复杂度。此外，许多工作[18]表明残差学习可以加快网络收敛速度，提高网络性能。基于现有的工作，我们的深度重建网络是一个沙漏形的残差学习网络，如图3所示。沙漏形残差学习网络包括六种操作，即：特征提取、收缩、非线性映射、扩展、特征聚合和跳过连接。除了跳过连接，所有这些操作都是具有不同大小过滤器的卷积这就形成了一个对称的结构，两端厚，中间薄我们将卷积层表示为conv（f，in，out），其中f、in和out分别是滤波器的空间大小、输入通道的数量和输出通道的数量然后，特征提取、收缩、非线性映射、扩展和特征聚合被表示为conv（f，l，d）、conv（f，d，s）、conv（f，s，s）、conv（f，s，d）和conv（f，d，l），其中l是图像通道的量。请注意，d>> s，这确保了深度重建是一个紧凑的沙漏形网络。为了增加网络的非线性，非线性映射被级联k次。除了最后一个卷积层之外，所有这些卷积层后面都有一个ReLu [29]激活层在初始和最终重建之间添加跳过连接。3.2.4损失函数假设重建网络有T个初始重建和T个最终重建，我们有2个T个目标要最小化。我们采用均方误差（MSE）作为损失函数来监督每个初始重建和最终重建。在这些约束条件下，所有初始和最终重建都有望正确重建所需的图像，这可以加速网络收敛并提高最终重建质量。自适应矩估计（Adam）[19]用于优化所有网络参数。3.3. 精细粒度可伸缩性细粒度的可伸缩性是必要的，这增加了应用程序的灵活性。例如，如果在良好训练的模型中BL用于0.01的采样率并且第一EL用于0.05的采样率，则其不能直接应用于以0.04的采样率重建图像。细粒度的可伸缩性使得用一个模型以任意采样率进行图像采样和重构成为可能对于给定的采样率r，其小于第i个EL的采样率ri（为了方便起见，BL被视为特定EL）但大于第i个EL的采样率ri-1。（i-1）thEL，我们删除一些不重要的测量基地和相应的连接到receiverc-在第i个EL中的离子网络为了获得尽可能好的重建，我们使用贪婪算法来保留最多的12294′M算法1测量基选择的贪婪方法。M将测量基从对PSNR影响最小到影响最大进行排序。输入：验证集{xj}，EL的索引i输出：第i个EL中测量基的阶数M1：M←N，Z={1，2，···，L};2：对于k=1至L，3：max pmax←−∞;4：f或z∈Z和z∈/M做5：男性←M{z};6：当测量基于在第i个EL中去除由M′索引的7：如果平均值p>最大值p，则8：max px=avg px，max z←z;9：如果结束10：结束11：M←M{max z};12：结束重要的测量基础。假设第i个EL 使用L个测量基，其索引表示为Z={1，2，···，L}。 当一些测量基础及其与反射网络的连接被移除时，我们希望剩余的测量提供尽可能好的重建。因此，对保留最重要的测量基，我们解决了以下优化问题仅使用一个模型，并提供尽可能好的重建，这提供了细粒度的可伸缩性。4. 实验4.1. 数据集和实施详细信息类似于传统的图像CS方法[27，22，6，40]，块大小被设置为B=32和l=1。在我们的实验中，SCSNet包含一个BL和六个EL，分别对应于0.01，0.05，0.1，0.2，0.3，0.4和0.5的采样率初始重构中的滤波器大小基于如子章节3.2.2中所介绍的采样率和块大小来计算在深反射网络中，我们分别设置f=3，l=1，d=128，s=32，k=13为了优化网络参数- s，前50、51到80和最后20个epoch的学习比分别为10−3、10−4和10−5训练数据与CSNet相同也就是说，BSDS500 数据库[2] 的训练集（200 张图像）和测试集（200张图像）每一个图像都被剪切分成96×96大小的多块。最后，只有89600补丁被用来优化网络参数。4.2. 与最新技术水平的比较4.2.1与传统方法的比较传统的方法包括：小波方法（DWT）[27]，总变差（TV）方法[22]，多假设（MH）方法[6]，和组稀疏表示。argminMΣNj=1（一）M.ΣS（i）（xj）+R（i−1）.ΣS（i−1）（xj）-xjGSR方法[40]。CSNet [32]也被列出用于比较。所有这些方法都是流行的BCS方法-S. 所比较的方法的实现代码为S.T. M Z ={1，2，···，L}（四）从作者的网站下载，并在我们的实验中使用默认参数设置。我们比较其中xj是验证样本，S（i−1）和R（i−1）是第（i-1）个EL的测量和重建S（i）和R（i）是测量，并且重构的残差-这些方法在三个流行的测试数据集上，即，Set5（5个图像）[3]、Set14（14个图像）[38]和BSD 100（100个图像）[25]。请注意，所有实验均在M M第i个EL在删除这些测量值后的年度由Z的子集M来表示。我们使用一个贪婪的方法来解决方程。（四）、我们的想法是在每一步中选择一个最佳选项 对于给定数量的测量基，方程的解。(4) 是提供最高平均PSNR的那些测量基。如算法1所示，M是第i个EL中的测量基的序集在步骤3到步骤11中，我们只选择一个索引移动到对平均PSNR影响较小的M也就是说，首先移动到M中的索引比稍后移动到M中的索引更不重要在L次迭代之后，我们基于它们对重建质量的重要性获得第i个EL中的测量基的顺序由于算法1可以求出测量基的重要性排序，因此可以方便地实现任意采样率下的采样和重构YUV颜色空间的Y通道。七个采样率，即0.01、0.05、0.1、0.2、0.3、0.4和0.5。定量和定性的比较。三个测试数据集的平均PSNR和SSIM如表1所示。最佳结果以粗体字标记。定量结果表明，SCSNet在所有采样率下均优于五种CS方法特别地，与DWT、TV、MH、GSR和CSNet相比平均SSIM也显示SCSNet显著优于五种比较方法。图4示出了在采样率为0.2的情况下图像CS恢复的视觉质量比较我们对每幅图像的子区域进行放大，以比较每幅图像的反射细节显然，SCSNet实现了比传统方法更好的视觉质量虽然R12295图4.在采样率= 0.2的情况下，来自第14组[38]的PPT 3上CS恢复的视觉质量比较图5.在采样率= 0.1的情况下，来自Set11 [20]的鹦鹉的CS回收率的视觉质量比较SC-SNet和CSNet重建结果的视觉差异较小，SCSNet获得了更高的实验结果表明，SC-SNet不仅具有可扩展性，而且具有最先进的性能。4.2.2与基于深度学习的方法的比较比 较 的 基 于 深 度 学 习 的 方 法 包 括 ： SDA [26] 、ReconNet[20]、IS T A-Net[39]、IS T A-Net+[39]和CSNet [32]. LAPRAN [36]通过灵活分辨率然而，LAPRAN的重建结果具有明显的块效应，并且LAPRAN的预训练因此，本文不与LAPRAN进行比较。 我们遵循[39]使用Set11 [20]和BSD 68 [25]作为测试图像。表2显示了不同的基于深度学习的方法在五个采样率上的平均PSNRSDA、ReconNet、IS T A-Net和IS T A-Ne t+的结果来自[39]。如图所示，SCSNet获得了显著更高的平均P。在Set11和BSD 68上，在五个采样率下，SNR比基于深度学习的方法要图5示出了各种图像CS方法之间的视觉比较。如图所示，ReconNet和IST A-Net+都具有阻塞伪像。相比之下，SCSNet不具有块伪影并且获得更好的视觉效果。 SCSNet是可扩展的前表2. Set11 [20]和BSD 68 [25]上不同基于深度学习的图像CS方法的平均PSNR比较。数据Alg.采样比0.50.40.30.10.01SDA [26]28.9527.7926.6322.6517.29[20]第二十话31.5030.5828.7424.2817.27设置11ISTA-Net [39][39]第三十九话37.4338.0735.3636.0632.9133.8225.8026.6417.3017.34CSNet [32]37.5136.1033.8628.1020.94SCSNet39.0136.9234.6228.4821.04SDA [26]28.3527.4126.3823.12-[20]第二十话29.8629.0827.5324.15-BSD68ISTA-Net [39][39]第三十九话33.6034.0131.8532.2129.9330.3425.0225.33--CSNet [32]34.8932.5331.4527.1022.34SCSNet35.7733.8631.8727.2822.37CSNet的张力。SCSNet优于CSNet，因为它使用更好的重建网络。4.2.3运行时间比较表3显示了在采样率为0.01和0.1时重建256×256SAD和ReconNet的运行时间取自[20]。IST A-Net和IST A-Net+的运行时间是取自[39]的七个采样率的平均运行时间运行时间12296表1.Set5 [3]、Set14 [38]和BSD 100 [25]上不同图像CS算法的平均PSNR和SSIM比较DWT [27] TV [22] MH [6] GSR [40] CSNet [32] SCSNet数据比率PSNR SSIM PSNR SSIM PSNR SSIM PSNRSSIM PSNRSSIM0.019.270.140215.530.455418.080.447218.870.490924.020.637824.210.64680.0514.270.355923.160.667823.670.656624.950.727029.320.835429.740.84720.124.740.768027.070.786528.570.821129.990.865432.300.901532.770.9083Set50.230.830.874930.450.870932.080.888134.170.925735.630.945136.150.94870.333.610.905032.750.910734.060.915836.830.949237.900.963038.450.96550.435.320.924934.890.936335.650.933738.810.962639.890.973640.440.97550.536.870.940936.750.954037.210.948240.650.972440.960.978442.220.98200.018.970.098915.260.389017.230.397017.870.433722.730.555622.870.56310.0514.520.293322.240.581521.640.556722.540.614026.650.723826.920.73220.124.160.679825.240.688726.380.728227.500.770528.910.811929.220.8181产品140.228.130.788228.070.784429.470.823731.220.864231.860.890832.190.89450.330.380.838930.120.842431.370.869433.740.907134.000.927634.510.93110.431.990.875332.030.883733.030.900935.780.933635.950.949536.540.95250.533.540.904433.840.914834.520.923937.660.952237.050.960738.410.96590.019.630.106715.980.399518.210.407618.900.443123.690.544123.780.54830.0514.810.293523.050.569021.360.516922.160.568226.610.690826.770.69720.123.460.634325.460.661225.160.667325.910.707128.400.778728.570.7844BSD1000.227.260.751627.580.755728.090.774629.180.815630.880.868131.100.87310.329.230.810829.270.819129.850.830731.330.872332.890.914633.240.91900.430.720.852430.860.866031.350.869533.200.909634.130.925035.210.94700.532.170.886232.460.901932.860.901234.940.935936.090.958737.140.9649Avg.24.950.653527.240.744728.090.751329.820.791431.900.844532.400.8507图6.当通过所提出的方法和随机方法保留BL的不同数量的测量基时，Set5 [3]和Set14 [38]上的平均PSNR比较。对于DWT，TV、MH、GSR和CSNet是在Intel Core i7-3770 CPU和NVIDIA GTX 960 GPU平台上的实现时间，代码可从作者的网站下载。SCSNet运行在IntelCore i7-7700 CPU 和 NVIDIA GTX 1080 GPU 的 平 台上。如表3所示，四种比较的传统方法大约需要几秒到几分钟来重建图像。这可能是因为它们需要重复的迭代操作。所有比较的基于深度学习的方法都比那些比较的transmitting方法运行得更快。虽然SCSNet在GPU上的运行速度比基于深度学习的方法慢，但SCSNet在CPU上的运行速度比ReconNet、IST A-Net和IST A-Net+快 在 我 们 的 实 验 中 ， SCSNet 使 用 MatConvNet 包 的DagNN包装器实现[34]。在实际应用中，我们可以使用其他深度学习框架重新实现SCSNet，以获得更快的运行速度。表3.重建256 × 256图像的各种算法的平均运行时间（秒）。算法比率= 0.01比率= 0.1CPUGPUCPUGPUDWT [27]10.3176-10.5539-电视[22]2.3349-2.5871-MH [6]23.1006-19.0405-GSR [40]235.6297-230.4755-SDA [26]-0.0045-0.0029[20]第二十话0.51930.02440.52580.0195ISTA-Net [39]0.92300.03900.92300.0390[39]第三十九话1.37500.04701.37500.0470CSNet [32]0.29500.01570.29410.0155SCSNet0.51030.10500.51460.13324.3. 细粒度可扩展性SCSNet提供了精细粒度可扩展性的测量基础级别。第3.3小节中介绍的用于测量基选择的贪婪方法是一种数据驱动方法。12297图7.在采样率= 0.04的情况下，Set11 [20]和BSD 68 [25]上不同基于深度学习的图像CS方法之间的平均PSNR比较在我们的实验中，我们使用来自BSDS 500数据库[2]验证集的50张图像为了比较，我们还随机确定每个测量基础的重要性。随机种子是10。我们根据每个测量的重要性实施渐进采样和渐进表4.仅使用一个经过良好训练的模型，在九个不同采样率下SCSNet的平均PSNR数据采样率0.01 零点零二 0.03 零点零四分0.05 零点零七 零点零八 零点零九 0.1电话：+86-510 - 8888888传真：+86-510 - 8888888电话：+86 21 8511 8511传真：+8621 851185112019 - 04 - 25 10：00：00电话：+86-21 - 8888888传真：+86-21- 88888888BSD10023.7824.14 24.98 25.8826.77 27.07 27.57 28.0928.57基地 也就是说，编码器利用最重要的测量基础，并给出了译码器解码器随着接收到更多的测量值而逐渐提高重建图像的图6示出了使用SCSNet的BL的如图所示，所提出的贪婪方法是用于测量基选择的有效方式，因为它提供比随机选择方法显著更高的此外，我们还验证了采样和重建在不同的采样率，通过使用一个模型。表4显示了九个采样率下的平均PSNR，这些采样率是通过使用一个经过良好训练的模型获得的。0.01、0.05和0.1采样率的结果分别对应于BL、第一和第二EL，而其他结果是通过去除一些测量基而获得的。如图所示，SCSNet可以仅用一个模型为可缩放采样和可缩放重构提供良好的重构。在图7中，比较的基于深度学习的图像CS方法的结果是通过针对0.04的采样率专门训练的模型获得的，而SCSNet的结果是通过去除经过良好训练的模型的一些测量基础获得的如图所示，SC-SNet不需要针对0.04的采样率训练特殊模型，但它在该采样率下仍然显著优于com-bustion方法。5. 结论在观察现有基于深度学习的图像CS方法的局限性的同时，我们提出了一种用于图像压缩的可扩展卷积神经网络（称为SCSNet）。压缩感知SCSNet是第一个使用CNN实现可伸缩采样和可伸缩重建的，它提供了粗粒度可伸缩性和细粒度可伸缩性。对于粗粒度可扩展性，SC-SNet被设计为单个采样矩阵加上具有BL和多个EL的拓扑重构网络。BL提供基本重建质量，而EL通过生成重建残差并参考较低层来提高重建图像质量一个有效的贪婪方法测量基的选择也被引入。通过去除一些不重要的测量基及其与重构网络的相应连接，SCSNet实现了细粒度的可扩展采样和重构。与现有的基于深度学习的方法相比，SCSNet提供了可扩展的采样和可扩展的重建，这提供了仅用一个模型以任何采样率实现采样和重建的机会实验结果表明，SCSNet具有最先进的重建质量，同时保持与现有的基于深度学习的图像CS方法相当的运行速度6. 认可本 研 究 得 到 了 国 家 基 础 研 究 计 划（2015CB351804）、国家自然科学基金（61872116、61672188、61572155）和阿里巴巴创新研究（AIR）项目的资助12298引用[1] Arash Amini和Farokh Marvasti。二进制、双极性和三进制压缩传感矩阵的确定性构造。IEEE Transactions onInformation Theory，57（4）：2360[2] P. Arbelaez，M.迈尔角Fowlkes和J.马利克轮廓检测与分层图像分割。IEEE transactions on pattern analysis andmachine intelligence，33（5）：898[3] Marco Bevilacqua、Aline Roumy、Christine Guillemot和Marie Line Alberi-Morel。基于非负邻域嵌入的低复杂度单幅图像超分辨率2012.[4] 雷波，陆汉城，陆玉娇，孟建文，王文哲. FompNet：在无线衰落信道上使用深度学习进行压缩感知重建。2017 年 第 9 届 无 线 通 信 和 信 号 处 理 国 际 会 议（WCSP），第1-6页。IEEE，2017年。[5] Jill M Boyce ， Yan Ye ， Jianle Chen ， and Adarsh KRamasub- ramonian.SHVC概述：高效率视频编码标准的可缩放扩展。IEEE Transactions on Circuits and Systemsfor Video Technology，26（1）：20[6] C. Chen，中国山茱萸E. W Tramel和J. E.福勒使用多假设预测的图像和视频的压缩感知恢复在2011年会议记录的 第 四 十 五 届 asilo-mar 会 议 信 号 ， 系 统 和 计 算 机（asilo-mar），第1193-1198页IEEE，2011年。[7] S. S. Chen，中国粘蝇D. L. Donoho和M. A.桑德斯基追踪原子分解。SIAM Review，43（1）：129[8] Ingrid Daubechies ， Michel Defrise ， and Christine DeMol.稀疏约束下线性逆问题的一种迭代阈值算法。Communications on Pure and Applied Mathematics ， 57（11）：1413[9] K. Q. Dinh，H. Shim和B.全使用结构测量矩阵的压缩成像的测量编码2013年IEEE图像处理国际会议，第10-13页。IEEE，2013。[10] Chao Dong，Chen Change Loy，and Xiaoou Tang.加速超分辨率卷积神经网络。计算机视觉- ECCV 2016，第391-407页，Cham，2016年施普林格国际出版社.[11] 大 卫 ·L· 多 诺 霍 压 缩 感 知 。 IEEE Transactions onInformation Theory，52（4）：1289[12] Marco F Duarte 、 Mark A Davenport 、 DharmpalTakbar、Ja- son N Laska、Ting Sun、Kevin F Kelly和Richard G Bara- niuk。通过压缩采样的单像素成像。IEEE Signal Processing Magazine，25（2）：83[13] Ma'rioATFigueiredo，RobertDNow ak，andStephenJWright.稀疏重建的梯度投影：应用于压缩传感和其他逆问题-S. IEEE Journal of Selected Topics in Signal Processing，1（4）：586[14] L.乾自然图像的块压缩感知。2007年第15届数字信号处理国际会议，第403-406页。IEEE，2007年。[15] X. Gao，J. Zhang，W.切X Fan和D.赵基于局部结构测度矩阵的自然图像块压缩感知编码2015年数据压缩会议，第133-142页。IEEE，2015年。[16] J. Haupt和R.诺瓦克从噪声随机投影重建信号。IEEETransactions on Information The-ory，52（9）：4036[17] Ronan Kerviche，Nan Zhu，和Amit Ashok。信息最优可扩展压缩成像系统。在计算光学传感和成像中，第CM2D美国光学学会，2014年。[18] Jiwon Kim，Jung Kwon Lee，and Kyoung Mu Lee.使用非常深的卷积网络实现精确的图像超分辨率。在计算机视觉和模式识别，第1646-1654页[19] 迪德里克·金马和吉米·巴。Adam：随机最佳化的方法。arXiv预印本arXiv：1412.6980，2014。[20] Kuldeep Kulkarni、Suhas Lohit、Pavan Turaga、RonanKer-viche和Amit Ashok。ReconNet：对压缩感知测量的图像进行非迭代重建在IEEE计算机视觉和模式识别会议论文集，第449-458页[21] Chengbo Li，Hong Jiang，Paul Wilford，Yin Zhang，and Mike Scheutzow.一种新的用于移动广播的压缩视频感 知 框 架 。 IEEE Transactions on Broadcasting ， 59（1）：197[22] C. Li，W. Yin和Y.张某 Tval3：Tv最小化通过增广拉格朗日和交替方向agorith- M 2009.可查阅：http：//www.caam.rice.edu/$\sim$optimization/L1/TVAL 3/。[23] Weizhi Lu，Tao Dai，and Shu-Tao Xia.压缩感知的二进制 矩 阵 。 IEEE transations on signal processing ， 66（1）：77，2018。[24] S te'phaneGMallat和ZhifengZhang。用时频字典匹配追踪信 号 IEEE Transactions on Signal Processing ， 41（12）：3397[25] David Martin Charless Fowlkes Doron Tal和Jitendra Malik人类分割自然图像数据库及其在评估分割算法和测量生态统计中的应用。计算机视觉，2001年。ICCV 2001年。诉讼第八届IEEE国际会议，第2卷，第416-423页。IEEE，2001年。[26] Al