图像压缩感知中的全局感知和测量重用

8954图像压缩感知的全局感知和测量重用冯莲*，冯子恩，全佳妮，西安fze0012@stu.xjtu.edu.cn，lianfeng1981@mail.xjtu.edu.cn，jianiquan@stu.xjtu.edu.cn摘要最近，基于深度网络的图像压缩感知方法与传统方法相比实现了高重建质量并减少了计算开销。然而，现有的方法只能从网络中的部分特征中获得测量值，并且只使用一次用于图像重建。他们忽略了网络中的低，中，高级别特征[38]，所有这些特征都是高质量重建所必需的。此外，仅使用一次测量可能不足以从测量中提取更丰富的信息。为了解决这些问题，我们提出了一种新的测量重用卷积压缩感知网络（MR-CCSNet），该网络采用全局感知模块（GSM）来收集所有级别的特征，以实现有效的感知和测量重用块（MRB），从而在多尺度上多次重用测量。最后，我们在三个基准数据集上进行了一系列实验，以证明我们的模型可以显著优于最先进的方法。代码可在以下网址获得：https://github.com/fze0012/MR-CCSNet。1. 介绍压缩感知[11]（Compressed Sensing，CS）是一种有效获取和重构信号的信号处理技术，近年来发展迅速，并引起了人们的广泛关注研究人员给定一个高维信号x∈RN，用y∈RM表示的x的测量公式为：y=Φx，其中Φ∈RM×N是传感矩阵，M是是手工设计的，并且忽略了信号的不同元素之间的统计对于后者，[7，23，30，41，42]的论文提出了探索图像先验并结合优化标准和迭代阈值算法的方法[17]。这些方法需要很高的计算开销，并且在采样率极低时性能很差。近年来，深度学习已广泛应用于计算机视觉，并显示出卓越的性能[21，24]。研究人员受到启发，用深度学习解决了CS的这两个挑战，称为深度压缩感知（DCS）。由于神经网络强大的学习和表示能力，已经提出了一些DCS方法[27，28，32，34，40尽管它们取得了成功，但现有的DCS方法仅使用卷积层来学习传感矩阵，这忽略了图像中的空间特征。此外，由于残差结构在重建网络中的广泛应用，重建质量依赖于残差结构。RK-CCSNet [43]。对于前者，RK-CCSNet使用顺序卷积模块（SCM）通过一系列滤波器逐渐压缩图像尺寸。对于后者，RK-CCSNet根据ResNet [18]和Ordinary Differential Equation之间的关系提出了二阶残差架构虽然RK-CCSNet提出了一种有效的图像CS策略，但它始终存在以下问题：（1）卷积神经网络（CNN）中的特征具有层次性：低，中，高层学习特征，如边缘，复杂纹理和对象，重新定义，然后重新定义。抽样率因为MN，回收率xN通常分别为。但是RK-CCSNet只从高-est图层，该图层忽略了大量丰富的要素对于不适定问题是不可能的。CS表明，当信号x在某个域中是稀疏的时，信号x可以以高概率从y重建[6，12]。在图像压缩感知的研究中，两个核心问题是（1）感知矩阵的设计和（2）从原始信号的线性测量y中恢复原始信号x。对于前一种情况，提出了许多矩阵[1，10，15，16，25]，但它们*通讯作者。包含在那些被忽略的层中;（2）现有方法[27，32，40，43]使用深度学习从测量中恢复原始图像，深度学习将测量值作为输入并仅使用一次。它以相当浅的方式从测量中提取特征。为了解决这些问题，我们提出了全球传感模块（GSM）和测量重用块（MRB）。在GSM中，如图1所示，我们首先使用卷积层8955××X22212我我23×3转换3×3转换3×3转换1×1转换输入输入inputting监测和报告委员会关于充分利用测量结果的建议;（3）构建了一个基于GSM和MRB的图像CS端到端网络MR-CCSNet，并在三个基准数据集上验证了其有效性。2. 相关工作压缩感知的目标是从其线性测量y恢复原始信号x。我们简要回顾了相关工作，将现有的方法分为以下两类。传统压缩感知传统CS方法通过求解以下形式的稀疏正则化优化问题来从测量y中恢复信号x：min1<$Φx−y<$2+λ<$$>x<$，（1）(a) 公司简介(b) （c）MR-CCSNet其中，x是x关于域x的变换系数，x的稀疏性由l1范数表征。图1.此图显示了CSNet +[32]，RK-CCSNet [43]和我们提出的模型的传感网络。 （a）：仅存在卷积层，因此图像中的空间特征被忽略。（b）：虽然有多个卷积层，但它只从最高层采样因此，在测量中存在最高级别的（c）全球通概览。为了利用CNN的分层性质，这在RK-CCSNet中被忽略了，我们使用一个快捷连接将不同层的特征传递到最后。然后，使用11个卷积进行采样。因为我们从所有级别的特征中采样，所以测量中的特征比CSNet+和RK-CCSNet更丰富。以获得高维特征。之后，我们通过多个卷积层逐渐压缩特征图。然后，我们收集网络中的所有级别特征。最后，我们通过11个卷积获得测量结果。为了匹配维度，我们在快捷连接中添加了池化层。在MRB中，我们首先压缩相位重建结果并获得多个特征图。之后，我们从测量中提取匹配信息。最后，我们在多尺度上融合它们这是一种很有前途的方法，可以从浅层测量转向深层测量。我们在三个基准数据集上进行实验：BSDS 500[2]，Set5 [4]和Set14 [39]，并选择PSNR和SSIM [19]作为评估指标。评估结果表明，MR-CCSNet可以显著优于最先进的方法。特别是，我们表明，我们的模型可以在低采样率下实现高重建质量。代表性的方法包括凸优化方法[8]，贪婪算法[26，35]和梯度下降方法[9，13，36]。对于图像压缩感知，许多研究者引入其他先验作为正则化项。 在[23]中，Liet al. 用全变分正则化约束代替稀疏约束，增强了局部光滑性。在[41]中，Zhang et al.提出了组稀疏表示（GSR），以增强图像的稀疏性和非局部自相似性。此 外 ， 一 些 图 像 CS 方 法 将 额 外 的 标 准 纳 入 投 影Landweber （ PL ） 算 法 [3] 。 在 [15] 中 ， Gan 通 过 将Wiener滤波合并到PL迭代中提出了基于块的CS。近年来，研究者也提出了许多改进的基于PL的方法[7，14，31]。除了图像重建方法，一些关注也支付给传感矩阵。在大多数工作中，传感矩阵是一个随机矩阵，如高斯或伯努利矩阵，它以很大的概率满足限制等距属性（RIP）[5]。传统的压缩感知算法虽然提出了很多种，但都存在计算量大，在低采样率下性能不佳的问题。深度压缩感知DCS的主要思想是使用神经网络学习从测量到原始信号的逆映射，从而提高重构的速度和精度。通常，通过最小化损失函数K最小1x−F（y，θ），（2）总之，我们的贡献是三方面的：（1）GSM的优点，它可以实现有效的采样;（2）其中xi是原始图像，yi是xi的测量值，F是由θ参数化的神经网络。许多游泳池，/8游泳池，/4池，/232×32转换tio。此外，我们通过消融研究表明GSM和MRB是有效的。θi=18956P··8888yPI（y）GSM初步重建输入xMRBMRBMRB输出深度重建测量复制像素随机排列图2.建议模型概述对于原始图像x，我们从感测网络GSM获得测量值y然后由初始重建网络生成初始重建图像I（y）最后，我们通过深度重建网络来细化I（y）已经提出了DCS方法[22，27，29，32，33，43]。在[29]中，Mousaviet al.提出了一种堆叠式去噪自动编码器（SDA），用于捕获信号中不同元素然而，SDA算法计算复杂，因为它是任意两个连续层之间的全连接.在[22]中，Kulkarniet al.介绍了一种基于CNN的方法，称为ReconNet，它可以通过权重共享来降低计算复杂度。Mousavi和Baraniuk [27]认为，现实世界的信号在固定的基础上并不是绝对稀疏的，恢复算法需要大量时间才能收敛。他们提出了Deep- Inverse，它可以学习信号的有效表示和逆映射。Shi等人[32]指出这些方法忽略了信号的特征，提出了一种在采样和重构阶段使用卷积神经网络的端到端模型CSNet+然而，这些方法针对不同的采样率训练不同的模型因此，Shiet al. [33]试图用贪婪方法解决这个问题，并提出了SCSNet。Mousavi等人[28]提出了DeepSSRR，其在信号感测和恢复过程中采用并行化方案以加快收敛速度。在[43]中，Zheng认为现有的端到端方法不能保留图像中的空间特征，并提出了RK-CCSNet，该方法应用顺序卷积模块（SCM）通过一系列卷积滤波器逐渐压缩测量。此外，RK-CCSNet还提出了一种新的学习龙格-库塔块（LRKB），该块基于fa-金字塔重构对抗网络（LAPRAN）通过多个阶段以不同的分辨率同时重构原始图像。我们的模型还采用MRB融合从多尺度测量中学习到的特征。3. 方法在本节中，我们将介绍我们的模型的情况下，抽样率 为 6.25% 。 图 2 示 出 了 MR-CCSNet 的 架 构 。 根 据CSNet+[32]和RK-CCSNet[43]，MR-CCSNet具有感测网络GSM、初始重建网络和深度重建网络。首先，我们从传感网络中获得测量值。然后，初始重建网络通过线性映射生成初始重建图像。由于初始重建图像的质量不够，我们通过非线性深度重建网络对初始重建图像进行了细化。为了从浅层测量利用到深层，我们在深层重建网络中叠加多个MRB在传感网络S（）中，我们直接对整个图像使用卷积层，而不是将图像划分为非重叠块[32，33，43]。为了满足线性性质，网络中没有偏置和激活函数。这个过程可以写成：y=S（x），（3）用龙格-库塔法提高了计算精度，其中x∈1× H × W和y∈R4×H×W。质量。我们的工作也受到了图像处理中多尺度思想的启发。在[37]中，Xuet al.提出了一个拉普拉斯算子在初始重建网络I（）中，深度方向卷积层扩展了通道维度上的测量值，形状变为64×H×W。然后我们得到R89573×332 /2池/21×1转换池，/2池，/2池，/23×3 conv，32，3孔，32，/23×3转化率，1×1转换3×3 conv，32，××·××∈∈224444一个1H W张量的像素shuffle层。这是第一次使用测量。在深度重建网络D（）中，我们首先通过卷积层将初始重建的I（y）然后使用共享相同内部结构的重复MRB将其与从多尺度上多次测量y中提取的匹配特征融合。这是第二次使用测量。最后，我们使用卷积层从高维特征重建图像。此外，我们还为深度重建网络添加了一个快捷连接。最终重建图像X可以写为：x=D（I（y））+I（y）（4）我们的模型使用两个新的模块，GSM和MRB。下文对此进行了解释。亚姆热游泳池，/8游泳池，/4合并液，/2 3×3 conv，3×3 conv，32，3×3 conv，32，3×3转化率，测量(a) GSM亚姆热测量(b) GSM+3.1. 全球传感模块通过分析现有的特征抽取方法，我们认为一个好的特征抽取网络可以帮助样本抽取.此外，我们了解到卷积神经网络以分层的方式提取特征，这意味着接近输入的层可以学习低级特征，如线条和简单纹理，模型中更深的层可以学习高阶特征，如形状或特定对象[38]。 基于这两个原则，我们提出的方法GSM，如图3a所示，有两个阶段。在第一阶段，我们使用3个卷积层来提取特征。在第二阶段，我们收集网络中的所有级别特征，并使用11卷积层进行采样，而不是仅从低级 别 特 征 （ 即 ， CSNe t+ ） 或 高 特 征 （ 即 e. RK-CCSNet）。在GSM中，为了收集所有级别的特征进行采样，我们使用快捷连接将不同层的特征传递当采样率发生变化时，GSM无法满足新的要求。受ResNet[18]的启发，我们提出了GSM+，如图所示。3b. 与GSM不同的是，在两个相邻的层之间增加了一个快捷连接，而不是直接从不同的层添加到端部。GSM+的构建块用红色虚线框标记yt+1=Conv（yt） +P（yt），（5）其中Conv和P分别表示卷积层和均值池化层采样率由构建块和蓝色块的数量控制，因此它是灵活的，并且可以通过重复构建块来轻松地在各种采样率下使用在GSM+中，我们可以观察到，它通过迭代来收集用于采样的所有水平特征图3. GSM与GSM+ GSM+是可伸缩的，可以很容易地使用在各种采样率，通过重复的积木，这是标记为红色虚线框。方式此外，在每一层都有比GSM更丰富的功能，因为前一层的功能通过快捷连接传递到当前层。 在某种程度上，它实现了更有效的特征提取。 当采样率为50%时，GSM+中只有一个积木块，因此GSM+de生成GSM。 随着采样率的降低，GSM是GS M +的一种特殊形式。在CS理论中，测量值是通过线性映射获得的卷积层和均值池层是线性映射是很平常的所以基本原理是线性映射。 根据复合预紧线性性，GSTM+是一个线性映射.3.2. 测量重用块测量值仅用于图像重建一次，难以从测量值中提取更丰富的信息。MRB的目标是探索一种新的方法，以充分利用多尺度上的多次测量图4示出了MRB的架构。将相位重构结果ftRC× H× W和测量值yRC×H×W送入MRB。我们首先使用两个卷积层，表示为Conv1和Conv2，以获得压缩的特征图f↓和f↓。这个过程可以写成：f↓=Conv1（ft），（6）f↓= Conv2（f ↓），（7）其中f↓∈RC×H×W，f↓∈RC×H× W.融合8958nFF∈HW∈144222441R444422Σ···HWnfty1y2y多尺度重用y3Convft+1副本Conv +Pixel shuffle图4.拟议的监测和报告机构概览。3.3. 损失函数在训练阶段，我们使用均方误差来衡量重建质量。具体而言，对于初始重建网络，损失函数可以写为：l int= I（S（y k; θ）; φ int）− x k<$2.（十）图5.多尺度重用概述。它的目的是提取匹配信息的骨干网络的MRB。然后，我们从测量中提取匹配信息，得到三个HWHW特征映射y∈RC×x，y∈RC××，以及k=1对于深度重建网络，损失函数可以写为：ldeep=D（I（S（yk;θ）;φint）;φdeep）−xk<$2，（11）k=1其中θ、φint和φdeep分别表示传感网络S（）、初始重构网络I（）和深度重构网络D（）的参数。因此，MR-CCSNet的损失函数定义为：y3RC×H×W的多尺度复用，如图所示。 五、通过级联运算和卷积层，将Ne xt，y1加入到MRB的骨干网中，得到F1。 为了保留现有的重建结果，我们再次复制f ↓，并通过卷积层将它们与F1融合。最后，使用像素shuffle层来扩展融合后的特征图用于下一步处理。这个过程可以写成：F1=Conv3（f↓vy1），（8）f↑=Pixe l（Conv4（F1<$f↓）），（9）其中f表示级联运算，y ∈ R2××、l=l深度+l整数。（十二）4. 实验4.1. 数据集和实现细节在RK-CCSNet [43]之后，我们使用来自BSDS 500 [2]数据集的400张图像来训练我们的模型。为了进行测试，我们报告了三个标准基准数据集的性能：Set5[4]，Set14 [39]和BSDS100 [2]。我们将这些图像转换为YCbCr颜色空间，并且仅使用Y通道作为训练和测试的输入在训练过程中，为了增加样本数量，我们随机裁剪y∈C×H×W，F∈RC×H×W且f↑∈ RC××。图像大小为96×96，随机水平排列，通过重复该过程，在多尺度下融合分阶段重建的结果测量和测量 然后将输出ft+1RC× H × W作为下一次运算的输入。MRB不仅是提高测量利用率的一种有前途的方法，y1Conv像素洗牌y2Convyy318959××而且还可以在多尺度上细化分阶段重建的结果。zontally。在测试过程中，由于这些图像的大小不一致，我们将Set5和Set14中的图像调整为256 256，将BSD 100中的图像调整为480 320。为了优化我们的模型，我们使用亚当优化器[20]，β1=0。9，β2=0。999批量大小设置为4，我们的模型训练了200个epoch。 初始学习率被设置为10−3，并在60、90、120、150和150时减少到四分之一。8960TVAL3 GSR CSNet+RK-CCSNet MR-CCSNet MR-CCSNet+数据比率PSNR SSIM PSNRSSIM PSNR SSIM PSNR SSIM PSNRSSIM1.5625%19.000.484421.390.581524.450.636025.310.703325.720.719325.790.71893.125%19.890.541523.700.682227.190.766627.790.806128.190.817428.270.8208Set56.25%百分之十二点五22.0323.750.61750.736527.5931.610.81630.901628.6833.550.80020.924330.6334.270.87990.939331.1035.030.89010.946431.2535.160.89180.9471百分之二十五27.390.852236.320.951037.690.965038.040.971239.240.976139.370.9766百分之五十33.110.943042.180.990842.540.985243.900.990145.070.991945.110.99201.5625%16.790.399318.930.439922.780.536923.360.591723.610.599323.690.60343.125%18.400.451420.260.518424.960.660225.260.691425.560.699725.630.7029产品146.25%百分之十二点五19.6521.030.52870.637923.5928.080.65260.791526.3330.120.71780.861027.2430.420.78360.879827.9130.970.79860.888928.0031.060.79960.8898百分之二十五22.690.773131.820.893933.810.933934.160.944335.040.951035.110.9512百分之五十26.610.900437.470.961938.590.975240.150.983741.210.986441.250.9864平均22.530.655528.580.765130.890.813531.710.847032.390.855432.470.8567表1. Set5和Set14的定量结果。CSNet+RK-CCSNet MR-CCSNet MR-CCSNet+数据比PSNR SSIMPSNR SSIM PSNRSSIM1.5625%24.510.634425.020.669124.350.677525.440.67913.125%26.180.710226.510.726626.750.733426.840.7361BSDS1006.25%百分之十二点五27.8229.770.77280.842428.0829.980.78790.855928.3430.390.79490.863228.4030.430.79520.8639百分之二十五32.410.907332.680.918633.270.925133.290.9253百分之五十36.210.958237.290.969538.030.973138.070.9732平均29.480.804229.930.821330.190.827930.410.8288表2. BSDS100上的定量结果分别为180个epoch。六个采样率，即。1.5625%、3.1250%、6.2500%、12.5000%、25.0000%和50.0000%被调查。选择PSNR（峰值信噪比）和SSIM（结构相似性）[19]作为评估指标。我们使用PyTorch实现了该模型，并在Nvidia RTX 2080Ti GPU上对其进行了训练。4.2. 与最新技术水平的为了验证MR-CCSNet和MR-CCSNet+在传感网络分别为GSM和GSM+的情况下的有效性，我们将它们与具有可用代码的4种最先进的方法进行了定量和直观 的 比 较 ， 这 些 方 法 是TVAL 3[23] ，GSR[41] ，CSNet+[32]和RK-CCSNet[43]。对比方法的实现代码都是从作者的网站上下载的表中的定量比较1，我们报告了Set5和Set14的定量比较最佳结果以粗体字标记结果表明，MR-CCSNet和MR-CCSNet+在所有采样率下均优于4种方法请注意，与最佳传统方法相比，I.E.枪击残留物具体而言，我们的模型在低采样率下实现了最佳性能。在某种程度上，MR-CCSNet+8961在PSNR方面，在Set 5和Set 14上分别优于TVAL 3、GSR 、 CSNet+ 和 RK-CCSNet9.94dB 、 3.89dB 、1.58dB 和 0.76dB 。 此 外 ， MR-CCSNe t + 的 平 均SSIM 可 分 别 提 高 到 0.2012 、 0.0916 、 0.0432 和0.0097。我们进一步在BSDS100上将MR-CCSNet和MR-CCSNe t+与CSNe t+和RK-CCSNet进行比较。选项卡. 2显示评价结果。可以看出，MR-CCSNet和MR-CCSNet+在所有采样率下都实现了更好的重建质量。 特别是在采样率为1.5625%的情况下，MR-CCSNe t+的性能分别优于CSNe t+和RK-CCSNet0.93dB和0.48dB。最后，我们比较了MR-CCSNet和MR-CCSNe t+ 的性 能。 当采样率为50%时，我们观察到它们的PSNR和SSIM非常接近。原因是GS M+在这种情况下退化为GSM。随着采样率降低，MR-CCSNe t+优于MR-CCSNet 。 这是因为GS M+不仅收集了与GSM相当的所有层特征，而且还提取了更丰富的特征用于采样和重构。这与我们在第二节中的理论分析是一致的第3.1条所有的实验结果表明，我们的模型具有最先进的性能。视觉比较我们还将我们的方法与最先进的图像CS方法进行了视觉比较。我们8962女人PSNR/SSIMTVAL324.55/0.7417GSR25.58/0.8594公司简介27.60/0.8660RK-CCSNet28.13/0.8870MR-CCSNet28.64/0.8959MR-CCSNet+28.81/0.9006图6.在采样率为6.25%的情况下，对Set5中的Woman进行了重建图像的视觉比较图7.在12.5%的采样率下，对来自Set5的Butter图像进行重建图像的视觉比较放大结果以便比较重建细节。图6和图图7显示了分别在6.25%和12.5%的采样率的情况下的视觉比较可以看出，DCS方法在极低的采样率下就可以获得比传统方法更高的重建质量。此外，我们的模型还恢复了比DCS方法CSNet+和RK-CCSNet更精细的细节。F或用于重建256×256图像。TVAL 3和GSR的运行时间取自[22]，它们在Intel Core i7-3770 CPU平台上实现。CSNet+、RK-CCSNet、MR-CCSNet和MR-CCSNet+的运 行 时 间 在 Intel Core i9- 9900 k CPU 加 Nvidia RTX2080 Ti GPU的平台上实现 很明显，传统方法需要大约几秒钟例如，在黄油和女人的形象，这是显而易见的，我们的模型能够重建纹理细节，比其他方法更平滑，更清晰。这主要是因为我们模型中的测量包含所有级别的特征，其中低级和中级特征与图像中的边缘和复杂纹理相关。此外，通过多次利用测量来提取更丰富的特征也起着重要的作用。4.3. 运行时间比较在许多实际应用中，运行时间是重要的选项卡. 3显示GPU/CPU表3.重建256 × 256图像的平均运行时间（秒）。几分钟内重建图像这是因为他们蝴蝶TVAL3GSR公司简介RK-CCSNetMR-CCSNetMR-CCSNet+PSNR/SSIM24.71/0.797425.79/0.887828.47/0.902629.20/0.931230.14/0.942530.38/0.9449算法采样率=0.01采样率=0.1CPU GPUCPU GPUTVAL32.3349-2.5871-GSR235.6297-230.4755-公司简介-0.0075-0.0078RK-CCSNet-0.0184-0.0181MR-CCSNet-0.0284-0.0272MR-CCSNet+-0.0282-0.02718963君主PSNR/SSIM基线30.45dB/0.9224基线+GSM+30.65dB/0.9252基线+MRB31.01dB/0.9298MR-CCSNet+31.15dB/0.9308图8.在6.25%的采样率下，对来自Set14的Monarch上的重建图像进行视觉比较1.56250% 3.12500% 6.25000% 12.50000% 25.00000% 50.00000% GSM+ MRB PSNR SSIMPSNR SSIM PSNR SSIM PSNRSSIMC25.0225.140.66910.673726.5126.580.72660.728128.0828.180.78790.791529.9830.150.85590.859132.6832.880.91860.921137.2937.710.96950.9722C25.290.67626.610.730728.260.793130.270.861433.010.921637.530.9706CC25.490.681126.880.735928.380.795530.360.862933.240.924837.980.9730表4. BSD 100上的MR-CCSNet +消融研究在重建期间需要多次迭代操作通过比较，DCS方法的运行时间提高了几个数量级. 我们的模型比CSNet+和RK-CCSNet慢的原因是MR-CCSNet+有更多的参数。与传统方法相比，该方法施工速度快我们可以看到MR-CCSNet和MR-CCSNet+的运行时间是相等的。这是因为两个模型具有近似相同数量的参数。4.4. 消融研究为了验证GSM+和MRB的有效性，我们进一步对BSDS100进行了消融研究。比较的模型包括：基线（RK-CCSNet）、基线与GSM+、基线与MRB和MR-CCSNe t+。 从结果来看，如Tab. 4、我们可以观察到：(1) GSM+和MRB都能有效地提高重建质量。这可能是因为GSM+可以在图像中保留更多的特征，而MRB可以提取更丰富的特征用于图像重建。(2) 当采样率较低时，MRB比GSM+在图像重建中起更重要的作用。当采样率为50%时，GSM+比MRB更重要。我们还直观地比较了这四个模型的结果，如图所示。 8. 结果与理论分析相符合。 当重建算法固定时，由于GS M+利用了网络的分层性质，因此具有GSM +的基线的纹理细节比基线更平滑和更清晰。当感应网-工作是固定的，因为我们以深入的方式利用测量，具有MRB的基线优于基线。5. 结论和今后的工作在本文中，我们提出了全球感知模块和测量重用块的图像CS。GSM可以利用网络的分层性质进行采样。MRB可以充分利用这些测量值来提高重建图像的质量 。 在 实 验 中 ， 我 们 表 明 ， 我 们 的 模 型 显 着 和consistently优于国家的最先进的图像CS方法。特别是，我们的方法也有很好的性能，在非常低的采样率。此外，我们通过消融研究证明GSM和MRB是有效的。未来，我们将探索以下几个方向：(1) 在传感网络中，池化操作丢失了关于低层特征的信息。我们将探索一种更有效的方法来收集所有级别的功能。(2) 注意机制可以有效地帮助我们从测量中提取匹配特征。我们希望在MRB中加入注意机制来提高其性能。(3) 在现实世界中，由于测量中存在噪声我们将探索如何提高多次使用测量的鲁棒性。鸣谢：本研究得到国家自然科学基金（62173266）资助。8964引用[1] Arash Amini和Farokh Marvasti。二进制、双极性和三进制压缩传感矩阵的确定性构造。IEEE Transactions onInformation Theory，57（4）：2360-2370，2011. 1[2] 巴勃罗·阿贝莱斯，迈克尔·梅尔，查利斯·福克斯，还有吉坦德拉·马利克.轮廓检测和分层图像分割。IEEETransactionsonPatternAnalysisandMachineIntelligence，33（5）：898-916，2010. 二、五[3] 马里奥·贝雷帽和帕特里齐亚·博卡奇。介绍成像中的。CRC Press，2020. 2[4] Marco Bevilacqua、Aline Roumy、Christine Guillemot和Marie Line Alberi-Morel。基于非负邻域嵌入的低复杂度单幅图像超分辨率2012. 二、五[5] 伊曼纽尔J坎迪斯。受限等距性及其在压缩感知中的应用 。 Comptes rendus math- ematique， 346 （ 9-10 ） ：589-592，2008. 2[6] Emmanuel J Candes和Terence Tao。从随机投影中恢复近 最 佳 信 号 ： 通 用 编 码 策 略 ？ IEEE transactions oninformation theory，52（12）：5406-5425，2006. 1[7] Chen Chen，Eric W Tramel，and James E Fowler.使用多假设预测的图像和视频的压缩感知恢复。2011年，第40届 ASILOMAR 信 号 、 系 统 和 计 算 机 会 议（ASILOMAR）会议记录，第1193-1198页。IEEE，2011年。一、二[8] Scott Shaobing Chen，David L Donoho，and Michael ASaunders.基追踪原子分解。SIAM review，43（1）：129-159，2001. 2[9] Ingrid Daubechies ， Michel Defrise ， and Christine DeMol.稀疏约束下线性逆问题的一种迭代阈值算法。Communications on Pure and Applied Mathematics ： AJournal Issued by the Courant Institute of MathematicalSciences，57（11）：1413- 1457，2004. 2[10] Khanh Quoc Dinh，Hiuk Jae Shim，and Byeungwoo Jeon.使用结构测量矩阵的压缩成像的测量编码在2013年IEEE图像处理国际会议上，第10-13页。IEEE，2013。1[11] 大 卫 ·L· 多 诺 霍 压 缩 感 知 。 IEEE Transactions onInformation Theory，52（4）：1289-1306，2006. 1[12] Marco F Duarte 、 Mark A Davenport 、 DharmpalTakhar、Ja- son N Laska、Ting Sun、Kevin F Kelly和Richard G Bara- niuk。通过压缩采样的单像素成像。IEEE信号处理杂志，25（2）：83-91，2008。1[13] Ma'rioATFigueiredo，RobertDNow ak，andStephenJWright.稀疏重建的梯度投影：应用于压缩感知和其他逆问题。IEEE Journal of selected topics in signal processing ， 1（4）：586-597，2007。2[14] James E Fowler，Sungkwang Mun，and Eric W Tramel.平滑投影Landweber重构的多尺度块压缩感知。2011年第19届欧洲信号处理会议，第564-568页。IEEE，2011年。2[15] 陆乾。自然图像的块压缩感知。2007年第15届数字信号处理国际会议，第403-406页。IEEE，2007年。一、二[16] Xinwei Gao，Jian Zhang，Wenbin Che，Xiaopeng Fan，and Debin Zhao.基于局部结构度量矩阵的自然图像块压缩感知编码。2015年数据压缩会议，第133-142页。IEEE，2015年。1[17] 贾维斯·豪普特和罗伯特·诺瓦克。从噪声随机投影重建信 号 IEEE Transactions on Information Theory ， 52（9）：4036-4048，2006. 1[18] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习。在Proceedings ofthe IEEE conference on computer vision and patternrecognition，第770-778页，2016中。1、4[19] Alain Hore 和 Djemel Ziou 图 像 质 量 指 标 ： PSNR 与SSIM。2010年第20届模式识别国际会议，第2366-2369页。IEEE，2010。二、六[20] Diederik P Kingma和Jimmy Ba。Adam：随机最佳化的方法。arXiv预印本arXiv：1412.6980，2014。5[21] 亚历克斯·克里热夫斯基、伊利亚·萨茨克弗和杰弗里·E·辛顿。使用深度卷积神经网络进行Imagenet分类。神经信息处理系统进展，25：1097-1105，2012。1[22] Kuldeep Kulkarni、Suhas Lohit、Pavan Turaga、RonanKer-viche和Amit Ashok。Reconnet：根据压缩感知测量结果对图像进行非迭代重建在IEEE计算机视觉和模式识别会议论文集，第449-458页，2016年。三、七[23] C Li，W Yin，and Y Zhang. Tval3：通过增广拉格朗日和交替方向算法实现的Tv最小化，2009年，2013年。一、二、六[24] 乔纳森·朗埃文·谢尔哈默和特雷弗·达雷尔用于语义分段的全卷积网络。在IEEE计算机视觉和模式识别会议的论文集，第3431-3440页，2015年。1[25] Weizhi Lu，Tao Dai，and Shu-Tao Xia.压缩感知的二进制 矩 阵 。 IEEE Transactions on Signal Processing ， 66（1）：77-85，2017。1[26] S te'phaneGMallat和ZhifengZhang。时频字典匹配追踪IEEE信号处理学报，41（12）：3397-3415，1993。2[27] 阿里·穆萨维和理查德·巴拉纽克。学习反转：通过深度卷积网络进行信号恢复。在2017年IEEE声学、语音和信号处理国际会议上，第2272-2276页。IEEE，2017年。第1、3条[28] Ali Mousavi ， Gautam Dasarathy ， and Richard GBaraniuk.一种数据驱动的分布式稀疏信号表示和恢复方法。在2018年国际学习代表会议上。第1、3条[29] Ali Mousavi，Ankit B Patel，and Richard G Barani