基于GAN的线性逆问题求解

5602基于GAN的投影器用于线性逆问题美国伊利诺伊大学香槟分校{ankitr3，yuqil3，ybresler}@ illinois.edu摘要一个生成对抗网络（GAN）与生成器G训练的图像的先验模型已被证明在不适定的逆问题比基于稀疏的正则化更好地执行。在这里，我们提出了一种使用投影梯度下降（PGD）来部署基于GAN的先验求解线性逆问题的新方法我们的方法学习了一个基于网络的投影仪，用于PGD算法，消除了对G.实验表明，我们的方法比早期基于GAN的恢复方法提供了60-80倍的速度，同时具有更好的准确性。我们的主要理论结果是，如果测量矩阵对流形范围（G）有适当的条件，投影是δ-近似的，那么在低噪声区，保证算法在O（log（1/δ））步内达到O（δ）的反射误差此外，我们还提出了一种快速设计这种测量矩阵的方法。大量的实验证明了这种方法的有效性，需要比随机高斯测量矩阵少5-10倍的测量，以获得可比的恢复性能。 因为GAN和投影仪的学习与测量算子解耦，我们的基于GAN的投影仪和恢复算法适用于所有线性逆问题，而无需重新训练，如压缩传感，超分辨率和修复实验所证实的。1. 介绍许多应用，如计算成像，遥感属于压缩感知（CS）的范例。CS [9，5]是指将高维、稀疏或可稀疏的信号x∈Rn投影到较低维测量y∈Rm，m<$n，使用一个小的线性集合，*同等缴款。Ankit Raj和Yoram Bresler47879 Yuqi Li和Yoram Bresler的研究工作得到了桑迪亚国家实验室的部分支持，资助ID：AE056，IP：00371547图1：我们基于网络的PGD解决了以下逆问题：61倍压缩的压缩感知、4倍超分辨率、高噪声（σ=40）下的散射修补和高噪声下的50%块修补。非自适应帧。噪声测量模型为：y=Ax+v，A∈Rm×n，v<$N（0，σ2I）（1）其中测量矩阵A通常是随机矩阵。在这项工作中，我们感兴趣的问题，恢复未知的自然信号x，从压缩的测量y，给定的测量矩阵A。传统上，对于信号先验，自然图像在一些固定或可学习的基础上被认为是稀疏的[11，8，36，22，7，38，10，21]。而不是稀疏事先普遍采用的CS文学，erature，我们转向一个学习的先验。 最近已经探索了基于神经网络的逆问题求解器[14，35，31，1，12，15，25，32，22，37，26]。然而，在这方面，[1，12，15，25]在训练网络时使用有关测量矩阵A的信息。因此，他们的算法仅限于解决特定逆问题的特定设置，并且通常无法在不重新训练的情况下解决其他问题。另一条工作线[28，29]联合优化测量矩阵和恢复算法，再次导致算法限于特定的逆问题和测量矩阵。相反，在本文中，网络独立于A进行训练，并且可以在不同的逆问题中推广其他两个基于神经网络的求解器[35，31]共享这一方面，然而，它们仅通过训练去噪器来隐式地对图像先验进行5603或者邻近的映射，并且也许由于这个原因，似乎需要大量的训练样本。重要的是，很少有人知道它们为什么以及何时表现良好，因为即使假设学习的邻近映射是精确的，也没有理论上的收敛保证或恢复误差的界限。在这项工作中，我们利用生成对抗网络（GAN）[13，6，42，39，3，20]在建模数据分布方面的成功。事实上，基于GAN的自然2. 问题公式化设x∈Rn表示真实图像，A是固定的测量矩阵，y=Ax∈+v∈Rm是噪声测量，噪声v<$N（0，σ2I）。我们假设地面真实图像位于非凸集S=R（G）中，发电机G的范围。x的最大似然估计量（MLE），x∈MLE，可以用公式表示x<$MLE=argmin−logp（y|x） =argminy−Ax2图像已成功地用于解决线性逆问题[24，4，33]。然而，在[24]中，算子Ax∈R（G）2x∈R（G）被集成到训练GAN中，将其限制在特定的范围内-Bora等人。[4]（我们用CSGM表示其算法最大逆问题因此，我们关注最近的论文[4，33]最接近我们的工作，进行广泛的比较。Bora等人[4]不保证其算法的收敛性以解决非凸优化问题，需要几个随机初始化。类似地，在[33]中，内部循环使用梯度下降算法来解决非凸优化问题，无法保证收敛到全局最优值。此外，[33]中对随机高斯测量矩阵施加的用于其外部迭代循环收敛的条件是不必要的严格，并且不能用中等数量的测量来实现。重要的是，这两种方法都需要昂贵的计算关于潜在输入z的可微生成器G的雅可比矩阵G。由于计算ΔzG涉及在每次迭代时通过G的反向传播，因此这些重新构造算法在计算上是昂贵的，并且即使当在GPU上实现时，它们也是缓慢的。我们提出了一个基于GAN的投影网络，使用投影梯度下降（PGD）来解决我们甚至能够以61×压缩比重建图像（即，小于1。6%的完整测量集），使用随机高斯平均-保证矩阵与现有方法相比，该方法具有更高的恢复精度，同时具有60-80倍的速度提升，使该算法可用于实际应用。我们还提供了理论上的重新-在测量矩阵A满足一定条件的情况下，当约束于生成器的范围R（G）时，得到了重构误差的收敛性。我们补充理论，提出了一种方法来设计一个测量矩阵，满足这些充分条件，保证收敛。我们评估了随机高斯测量矩阵和给定数据集的设计矩阵的这些充分我们的分析和实验都表明，与设计的矩阵，少5-10倍的测量就足以实现稳健的恢复。因为GAN和投影仪的训练是解耦的从测量算子，我们证明了其他线性逆问题，如超分辨率和修复也可以使用我们的算法解决，而无需重新训练。在 潜 空 间 （ z ） 中 求 解 最 优 化 问 题z<$=argminz∈Rk<$y−AG（z）<$2+λ<$z<$2，设x<$=G（z<$）. 他们的梯度下降算法经常在局部最佳由于该问题是非凸的，recruitc- tion是强烈依赖于初始化的z和requires几个随机初始化收敛到一个好的点。为了解决这个问题，Shah和Hegde [33]提出了一种基于投影梯度下降（PGD）的方法（我们称之为PGD-GAN）来解决（2），如图所示。第2段（a）分段。它们在环境（x）空间中执行梯度下降，并将更新的项投影到R（G）上。这个投影涉及解决另一个非凸最小化问题（如图2中的第二个框所示）。2（a））使用Adam优化器[17]从随机初始化进行100次迭代。对于执行非线性投影的迭代算法，没有给出收敛结果，并且PGD-GAN算法[33]的收敛分析仅在假设内部循环成功找到最佳投影时才成立我们在本文中的主要思想是用基于学习的方法代替内部循环中的这种迭代方案，因为它通常表现得更好，并且不会陷入局部最优[42]。另一个重要的好处是，这两个早期的方法需要昂贵的计算G的雅可比矩阵，这是消除在所提出的方法。3. 该方法在本节中，我们将介绍使用预训练生成器G训练投影仪的方法和架构，以及我们如何使用此投影仪来获得（2）中的优化器3.1. 无内环格式我们表明，通过仔细设计一个网络架构与适当的训练策略，我们可以训练一个投影到R（G），生成器G的范围，从而消除了在早期的方法所需的内环。我们的基于网络的PGD（NPGD）算法的迭代更新结果如图所示。第2段（b）分段。这种方法消除了在内部循环中解决非凸优化问题的需要，该问题取决于初始化并且需要5604βθ2θ(a) 带内环的(b) 基于网络的PGD（NPGD）图2：（a）使用内环的PGD框图[33]。k表示外循环迭代器，zk+1是通过使用Adam优化器求解内循环而获得的G（z）−w k2的优化器。（b）我们的基于网络的PGD（NPGD）的框图，其中PG = GG†作为基于网络的投影到R（G）上。f（x）=是（2）中定义的成本函数噪声算法1基于网络的投影梯度下降输入：损失函数f，A，y，G，G†参数：步长η（=1）输出：估计x∈R（G）1：设t = 0，x0= A Ty.2：whilet Tdo3：wt：=xt−ηAT（Axt−y）4：xt+1：=G（Gt（w t））5：结束while6：returnxx x=xT由θ表示，近似G的非线性最小二乘伪逆，并且νN（0，In）表示对于不同的z N（0，I k）添加到生成器的输出的噪声，用PG表示的投影网络=GG†经过培训P G（. ）的方式图3：将投影仪训练到射程上的架构（G）多次重启。此外，我们的方法在CelebA数据集上提供了30 - 40倍的显著加速，原因有两个：（i）由于没有内环，收敛所需的迭代总数显著减少，（ii）不需要计算Δ G zI.E. 生成器相对于输入z的雅可比矩阵。这个昂贵的操作通过网络重复反向传播T out× #restarts（对于[4]）或T out× T in（对于[33]）次，其中#restarts，T out和T in分别是重新启动，外部和内部迭代的次数。3.2. 基于发电机的投影仪GAN由两个网络组成，生成器和识别器，它们遵循对抗训练策略在范围（G）之外的点上，并学习投影它们在R（G）上。目标函数由两部分组成。第一种类似于标准编码器-解码器框架，然而，损失函数在G的参数θ这确保了R（G）第二部分用于保持Gt（G（z））接近用于生成训练图像G（z）的真实z。该第二项可以被认为是用于训练投影仪的正则化器，其中λ是正则化常数。4. 理论研究4.1. 收敛性分析令f（x）=<$Ax−y<$2表示投影梯度下降的loss函数。算法（1）描述了提出的基于网络的投影梯度下降（NPGD），解方程（2）。来学习数据分布。一个训练有素的生成器G：Rk→R（G）<$Rn，k<$n接受一个随机潜变量z<$N（0，Ik），并产生模仿Rn中训练数据分布的清晰图像。目标是训练一个网络，将图像x∈Rn投影到R（G）上。投影到集合S上的投影仪PS应满足两个主要特性：（i）恒等式，对于任何点x，PS （PS（x））=PS （x），（ii）最小距离，对于点x<$$>，PS（x<$）=argminx∈S<$x−x<$$>2。 图3显示了我们使用GAN训练投影仪的网络结构.我们将多任务损失定义为：定义1（Restricted Eigenvalue Constraint（REC））设S∈Rn.对于参数0<α<β，称矩阵A∈Rm×n满足REC（S，α，β），如果对所有x1，x2∈ S成立.α<$x1− x2<$2≤ <$A（x1− x2）<$2≤ β<$x1−x2<$2。（三）定义2（使用GAN的近似投影）级联网络G（G<$（·））：Rn→R（G）是δ-近似投影器，如果以下对所有x∈Rn：L（θ）=EΣ¨。¨GΣG<$（ G（ z）+ν）¨2Σ-G（z）<$† 2 2z，vθΣ¨¨中文（简体）x−G（G（x））≤min<$x−G（z）<$z∈Rk+δ（4）+E λ<$G<$（G（z）+ν）−z<$2z，v其中G是从在特定数据集上训练的GAN获得的生成器。算子Gt：Rn→Rk，参数zN（0，I）G（G）G†（）θG（G）5605定理1提供了我们的NPGD算法在n次迭代后的成本函数和重构误差的上界。56062−β/α2α/β−1j=1F2j=1jj定理1设矩阵A∈Rm×n满足REC（S，α，β）， β/α<二、 和 让 该仲裁庭─给定网络G（G（·））是一个δ-应用对象.并且相关联的分布被表示为αS，其中G（z1）−G（z2）z，z<$N（0，I），s=N（六）则对于每个x∈R（G）和测量y=Ax∈，12K<$G（z1）−G（z2）<$S以步长η=1/β执行算法1，将产生f（xn）≤（β− 1）nf（x0）+βδ。 而且给定S（G），A上的优化如下：α2− β/α。Σ2算法实现了<$xn−x<$$>2≤C+1δβmaxs∈S（G）<$As<$.α2/β−1min=min第二章（七）后1logf（x0）Cαδ步当n→∞时，A∈Rm×nαA∈Rm×n mins∈S（G）<$As<$.Σ−1<$x<$−x∞<$2≤δ。≤ min12=最大minAs证据1请参阅附录。AAT=Immins∈S（G）<$As<$AAT=Im s∈S（G）根据定理1，一个重要因素是比率β/α。这个比率在很大程度上决定了线性（“几何”）收敛的速度在收敛时，x<$−x∞<$2我们希望β/α比尽可能接近1，并且必须使β/α2才能收敛。在[2]中已经表明，随机矩阵A该不等式是由于对A的附加约束：AAT=Im.这导致A的最大奇异值为1，因此分子项maxs∈S（G）<$As<$2至多为1。由于（7）中的最小化需要迭代集合S，因此我们使用s上的期望值作为代理目标将以高概率满足该条件，其中m在k维上与log大致线性A= arg maxEs不ΣΣAs最大值1μmTMAsj因子依赖于流形的性质，在这种情况下，R（G）。然而，正如我们稍后演示的那样（见图AA=ImAA=Imj=1（八）4），对于小的或中等的m，随机矩阵往往不满足期望的条件β/α2。为了扩展到这样的制度，我们提出了下一个快速的启发式方法，找到一个相对较好的测量矩阵的图像集S，给定一个固定的m。最后一个近似值将替代目标替换为它的经验估计是通过对M n割线（sj）M进 行 抽 样 得 到的。 F或m和M足够大时，所设计的测量矩阵对R（G）中的大多数割线都满足条件β/α <2 。 n×M 矩 阵D=[s1]的构造|S2|. . . |sM]，（8）简化为：4.2. 基于生成器的测量矩阵设计A=argmaxAD2S.T. AAT=Im（九）有一些尝试来优化测量-根据具体的数据分布情况划分矩阵。Hegde等人[16]对于给定的有限集合S，找到满足REC（S，1-δS，1+δS）的确定性测量矩阵，大小|S|，但其时间复杂度为O（n3+|S|2n2）。是-因为割线集S（稍后定义）具有基数性|= O（M 2）对于大小为M的训练集，M = n，即使对于相当小的时间复杂度也是不可行的。|= O(M2)for a training set of size M, with M ≫ n, the timecomplexity would be infeasible even for fairly smalln像素图像。此外，由算法确定的所需测量的最终数量m取决于等距常数δS，并且不能预先指定。Kvinge等人[18]介绍了一种启发式迭代算法来找到具有正交项的测量矩阵，满足R. E C算法具有较小的β/α比，但其时间复杂度为O（n5），空间复杂度为O（n3），这对于高维图像数据集是不可行的. 相反，我们的方法，基于从割线集的时间复杂度为O（Mn2+n3），空间复杂度为O（n2），其中M是|S|.定义3（割线集） G的正规正割集定义如下：一（9）中的最优A的行等于m个前导特征向量DDT。我们计算DD T=MS ST，其特征值分解的时间复杂度为O（Mn~ 2+n3），空间复杂度为O（n2）。我们设计A的方法与其中一个步骤描述[18]，然而，通过使用基于采样的估计（6）和（8），而不是整个训练集的正割集，我们将计算成本降低了几个数量级，达到了适度的水平。4.2.1A我们通过在图4中绘制不同测量矩阵A ∈Rm×n的ΔAsΔ值的直方图来分析REC条件，其中s ∈ S是在MNIST数据集上训练的来自G的样本的割线集。左列显示了随机和基于G的设计矩阵的直方图对于随机数A，对于少数测量值m，λA的分布明显更宽，导致β/α/2。<对于所设计的A，直方图更集中。即使作为只有m=20次测量（对于MNIST），设计的，x1−x2，A满足转换的充分条件β/α2S（ G）=1号线-x∈R（G）：x1，x2∈R（G）M5607（五）PGD算法的效率，从而确保稳定的恢复。5608图4：具有不同A.左：随机（青色）和设计矩阵（橙色）具有不同的m。中间：具有不同f的下采样矩阵（绿色）。右：使用不同的蒙版大小修复矩阵（红色）。中间列示出了对应于下采样A的直方图，下采样A取f×f（f=2、3、4、5）像素值的空间平均值以生成低分辨率图像。右列显示了修复A的直方图，该修复A掩盖了各种图像的中心正方形。尺寸.正如预期的那样，随着复苏问题更加困难，利差扩大。然而，对于每个逆问题（由矩阵A定义），可以估计比率β/α，例如，99.9%的样本，结合定理1，提供了明确的定量保证。5. 实验网络架构：我们实现了两种GAN 架构：（i）MNIST和CelebA的深度卷积GAN（DCGAN）[30]，（ii）自注意GAN（SAGAN）[41]对于LSUN教堂户外数据集。 DCGAN构建在多个卷积、转置卷积和ReLU层上，并使用批量归一化和丢弃来实现更好的泛化，而SAGAN将卷积与生成器和识别器中的自注意机制相结合，允许进行长距离依赖建模，以生成具有高分辨率细节的图像。对于DC-GAN，我们使用了对抗损失的标准目标函数，而对于SAGAN，我们最小化了对抗损失的铰链版本[27]。模型Gt的架构类似于GAN中的CJD的架构，并且仅在最后一层中有所不同，在最后一层中，我们添加了具有与潜在变量维度k相同的输出大小的全连接层。对于训练Gt，我们使用图1所示的架构。3和（2）中定义的目标，同时保持预训练的G固定。我们发现使用λ= 0。1，在（2）中，给出了最好的性能。用于扰动训练图像G（z）的噪声ν遵循N（0，σ2I）。我们观察到，低σ的训练结果是一个项目，tor类似于恒等算子，因此只将附近的点投影到R（G）上，而对于大σ，投影违反恒等式。 我们根据经验设定σ=1。我们图5：修复（掩码大小=20）、超分辨率（4×）和压缩感知（CS，m=1000）任务中LSUN教堂室外图像的恢复然后得到一个投影网络PG= GG <$，它近似地将位于R（G）之外的图像投影到R（G）上。我们根据经验选择潜在变量维数k = 100。MNIST数据集[19]由28×28的数字灰度图像组成，具有50，000个训练样本和10，000个测试样本。我们使用位于[-1，1]之间的重新缩放图像预训练GAN，该GAN由G的4个转置卷积层和CXD中的4个卷积层组成。 我们使用z∈ N（0，Ik）作为GGAN使用Adam优化器进行训练，学习率为0。0001，小批量大小为128，用于40个epoch。为了训练G的伪逆，Gt，我们使用样本最小化目标（2），从G（z）生成，并且具有用于GAN的相同超参数。CelebA数据集[23]由超过20万张名人图片组成。我们使用 对 齐 和 裁 剪 的 版 本 ， 它 将 每 个 图 像 预 处 理 为64×64×3的大小，并在[-1，1]之间缩放。我们随机挑选160，000张图像来训练GAN。从40，000张保留的照片中提取的图像用于评估。GAN由G中的5个转置卷积层和D中的5个卷积层组成。GAN使用Adam优化器以学习率0训练了35个epoch。00015和小批量128。G†的训练方式与MNIST数据集相同。LSUN教堂-户外数据集[40]由超过126，000个大小为64×64×3的裁剪和对齐图像组成，比例在[-1，1]之间。DCGAN使用低分辨率fea中的空间局部点生成高分辨率细节。在SAGAN中，可以使用来自许多特征位置的信息生成细节，这使得它成为LSUN等不同数据集的自然选择。SAGAN由4个转置卷积层和2个G中不同尺度的自注意模 块 和 4 个 con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-con-5609α在D.每个自注意模块由3个卷积层组成，并添加在两个网络的第3层和第4SAGAN在G中使用条件批量归一化，在D中使用投影。光谱归一化用于G和D中的层。 我们使用ADAM优化器，β1= 0，β2=0。9、学习率0. 0001和小批量大小64用于GAN训练。 由类似于D的自注意机制组成的Gt使用目标2使用β 1=0的ADAM优化器进行训练。9和β2= 0。999，学习率0。001，100个时期的小批量大小为64我们比较了我们的算法的性能MNIST和CelebA与其他GAN先验求解器（[4，33]）和基于稀疏性的方法，Lasso与离散余弦变换（DCT）基础[34]和总变差最小化方法（TVAL 3）[21]用于线性逆问题，即压缩感知（CS），超分辨率和修复。对于CS，我们广泛地评估了随机高斯和设计的测量矩阵的重建性能。此外，我们证明了LSUN教堂室外数据集图像的恢复，使用所提出的五、5.1. 压缩感知5.1.1随机高斯矩阵恢复在这种设置中，我们使用与（[4，33]）相同的测量矩阵A，即Ai，j<$N（0，1/m），其中m是测量次数 。 对 于 MNIST ， 测 量 矩 阵 A∈Rm×784 ， 其 中m=20，50，100，200，而对于MNIST，CelebA ，A∈Rm×12288，其中m=200，500，1000，2000。图6显示了来自测试集。我们的NPGD算法性能优于其他人，并避免局部最优。图7显示了CelebA的8个测试图像的反射。我们的算法在视觉上优于其他三种方法，因为它能够保留详细的面部特征，如太阳镜，头发，并具有准确的色调。图8a和8c分别提供了MNIST和CelebA的定量比较5.1.2使用设计基质的回收率在此设置中，我们使用4.2节中描述的基于G设计的A。我们观察到，对于少得多的测量m，用设计的A进行恢复是可能的。这证实了我们基于图4的评估，即对于较小的m，对于大多数正割，设计的矩阵以高概率满足期望的REC条件。图8a，8c表明，我们的算法在重建误差和结构相似性指数（SSIM）方面始终优于其他方法。此外，委员会认为，利用所设计的A，我们能够获得与使用5-10倍更小的m的随机矩阵相当的性能。图8b，8d显示了恢复的图像与设计和1Shah等人的代码。（PGD-GAN）用于MNIST不可用图6：使用高斯矩阵重建，m=100。1图7：使用高斯矩阵重建，m=1000。随机A使用我们的算法对不同的m。很明显，用随机A重新加工需要比设计的m大得多的m才能达到类似的性能。5.2. 超分辨率超分辨率是指从单个低分辨率图像恢复这个超分辨率问题只是我们的线性测量框架 我们通过取f × f像素值的空间平均值（在RGB颜色空间中）来模拟模糊环+下采样，其中f是下采样的比率。这相当于通过f× f箱脉冲响应进行模糊，然后进行下采样。我们用f=2，3，4测试我们的算法，对应于4×，9×和16×-更小的图像尺寸，分别。 我们注意到对于较高的f，测量矩阵A可能不满足我们的算法的收敛性要求期望的REC（S，α，β），β2（见图4），因此，我们的定理可能不适用。<图9a-9 c中MNIST的结果表明，恢复性能确实随着f的增加而下降，然而，我们的NPGD算法，5610(a)（b）第（1）款(c)（d）其他事项图8：（a）m=20，50，100，200个测量值的MNIST数据集的重建算法的相对误差ΔxΔ−xΔ2/ΔxΔ2和SSIM(b)MNIST重建具有随机高斯（中间行）和基于G的正交行的设计矩阵（底部行），使用不同的m。(c)CelebA数据集的相对误差和SSIM，m=200，500，1000，2000次测量。(d)CelebA重建，如（b）。(a)4×低分辨率（b）9×低分辨率（c）16×低分辨率图9：MNIST数据集上的第1行：原始图像x。 行2：低分辨率图像y，使用常数填充进行上采样，行3：高分辨率图像恢复[4]。第4行：高分辨率图像恢复我们的方法。(a)掩码大小= 6（b）掩码大小= 10 （c）掩码大小=14图10：在MNIST数据集中修复。第1行：原始图像X.第2行：缺少中心块的图像y。行3：图像恢复[4]。行4：图像恢复我们的方法.给出了比Bora等人更好的重建。[4]的文件。5.3. 修复修复是指从部分被遮挡的版本恢复整个图像。在这种情况下，y是一个图像，并且A是将逐像素掩模应用于原始图像x的线性运算。同样，这是线性测量的特殊情况，其中每个测量对应于观察到的像素。对于MNIST数据集上的实验，我们应用大小为6，10，14的中心正方形掩码。图10a-10 c中的恢复结果表明，我们的方法始终优于[4]，并且对于小于10的掩模尺寸几乎可以完美地恢复。结果与修复的REC直方图一致（图4），这表明对于更高的掩码大小，可能无法满足保证收敛的所需REC5.4. 回收运行时间比较表1比较了我们的基于网络的al-出租m NPGD和其他恢复算法的运行时间我们记录的平均运行时间，以恢复一个单一的图像从其压缩传感测量超过10个不同的图像。所有三种算法都在同一台工作站上运行，配备i7- 4770 K CPU 、 32 GB RAM 和 GeForce Titan XGPU。5.5. 分析：投影仪图11示出了不同k时投影仪的同向误差。三种不同类别的图像进行了测试，即MNIST训练样本，MNIST测试，2运行时包括2个初始化，由作者为CelebA实现。CelebA的初始化次数相同（MNIST为10次），结果如图6、7、8和9所示。我们的NPGD算法只使用一个确定性初始化，x0=ATy。561122−κA.附录：定理1通过δ-近似投影的假设，<$wt−xt+1<$2=<$wt−G（G<$（wt））<$2≤<$x<$−wt <$2+δ（十）表1：执行时间比较（[sec.]）CelebA数据集上的恢复算法。我们的NPGD的Bora等人的CSGM算法的相对加速。在括号中显示。其中，从梯度更新步骤，我们有wt=xt−ηAT（Axt −y）=xt −ηAT A（xt −x）将wt代入（10）中，x−x−x，A TA（x <$− x）<$t+1t2ηxt+1t t≤<$x <$−xt<$2−2η<$A（x<$−xt）<$2+δ重新安排我们的条款.2xt−xt+1，AT A（x）Σ— xt）≤1<$x<$−x<$2 −2f（x） −1<$x −x<$2+δηt. 1Σtηt+1t12δη（十一）≤−2ηαf（xt）−ηxt+1−xt+η.1Σ12δ≤−2ηαf（xt）−ηβ<$Axt+1−Axt<$+η其中最后两个不等式由REC（S，α，β）得出。现在LHS可以重写为：图11：相同错误.2xt−xt+1，ATA（x）Σ— xt）样本，以及使用预训练G. 我们使用来自三个来源的干净图像，并绘制相对恒等式误差x−PG（x）2/x2。误差= Ax − Ax t +1 2 − Ax − Ax t 2 − Ax t +1 − Ax t2=f （ xt+1 ）−f （ xt ） −<$Axt+1−Axt<$2（12）结合（11）和（12），并重新排列各项，我们有：随着k的增加而减小，并且在k=100附近饱和。MNIST训练和测试样本这些都是非常接近的，表明可以忽略不计的泛化，f（xt+1）≤. 1Σ−1ηα.1Σf（xt）+1−ηβ Axt+1−Axt<$2+η误差另一方面，由G（z）生成的样本给出低得多的误差，这表明GAN中的表示误差。因此，我们希望更灵活的发电机并且由于η=1/β，f（xt+1）≤. βΣ-一个αf（xt）+βδ（更深的网络）将导致更好的投影机在交流-实际数据集，从而提高性能。6. 结论为了简单起见，我们将κ=β/α代入下式：n−1f（xn）≤（κ−1）nf（x0）+βδ（κ−1）kk=0在这项工作中，我们提出了一个基于GAN的投影网络，用于快速恢复线性逆问题。我们=（κ−1）nf（x0）+β（1−（κ−1）n）δ2−κ方法表现出优越的性能，也亲，为了适应新环境。1≤κ=β/α<2。当n比现有的基于GAN的方法提高了60-80倍的达到1logf（x0）Cαδ，我们有ods，消除了雅可比矩阵矩阵的每一个迭代。我们提供了一个理论界的重δMCSGM2PGD-GANNPGD2005.8660.09（64倍）5006.6600.10（66倍）10008.0630.11（72倍）5612α建误差为一个温和的条件措施，xn−xAxn−Axα=f（xn）α保证矩阵为了帮助设计这样一个矩阵的压缩传感，我们提出了一种方法，使恢复，≤（κ−1）nf（x0）αβ（1−（κ−1）n）+δα（2 −κ）每一次使用的测量值比使用随机测量值少5-10倍nf（x0）δ.1Σ高斯矩阵 我们的压缩感知实验，≤（κ−1）+≤α2/κ− 1C+δ2/κ− 1超分辨率和修复显示了通用线性反问题可以解决与建议最后，当n→∞时，我们有（κ−1）nf（x0）→0方法，无需再培训。在未来，导出投影误差δ的界和相关的性能保证是一个有趣的方向。xǁ2≤δ2/κ−1δ=2α/β− 15613引用[1] 乔纳斯·阿德勒和奥兹·安·奥克泰姆。使用迭代深度神经 网 络 解 决 不 适 定 的 逆 问 题逆 问 题 ， 33 （ 12） ：124007，2017. 1[2] Richard G Baraniuk和Michael B Wakin。光滑流形的随机投影计算数学基础，9（1）：51-77，2009。4[3] David Berthelot Thomas Schumm 和 Luke Metz 。 Be-gan：边界平衡生成对抗网络。arXiv预印本arXiv：1703.10717，2017. 2[4] Ashish Bora，Ajil Jalal，Eric Price，and Alexandros GDi- makis. 使 用生 成模 型的 压缩 感知 。arXiv预 印本arXiv：1703.03208，2017。二三六七[5] Emmanuel J Candes ， Justin K Romberg ， and TerenceTao.从不完整和不准确的测量中恢复稳定的信号。纯数学与应用数学通讯：A Journal Issued by the CourantInstitute of Mathematical Sciences ， 59 （ 8 ） ： 1207-1223，2006. 1[6] Antonia Creswell、Tom White、Vincent Dumoulin、KaiArulkumaran、Biswa Sengupta和Anil A Bharath。生成对抗网络：概述。IEEE信号处理杂志，35（1）：53-65，2018。2[7] Kostadin Dabov、Alessandro Foi、Vladimir Katkovnik和Karen Egiazarian。基于形状自适应主元分析的Bm3d图像去噪。在SPARS1[8] Weisheng Dong ， Lei Zhang ， Guangming Shi ， andXiaolin Wu.自适应稀疏域选择和自适应正则化的图像去模 糊 和 超 分 辨 率 。 IEEE Transactions on ImageProcessing，20（7）：18381[9] 大 卫 ·L· 多 诺 霍 压 缩 感 知 。 IEEE Transactions onInformation Theory，52（4）：1289-1306，2006. 1[10] 迈克尔·埃拉德稀疏和冗余表示：从理论到信号和图像处理中的应用。Springer Science Business Media，2010. 1[11] Michael Elad和Michal Aharon通过学习字典上的稀疏和冗余表示进行图像去噪。IEEE Transactions on Imageprocessing，15（12）：3736- 3745，2006. 1[12] Kai Fan ， Qi Wei ， Lawrence Carin ， and Katherine AHeller.使用深度神经网络的反问题的无内环解。神经信息处理系统的进展，第2370-2380页，2017年。1[13] 伊恩·古德费洛、让·普盖特-阿巴迪、迈赫迪·米尔扎、许冰、大卫·沃德-法利、谢尔吉尔·奥扎尔、阿伦·库维尔和约舒亚·本吉奥。生成性对抗网。 在神经信息处理系统的进展，第26722[14] Karol Gregor和Yann LeCun。学习稀疏编码的快速近似。第27届国际机器学习会议论文集，第399-406页。Omnipress，2010年。1[15] Harshit Gupta ， Kyong Hwan Jin ， Ha Q Nguyen ，Michael T McCann，and Michael Unser.基于cnn的投影梯度下降法一致性ct图像重建。IEEE trans-actions onmedical imaging，37（6）：1440-1453，2018。1[16] C. Hegde、A.C. Sankaranarayanan，W.Yin，和R.G. 巴拉牛。Numax：学习近似等距线性嵌入的凸方法IEEETransactions on Signal Processing ， 63 （ 22 ） ： 6109-6121，Nov 2015. 4[17] Diederik P Kingma和Jimmy Ba。Adam：随机最佳化的方法。arXiv预印本arXiv：1412.6980，2014。2[18] 亨利·克文奇，艾琳·法内尔，迈克尔·科比，克里斯·彼得森.面向gpu的割线降维算法设计。在2018年第17届国际并行和分布式计算研讨会（ISPDC）上，第69-76页IEEE，2018年。4[19] YannLeCun，Le'onBottou，YoshuaBengio和PatrickHaffner。基于梯度的学习应用于文档识别。Proceedings of the IEEE，86（11）：2278-2324，1998.5[20] Chri s tianLedig ， LucasTheis ， FerencHus za'r ， Jo seCaballero ， Andrew Cunningham ， Alejandro Acosta ，Andrew Aitken，Alykhan Tejani，Johannes Totz，ZehanWang，et al.使用生成式对抗网络的照片级真实感单幅图像超分辨率。在IEEE计算机视觉和模式识别会议论文集，第4681-4690页2[21] Chengbo Li，Wotao Yin，and Yin Zhang. tval3用户指南：用增广拉格朗日和交替方向算法最小化Tv。CAAMreport，20（46-47）：4，2009. 1、6[22] Ding Liu ， Bihan Wen ， Xianming Liu ， ZhangyangWang，and Thomas S Huang.当图像去噪满足高级视觉任 务 时 ： 深 度 学 习 方 法 。 arXiv 预 印 本 arXiv ：1706.04284，2017。1[23] Ziwei Liu ， Ping Luo ， Xiaogang Wang ， and XiaoouTang.在野外深度学习人脸属性。在2015年国际计算机视觉会议（ICCV）上5[24] Morteza Mardani ， Enhao Gong ， Joseph Y Cheng ，Shreyas S Vasanawala，Greg Zaharchuk，Lei Xing，andJohn M Pauly.用于压缩感知磁共振成像的深度生成对抗神经网络。IEEE transactions on medical imaging，