大规模快照压缩成像的即插即用算法

xyuan@bell-labs.comyliu12@mit.edu{jlsuo,daiqh}@tsinghua.edu.cn114470大规模快照压缩成像的即插即用算法0美国贝尔实验室新泽西分部袁鑫0美国麻省理工学院刘洋0中国北京清华大学自动化系和脑与认知科学研究所索金丽戴琼海0摘要0快照压缩成像（SCI）旨在使用二维传感器（探测器）在单个快照中捕捉高维（通常是三维）图像。尽管享有低带宽、低功耗和低成本的优势，但将SCI应用于我们日常生活中的大规模问题（高清或超高清视频）仍然具有挑战性。瓶颈在于重建算法，它们要么太慢（迭代优化算法），要么对编码过程不够灵活（基于深度学习的端到端网络）。在本文中，我们基于即插即用（PnP）框架开发了快速和灵活的SCI算法。除了广泛使用的PnP-ADMM方法外，我们还提出了PnP-GAP（广义交替投影）算法，它具有较低的计算工作量，并证明了在SCI硬件约束下PnP-GAP的全局收敛性。通过采用深度去噪先验，我们首次展示了PnP可以从快照2D测量中恢复出UHD彩色视频（3840×1644×48，PSNR超过30dB）。对模拟和实际数据集的广泛结果验证了我们提出的算法的优越性。01. 引言0计算成像[1,31]将光学、电子和算法有机结合，以优化性能[4, 6,32]或提供新的能力[5, 25, 35,43]给成像系统。计算成像的一个重要分支是快照压缩成像（SCI）[23,45]，它利用二维（2D）相机捕捉三维视频或光谱数据。与传统相机不同，这种成像系统根据感知矩阵在一组连续图像（例如CACTI [23, 60]）或光谱通道（例如CASSI[46]）上进行采样，并将这些采样信号沿时间或频谱积分以获得最终的压缩测量结果。利用这种技术，SCI系统[12, 15,36, 42, 45, 46, 60]可以捕捉高速运动[40, 41, 61, 62, 68,70]和0高分辨率光谱信息[28, 69,37]，但内存、带宽、功耗和成本低。本文关注视频SCI重建。与硬件发展并行，各种算法已被应用和开发用于SCI重建。除了广泛使用的TwIST[2]外，基于高斯混合模型（GMM）的算法在[49,50]中通过GMM对空间-时间块内的像素进行建模。GAP-TV[53]采用广义交替投影（GAP）[21]框架下的总变差最小化思想。最近，DeSCI在[22]中提出的方法取得了最先进的结果。然而，DeSCI的速度慢，不适用于实际应用，特别是对于高清（1280×720）、全高清（1920×1080）或超高清（3840×1644和3840×2160）视频，在我们的日常生活中越来越受欢迎。回想一下，DeSCI需要一个小时以上的时间才能从快照测量中重建出一个256×256×8的视频。相比之下，作为一种快速算法，GAP-TV无法提供良好的重建效果以用于实际应用（一般需要PSNR≥30dB）。另一种解决方案是训练一个端到端网络[26,34]来重建SCI系统的视频。一方面，这种方法可以在几秒钟内完成任务，并通过适当设计多个GPU构建端到端采样和重建框架。另一方面，该方法失去了网络的鲁棒性，因为每当感知矩阵（编码过程）发生变化时，都必须重新训练一个新的网络。此外，它不能轻松地用于自适应感知[70]。因此，有必要为SCI重建设计一种高效灵活的算法，特别是针对大规模问题。这将为将SCI应用于我们的日常生活铺平道路。为了解决SCI重建的速度、准确性和灵活性的三难问题，本文做出以下贡献：•受到即插即用（PnP）交替方向乘子法（ADMM）[9]框架的启发，我们将PnP-ADMM扩展到SCI，并通过考虑硬件约束和SCI中感知矩阵的特殊结构[18]，证明了PnP-ADMM收敛到一个固定点。10-210-11001012628303234))14480快照Bayer RGB/灰度测量GAP-TV（25.08 dB，0.8475）0真实值（帧#46/48）PnP-FFDNet（32.49 dB，0.9252）0t场景0t随机二进制掩码0快照Bayer测量0⊙0Σ0Bayer RGB0灰度0图1.视频SCI的感知过程（左）和使用提出的PnP-FFDNet进行重建的结果（右下）。捕获的图像（中上）尺寸为UHD（3840×1644），从快照测量中恢复出48帧。GAP-TV（右上）需要180分钟，PnP-FFDNet需要55分钟进行重建。其他方法速度太慢（超过12小时）无法使用。0•我们提出了一种高效的PnP-GAP算法，将各种有界去噪器（图2）引入GAP[21]中，其计算工作量低于PnP-ADMM。除了固定点收敛外，我们进一步证明，在适当的假设下，PnP-GAP的解将收敛到真实信号。据我们所知，这是SCI的第一个全局收敛结果，这也适用于加性白高斯噪声。•通过将深度图像去噪器（例如快速灵活的FFDNet[74]）集成到PnP-GAP中，我们展示了使用单个GPU加上普通计算机，在2分钟内从快照测量中恢复出一个FHD视频（1920×1080×24），其PSNR接近30dB。与端到端网络[26]相比，节省了大量资源（无需重新训练）。这进一步使得使用SCI进行UHD压缩成为可行的（在图1中，一个3840×1644×48的视频被重建，其PSNR超过30dB）。据我们所知，这是SCI首次在这些大规模问题中使用。•我们将我们开发的PnP算法应用于广泛的仿真和真实数据集（由真实SCI相机捕获），以验证我们提出的算法的效率和鲁棒性。我们展示了所提算法可以获得与DeSCI相当的结果，但计算时间显著减少。本文的其余部分组织如下。第2节回顾了视频SCI的数学模型。第3节在SCI硬件约束下开发了PnP-ADMM，并证明了PnP-ADMM收敛到一个固定点。第4节开发了PnP-GAP算法，并证明了其全局收敛性。第5节将各种去噪器集成到SCI重建的PnP框架中。第6节和第7节分别展示了（基准和大规模）仿真和真实数据的广泛结果，第7节总结了本文。0速度（1/运行时间，以分钟为单位）0质量（以dB为单位的PSNR）0SCI的即插即用去噪器性能0TV0VBM4D0WNNM0WNNM-TV0WNNM-FFDNet0FFDNet WNNM-VBM4D0图2. SCI重建中各种即插即用去噪算法的质量和速度权衡。0相关工作已经开发了SCI系统来捕获3D光谱图像[8, 37,69]、视频[15, 33, 23, 25, 36, 40, 41, 43, 60,67]、高动态范围[52]、深度[24, 58,66]和极化[44]图像等。从算法方面来说，除了基于稀疏性[55, 65, 57, 59, 63, 54, 75, 71,72]的算法外，还提出了GMM[49, 50,56]和GAP-TV[53]。如上所述，DeSCI[22]已经取得了最先进的结果。受到图像恢复中的深度学习[73]的启发，研究人员已经开始在计算成像[16, 19, 20, 30, 39, 29,64]中使用深度学习。已经提出了一些用于SCI重建的网络[26, 28, 34,51]。与这些方法不同的是，在这项工作中，我们将各种去噪器集成到PnP框架[9,38]中进行SCI重建，从而为SCI提供高效和灵活的算法。我们的PnP算法不仅可以提供优秀的结果，而且对不同的编码过程具有鲁棒性，因此可以用于自适应感知。144902. SCI的数学模型0如图1所示，在视频SCI系统（例如CACTI）[23]中，考虑一个B帧视频X ∈ Rnx × ny × B被B个感知矩阵（掩模）C ∈Rnx × ny × B调制和压缩，测量帧Y ∈ Rnx ×ny可以表示为[23, 60]0Y = �Bb=1 Cb ⊙ Xb + Z, (1)0其中Z ∈ Rnx × ny表示噪声；Cb = C(:, :, b)和Xb = X(:, :,b) ∈ Rnx ×ny分别表示第b个感知矩阵（掩模）和相应的视频帧；⊙表示Hadamard（逐元素）乘积。数学上，（1）中的测量可以表示为0y = Hx + z, (2)0其中y = Vec(Y) ∈ Rnxny和z = Vec(Z) ∈Rnxny。相应地，视频信号x ∈ RnxnyB是0x = Vec(X) = [Vec(X1)�, ..., Vec(XB)�]�. (3)0与传统的压缩感知[7, 11]不同，视频SCI中的感知矩阵H ∈Rnxny × nxnyB是稀疏的，并且是对角矩阵的串联0H = [D1, ..., DB]. (4)0其中Db = diag(Vec(Cb)) ∈ Rn×n，其中n = nxny，对于b= 1, ..., B。因此，这里的采样率等于1/B。最近在[17,18]中已经证明，即使B >1，SCI的重建误差也是有界的。在彩色视频的情况下，如图1、5和7所示，通常使用的Bayer模式传感器捕获的原始数据具有“RGGB”通道。由于掩模施加在每个像素上，生成的测量可以被视为灰度图像，如图6所示，当以彩色显示时，由于掩模调制（图5），解码过程无法生成正确的颜色。因此，在重建过程中，我们首先独立恢复这四个通道，然后在重建的视频中执行解码。最终的解码RGB视频是所需的信号[60]。03. 插拔式ADMM用于SCI0SCI的反演问题可以建模为0ˆx = argmin x f(x) + λg(x), (5)0其中f(x)可以看作是正向成像模型的损失，即∥y −Hx∥22，g(x)是一个先验。这个先验通常起到正则化的作用。03.1. 回顾[9]中的插拔式ADMM算法0通过使用ADMM框架[3]，通过引入辅助参数v，可以将Eq.（5）中的无约束优化转化为0(ˆx, ˆv) = argmin x, v f(x) + λg(v), subject to x = v. (6)0这个最小化问题可以通过以下子问题序列来解决0x(k+1) = argmin x f(x) + ρ02 ∥x − (v(k) − 10ρu(k))∥22,(7)0v(k+1) = argmin v λg(v) + ρ02 ∥v − (x(k) + 10ρu(k))∥22,(8)0u(k+1) = u(k) + ρ(x(k+1) − v(k+1)), (9)0在SCI和其他反演问题中，f(x)通常是一个二次型，对于Eq.（7）有多种解决方案。在PnP-ADMM中，Eq.（8）的解被替换为现成的去噪算法，得到0v(k+1) = Dσ(x(k) + 10ρu(k)). (10)0其中，Dσ表示使用的去噪器，σ表示假设的加性白噪声的标准差。在[9]中，作者提出在每次迭代中通过ρk+1 =γkρk更新ρ，其中γk ≥ 1，并设置σk = �0对于去噪器，作者定义了有界去噪器，并证明了PnP-ADMM的不动点收敛性。0定义1.（有界去噪器[9]）：具有参数σ的有界去噪器是一个函数Dσ：Rn → Rn，对于任何输入x ∈ Rn，满足以下条件01n∥Dσ(x) - x∥22 ≤ σ2C，(11)0对于某个与n和σ无关的通用常数C。0根据这个定义（对去噪器的约束）和f：[0, 1]n →R具有有界梯度的假设，对于任何x ∈ [0, 1]n，存在L <∞使得∥�f(x)∥2/√n ≤L，[9]的作者已经证明：PnP-ADMM的迭代表现出固定点收敛。也就是说，存在(x�, v�, u�)使得∥x(k) - x�∥2 → 0，∥v(k) -v�∥2 → 0，以及∥u(k) - u�∥2 → 0，当k → ∞。03.2. SCI的PnP-ADMM0在SCI中，根据式(2)的模型，x ∈RnB，并且我们将损失函数f(x)定义为0f(x) = 102∥y - Hx∥22，(12)0假设所有像素值都归一化到[0, 1]。145002∥y - Hx∥22的梯度有界，即∥�f(x)∥2 ≤ B∥x∥2。0证明。完整的证明见附录。这里我们展示关键步骤。函数f(x)的梯度为0�f(x) = H�Hx - H�y，(13)0其中H是一个大小为n ×nB的分块对角矩阵，如式(4)所定义。H�y是非负的，因为测量y和掩模都是非负的，而H�Hx是x的加权和，∥H�Hx∥2 ≤BCmax∥x∥2，其中Cmax是感知矩阵中的最大值。通常，感知矩阵被归一化为[0, 1]，这导致Cmax =1，因此∥H�Hx∥2 ≤B∥x∥2。此外，如果掩模元素Di,j是从二进制分布中以概率p1 ∈ (0, 1)为1的条目中抽取的，则∥H�Hx∥2 ≤p1B∥x∥2的概率很高；通常情况下，p1 =0.5，因此∥H�Hx∥2 ≤ 0.5B∥x∥2。∥H�Hx∥2 ≤Bσ2∥x∥2σ=1 =B∥x∥2在实际系统中，我们只考虑非负掩模在[0,1]上归一化的情况。0回顾一下，在(4)中，{Di}Bi=1是一个对角矩阵，我们用其对角元素表示为0Di = diag(Di,1, ..., Di,n)，(14)0因此，在SCI中，HH�是对角矩阵，即0R = HH� = diag(R1, ..., Rn)，(15)0其中Rj = ΣBb=1 D2i,j，�j = 1, ..., n。我们定义0Rmax def = max(R1, ..., Rn) = λmax(HH�)，(16)0Rmin def = min(R1, ..., Rn) = λmin(HH�)，(17)0其中λmin(∙)和λmax(∙)表示保证矩阵的最小和最大特征值。0假设1. 我们假设{Rj}nj=1 >0。这意味着对于每个空间位置j，该位置的B帧调制掩模至少有一个非零条目。我们进一步假设Rmax >Rmin。这个假设在硬件上是有意义的，因为我们期望在感知过程中至少捕获到每个像素的一个B帧。引理1和定义1中的有界去噪器给出了以下推论。0推论1.考虑SCI中的感知模型(2)，进一步假设感知矩阵中的元素满足假设1。给定{H,y}，通过具有有界去噪器的PnP-ADMM迭代求解x，则x(k)和θ(k)将收敛到一个固定点。0证明见附录。04. 用于SCI的即插即用GAP0在本节中，根据GAP算法[21]和PnP-ADMM的上述条件，我们提出了用于SCI的PnP-GAP算法，正如之前提到的，它的计算负载较低（因此更快）比PnP-ADMM。0算法1 插拔式GAP 输入：H, y. 1: 初始化v(0), λ0, ξ <1. 2: while 未收敛 do 3: 根据公式(19)更新x. 4:根据去噪器更新v v(k+1) = Dσk(x(k+1)).05: if ∆k+1 ≥ η∆k then 6:λk+1 = ξλk, 7: else 8:λk+1 = λk. 9: end if010: end while04.1. 算法0与公式(6)中的ADMM不同，GAP通过以下问题解决SCI：0(ˆx, ˆv) = argmin x, v 1/2 ∥x - v∥�² + λg(v), s.t. y = Hx.(18)0与ADMM类似，公式(18)中的最小化问题通过一系列（现在是2个）子问题来求解，我们再次用k表示迭代次数。•解x：给定v，通过欧几里得投影将v(k)更新为线性流形M上的v(k+1)：y = Hx，0x(k+1) = v(k) + H�(HH�)�¹(y - Hv(k)), (19)0其中，如（15）中所定义的，（HH�）�¹幸运地是一个对角矩阵，这在许多SCI反演问题中已经被观察和使用。0• 解v：给定x，更新v可以看作是一个去噪问题，而0v(k+1) = Dσ(x(k+1)). (20)0λ。我们可以看到，在每次迭代中，唯一需要调整的参数是λ，因此我们设置λk+1 = ξkλk，其中ξk ≤1。受PnP-ADMM的启发，我们通过以下两个规则更新λ：a）通过设置λk+1 = ξλk进行单调更新，其中ξ < 1。0b）通过考虑相对残差进行自适应更新：0∆k+1 = 1/√0nB ∥x(k+1) - x(k)∥� + ∥v(k+1) - v(k)∥� ≤ .0对于任意η ∈ [0, 1)，并且令ξ <1为常数，根据以下设置条件性地更新λk：=∥v− x2R−≤�1 − RminRmax1 − RminRmax ∥x(k) − x∗∥2 + Cgϕk. (28)x(k+1) − x∗ = v(k) − x∗ + H⊤(HH⊤)−1(y − Hv(k))= v(k) − x∗ + H⊤(HH⊤)−1H(x∗ − v(k)).(29)∥x(k+1) − x∗∥22 = ∥v(k) − x∗ 22R− 12 H(v(k)x∗) 22≤�1 − RminRmax1 −1 −1 −nBCσk−1(1 − RminRmax )(33)1 −nBC(1 − RminRmax )ξk−14 ,(34)nBC(1 − RminRmax )ξk−14→ 0.(35)nBC(1 − RminRmax )ξ− 14 ,ϕ = ξ14 .(36)14510i）如果∆k+1 ≥ η∆k，则λk+1 = ξλk。ii）如果∆k+1 <η∆k，则λk+1 =λk。通过这种自适应更新λk的方法，SCI的完整PnP-GAP算法如算法1所示。04.2. 固定点收敛性0接下来，我们首先证明PnP-GAP的固定点收敛性，然后在下一小节中证明全局收敛性。根据公式(19)，我们有0Hx(k+1) = Hv(k) + HH�(HH�)�¹(y - Hv(k))0= Hv(k) + y - Hv(k) (21)0= y. (22)0同样地，y =Hx(k)，这是GAP的关键特性，也是GAP和ADMM之间的主要区别。根据(19)，我们有0x(k+1) - x(k) = v(k) - x(k) + H�(HH�)�¹(y - Hv(k)).0接下来，0∥x(k+1) - x(k)∥�² = ∥v(k) + H�(HH�)�¹(y - Hv(k)) - x(k)∥�²(23)0= ∥(I - H�(HH�)�¹H)(v(k) - x(k))∥�² (24)02H(v(k) - x(k))∥�² (25)0∥v(k) - x(k)∥�²，(26)0其中最后两个方程遵循SM中引理1和引理2的结果。这导致以下收敛结果。0定理1：考虑SCI的感知模型（2），进一步假设感知矩阵中的元素满足假设1。给定{H,y}，通过带有有界去噪器的PnP-GAP迭代求解x，则x(k)和v(k)将收敛到一个固定点。0证明：完整的证明在SM中，它遵循公式(26)，一个关键结果是∥θ(k+1) - θ(k)∥�² ≤ 7nBCλ�ξ��¹，(27)0其中 θ(k) = (x(k),v(k))。其他步骤遵循推论1的证明。备注1：PnP-GAP的上述收敛结果也适用于带有噪声的测量。事实上，证明与噪声无关。这是因为更新方程 x(k) 的噪声无关。0始终满足  y  =  Hx ( k ) 。考虑带有噪声的测量，即 y  =  Hx � +  z ，其中 z  ∈  R n表示测量噪声。尽管此时测量 y 与无噪声情况不同，但我们仍然强制要求  y  =  Hx ( k )0在每次迭代中。0值得注意的是，我们已经证明了固定点的收敛性，但是 x ( k) 可能不会收敛到真实信号 x �。我们将在下面证明PnP-GAP的全局收敛性，而对于PnP-ADMM来说，这是具有挑战性的。04.3. Plug-and-Play GAP的全局收敛性首先我们做出以下假设。假设2. 只有一个真实信号 x �满足SCI的测量模型 y  =  Hx �。我们理解在实际情况下，可能有多个满足 y  =  Hx的信号，并且这个正向模型可能是物理成像系统的（线性）近似。通过使用这个假设，我们得到了PnP-GAP的以下全局收敛结果。0定理2. [PnP-GAP的全局收敛性]考虑SCI的感知模型在(2)中，并进一步假设感知矩阵中的元素满足假设1。考虑真实信号 y  =  Hx � 。给定 { H ,  y }，通过带有有界去噪器的PnP-GAP迭代求解 ˆ x。对于一个常数 C g  >  0  和  0  < ϕ <  10∥ x ( k +1) −  x � ∥ 2≤ 范数0证明. 从(19)开始；我们有0根据(25)的推导，我们有0范数 ∥ v ( k ) −  x � ∥ 2 2 .(30)0这是0∥ x ( k +1) −  x � ∥ 20R max ∥ v ( k )  −  x � ∥ 2 范数0≤范数0R max 范数 ∥ v ( k ) −  x ( k ) ∥ 2  +  ∥ x ( k ) −0≤范数0R max ∥ x ( k )  −  x � ∥2  + 范数0=范数0R max ∥ x ( k )  −  x � ∥ 2+  λ 0 范数0其中方程(33) - (34)来自于定理1的证明中0R max <  1 且 ξ <  1 ，因此当 k  → ∞ 时，0λ 0范数0在(28)中，我们定义了0C g  =  λ 0范数0所得到的全局收敛结果如下。0注意我们假设 R min  < R max在假设1中。否则，定理2将导致 ∥ x ( k +1) −  x � ∥ 2  = 0 .1 − RminRmax ∥x(k)−x∗∥2+Cgϕk+ǫ√Rmin .x(k+1) − x∗ =[I − H⊤(HH⊤)−1H](x∗ − v(k))+ H⊤(HH⊤)−1z.(37)x(k+1)x∗ 22(1RminRmax ) v(k)x∗ 22 +1Rmin ∥z∥22.b,1 − RminRmax ∥x(k) − x∗∥2nBC(1 − RminRmax )ξk14520定理3. [PnP-GAP的稳定收敛性]假设与定理2中相同的条件，但现在噪声测量为 y  =  Hx � +z ，且 ∥ z ∥ 2  ≤  � 。给定 { H ,  y }，通过带有有界去噪器的PnP-GAP迭代求解 ˆ x。对于一个常数 C g  >  0  和  0  < ϕ <  10∥ x ( k +1) − x � ∥ 20证明. 不同于(29)，其中使用了 y  =  Hx �，现在我们有(详细内容见SM)0对两边进行ℓ 2 -范数，并使用(30)的结果进行一些推导，0使用(34)的结果和 √0a  +  b  ≤  √ a+ √ b0∥ x ( k +1) −  x � ∥ 2≤ 范数0+ λ0 �04 + � √ Rmin. (38)0最终结果如下。0值得注意的是，假设WNNM是一个有界的去噪器，DeSCI[22]，即GAP-WNNM，是我们的PnP-GAP的一个特例。04.4. PnP-ADMM与PnP-GAP的比较0比较Eqs(19)-(20)中的PnP-GAP和Eqs(7)-(9)中的PnP-ADMM，我们可以看到PnP-GAP只有两个子问题（而不是PnP-ADMM中的三个），因此计算速度更快。在[22]中指出，在无噪声的情况下，ADMM和GAP的性能相同，并且已经得到了数学证明。然而，在有噪声的情况下，ADMM通常表现更好，因为它在模型中考虑了噪声，下面我们给出一个几何解释。如图3所示，我们以二维稀疏信号为例，可以看到由于GAP施加了y =Hˆx的约束，GAP的解ˆx始终位于虚线绿线上（由于噪声的原因，这条线可能偏离实线绿线，真实信号位于实线绿线上）。然而，ADMM的解没有这个约束，而是最小化∥y -Hx∥22，可以在虚线红圈或黄虚线圈内。在无噪声的情况下，GAP和ADMM都有很大的机会收敛到真实信号x�。然而，在有噪声的情况下，GAP解与真实信号之间的欧氏距离（∥ˆx -x�∥2）可能大于ADMM的距离。再次强调，ADMM的最终解取决于初始化，并不能保证比GAP更准确。0图3.在噪声情况下ADMM（在虚线红圈或虚线黄圈内）和GAP（ˆx）解的演示。不同之处在于GAP的解始终位于y = Hˆx上。05. 将各种去噪器集成到PnP中进行SCI重建0从定理2中的方程(28)可以看出，重构误差项取决于Cgϕk，从(35)可以观察到，当{n，B，Rmin，Rmax}固定，{λ0，ξ}预设或调整时，只有C取决于有界去噪算法。换句话说，具有较小C的更好的去噪器可以提供更接近真实信号的重构结果。根据速度和质量的不同任务存在各种去噪算法。通常，速度更快的去噪器，例如TV，非常高效，但无法提供高质量的结果。中等级别的算法，例如BM3D[10]，可以在较长的运行时间内提供不错的结果。更先进的去噪算法，例如WNNM [14,13]，可以提供更好的结果[22]，但速度更慢。另一种新兴的去噪方法是基于深度学习[48,73]，它可以在训练后的短时间内提供不错的结果，但通常对噪声水平不稳定，在高噪声情况下结果不好。与传统的去噪问题不同，在SCI重建中，每次迭代中的噪声水平通常从大到小，动态范围可以从150到1，考虑到像素值在{0，1，...，255}之间。幸运的是，FFDNet[74]在各种噪声水平下为我们提供了一种快速灵活的解决方案。通过将这些去噪算法集成到PnP-GAP/ADMM中，我们可以得到具有不同结果的不同算法（表1和图2）。值得注意的是，DeSCI可以被视为PnP-WNNM，并且通过利用不同视频帧之间的相关性可以实现最佳结果。另一方面，大多数现有的深度去噪先验仍然基于图像。因此，预计PnP-GAP/ADMM-FFDNet的结果不如DeSCI好。我们预计随着深度去噪先验的进步，更好的视频去噪方法将提升我们基于PnP的SCI重建结果。此外，这些不同的去噪器可以并行使用，即在一个GAP/ADMM迭代中依次使用，即前K1次迭代使用FFDNet，后K2次迭代使用WNNM以获得更好的结果。14530表1.不同算法在6个基准数据集上的PSNR（每个单元格的左侧条目）和SSIM（每个单元格的右侧条目）的平均结果以及每个测量/拍摄的运行时间（分钟）。0算法科比交通跑步者掉落事故航空平均运行时间（分钟）0GAP-TV 26.46，0.8848 20.89，0.7148 28.52，0.9092 34.63，0.9704 24.82，0.8383 25.05，0.8281 26.73，0.8576 0.070DeSCI（GAP-WNNM）33.25，0.9518 28.71，0.9250 38.48，0.9693 43.10，0.9925 27.04，0.9094 25.33，0.8603 32.65，0.9347 103.00PnP-VBM4D 30.60，0.9260 26.60，0.8958 30.10，0.9271 26.58，0.8777 25.30，0.8502 26.89，0.8521 27.68，0.8882 7.90PnP-FFDNet 30.50，0.9256 24.18，0.8279 32.15，0.9332 40.70，0.9892 25.42，0.8493 25.27，0.8291 29.70，0.8924 0.05（GPU）0PnP-WNNM-TV 33.00，0.9520 26.76，0.9035 38.00，0.9690 43.27，0.9927 26.25，0.8972 25.53，0.8595 32.14，0.9290 40.80PnP-WNNM-VBM4D 33.08，0.9537 28.05，0.9191 33.73，0.9632 28.82，0.9289 26.56，0.8874 27.74，0.8852 29.66，0.9229 25.00PnP-WNNM-FFDNet 32.54，0.9511 26.00，0.8861 36.31，0.9664 43.45，0.9930 26.21，0.8930 25.83，0.8618 31.72，0.9252 17.90真实值0科比＃40GAP-TV PnP-WNNM-FFDNet0交通＃60跑步者＃80掉落＃30事故＃250航空＃120图4.PnP-GAP算法（GAP-TV，PnP-FFDNet，DeSCI（GAP-WNNM），PnP-WNNM-FFDNet）在六个模拟基准视频SCI数据集上的重建帧。06.结果0我们将提出的PnP算法应用于模拟[22, 26]和由SCI相机[23,60]捕获的真实数据集。使用传统的去噪算法，包括TV[53]，VBM4D [27]和WNNM[14]。对于基于深度学习的去噪器，我们尝试了各种算法，并发现FFDNet [74]提供了最佳结果。0模拟：基准数据我们按照[22]中的模拟设置使用六个数据集，即科比，交通，跑步者，掉落，事故和航空[26]，其中B=8个视频帧被压缩成单个测量。表1总结了使用各种去噪算法的这6个基准数据的PSNR和SSIM[47]结果，其中DeSCI可以归类为GAP-WNNM，而PnP-WNNM-FFDNet使用了50次迭代的FFDNet，然后是60次迭代的WNNM，GAP-WNNM-VBM4D也是类似的。可以观察到：i）通过使用GPU，PnP-0FFDNet现在是最快的算法1；它甚至比GAP-TV更快，同时提供比GAP-TV高约3dB的PSNR。因此，PnP-FFDNet可以作为SCI重建中的高效基准。由于平均PSNR接近30dB，它适用于实际情况。这将在下面的大规模数据集的子部分中进一步验证。ii）DeSCI仍然提供了平均最佳结果；然而，通过将其他算法与WNNM结合，可以仅使用1/6的计算时间达到可比较的结果（例如PnP-WNNM-FFDNet）。图4显示了使用不同算法的六个数据集的选定帧。可以看出，尽管GAP-WNNM仍然导致最佳结果，但PnP-FFDNet和DeSCI之间的差异非常小，在大多数情况下它们非常接近。0模拟：大规模数据我们在图5中展示了大规模数据的结果，其中所有视频（在SM中）都是从大小为1920×1080×24到3840×1644×48的快照中重建的。值得注意的是，只有GAP-TV和PnP-FFDNet可以用作其他所有算法运行时间太长（超过10小时）的情况下。总的来说，PnP-FFDNet的PSNR比GAP-TV高4dB以上。请注意PnP-FFDNet恢复的细节。这些结果以及高速度可以在我们日常生活视频中实现SCI的实际应用。0真实数据最后，我们将提出的PnP框架应用于由SCI相机捕获的真实数据，以验证算法的鲁棒性。图6-7显示了不同压缩比和不同尺寸的结果。可以观察到，在大多数情况下，PnP-FFDNet可以提供与DeSCI相当甚至更好（切割轮）的结果，同时节省了大量的计算时间。使用不同算法处理这些数据的运行时间显示在表2中，我们可以看到，即使对于512×512×22的大规模视频，PnP-FFDNet也可以在大约12秒内提供结果。01只需要一个普通的GPU来运行FFDNet，由于FFDNet是以逐帧的方式进行的，与使用并行化的其他视频去噪算法相比，我们不需要大量的CPU或GPURAM（这里不超过2GB）（即使使用并行化，其他列在此处的算法也不太可能在速度方面超过PnP-FFDNet）。2这些大规模数据集的大小和不同的压缩率不同。从速度的角度来看，可能能够为它们中的每一个训练（大而深的）网络。但是，这将需要大量的计算资源（具有大内存的GPU）和训练数据和时间。相比之下，我们的PnP-FFDNet在速度、准确性和灵活性方面提供了很好的平衡，因为我们不需要重新训练模型。#17/2421.27 dB, 0.801929.67 dB, 0.9368#36/4825.45 dB, 0.845432.60 dB, 0.9260DeSCIPnP-FFDNetGAP-TV#2#5#11PnP-WNNM-FFDNet#3#6#9#12#15#18#21#18#21#3#6#9#12#15#18#21#3#6#9#12#15#18#21#3#6#9#12#15#18#21(b) GAP-TV(c) DeSCI(d) PnP-FFDNet(e) PnP-WNNM-FFDNet(a)(b)(c)(d)(e)14540Ground truth GAP-TV 快照测量 PnP-FFDNet0Messi  彩色 (1920 × 1080 × 24)0#35/40 26.21 dB, 0.7521 30.05  dB,  0.8924 蜂鸟 彩色 (1920 × 1080 × 40)0Swinger  彩色 (3840 × 2160 × 20) #16/20 25.45 dB, 0.8543 30.43  dB,  0.91810足球 彩色 (3840 × 1644 × 48)0图5. PnP-GAP算法（GAP-TV和PnP-FFDNet）在四个模拟大规模视频SCI数据集上的重建帧。0编码帧 (256 ×256 × 14)0图6. 真实数据: 切割轮 ( 256  ×  256  ×  14 ).0编码帧 (512 × 512 × 22) (a) GAP-wavelet [Yuan X.  et al.  CVPR'14]0图7. 真实数据: 锤子 彩色视频 SCI ( 512  ×  512  ×  22 ).0表2. 使用不同算法处理真实数据的运行时间（秒）。labs和UCF的视觉结果显示在SM中。0真实数据 像素分辨率 GAP-TV DeSCI PnP-FFDNet PnP-WNNM-FFDNet0切割轮 256  ×  256  ×  14 11.6 3185.8 2.7 1754.70锤子 彩色 512  ×  512  ×  22 94.5 4791.0 12.6 1619.40* WNNM以逐帧的方式用于大规模数据集。7. 结论我们提出了用于快照压缩视频成像系统重建的即插即用算法。通过将深度去噪器集成到PnP框架中，我们不仅在模拟和真实数据集上获得了出色的结果，而且在短时间内提供了足够的灵活性。PnP-GAP的收敛结果得到了证明，我们首次展示了SCI可以用于大规模（高清、全高清和超高清）日常生活视频。这为SCI的实际应用铺平了道路。关于未来的工作，一个方向是训练一个更好的视频（而不是图像）去噪网络，并将其应用于提出的PnP框架以进一步改善重建结果。另一个方向是构建一个真实的大规模视频SCI系统，用于先进的相机[4]。0致谢。Jinli Suo和Qionghai Dai的工作部分得到NSFC61722110、61931012、61631009和北京市科学技术委员会（BMSTC）（编号Z181100003118014）的支持。14550参考文献0[1]  Yoann Altmann, Stephen McLaughlin, Miles J Padgett,Vivek K Goyal, Alfred O Hero, and Daniele Faccio.受量子启发的计算成像。科学，361(6403)，2018年。[2]  Jos ´ eM Bioucas-Dias和M ´ ario ATFigueiredo。新的转折：图像恢复的两步迭代收缩/阈值算法。IEEE图像处理交易，16(12)：2992-3004，2007年。[3]  StephenBoyd，Neal Parikh，Eric Chu，Borja Peleato和JonathanEckstein。通过交替方向乘法器的分布式优化和统计学习。机器学习基础和趋势，3(1)：1-122，2011年1月。[4]  D. J. Brady，M. E.Gehm，R. A. Stack，D. L. Marks，D. S. Kittle，D. R. Golish，E.M. Vera和S. D.Feller。多尺度千兆像素摄影。自然，486(7403)：386-389，2012年。[5]  David J. Brady，Alex Mrozack，Ken MacCabe和PatrickLlull。压缩层析成像。光学和光子学进展，7(4)：756，2015年。[6]  David J. Brady，Wubin Pang，Han Li，Zhan Ma，YueTao和Xun Cao。并行相机。光学，5(2)，2018年。[7]  E. Cand ´es，J. Romberg和T.Tao。从不完整和