空时感知超解析 STARnet

12859空时感知的多分辨率视频增强Muhammad Haris1岁，Greg Shakhnarovich2岁，Norimichi Ukita1岁1日本丰田技术学院2芝加哥丰田技术学院muhammad. bukalapak.com，greg@ttic.edu，ukita@toyota-ti.ac.jp摘要我们考虑时空超分辨率（ST-SR）问题：增加视频帧的空间分辨率并同时内插帧以增加帧速率。现代方法一次处理一个轴。相比之下，我们提出的模型称为STARnet超解析联合在空间和时间。这使我们能够利用时间和空间之间的相互信息关系：更高的分辨率可以提供关于运动的更详细的信息，并且更高的帧速率可以提供更好的像素对准。在ST-SR期间生成潜在的低分辨率和高分辨率表示的模型组件可以用于微调仅用于空间或仅用于时间SR的专门机制。实验结果表明，STARnet提高了时空，空间和时间的视频SR的性能由公开可用的数据集上的大量利润。1. 介绍最初由[49]提出的时空超分辨率（ST-SR）的目标是将具有低帧率的低空间分辨率视频变换为具有更高空间和时间分辨率的视频。然而，现有的SR方法独立地处理空间和时间上采样。具有多个输入帧的空间SR（S-SR），（即，多图像SR [11，12]和视频SR [22，33，7，46，17]），旨在通过空间对齐相似帧（图1），将空间低分辨率（S-LR）帧超分辨为空间高分辨率（S-HR）帧。1（a））。时间SR（T-SR）旨在通过在帧之间进行时间内插来将输入帧的帧速率从时间低分辨率（T-LR）帧增加到时间高分辨率（T-HR）帧[45，36，35，42，3，41]（图12）。（b）款。虽然提出了很少的ST-SR方法[49，50，47，40，32]，但这些方法不是基于学习的方法，并且要求每个输入视频足够长以提取有意义的时空模式。[48]提出的ST-SR基于他目前在印度尼西亚的Bukalapak工作。一个深网。然而，这种方法未能充分利用ST-SR模式的优点，因为它只依赖于LR插值。另一方面，可以通过交替地和独立地使用任何基于学习的S-SR和T-SR来执行ST-SR。例如，在S-LR上构造中间帧，然后由S-SR产生它们的SR帧;图第1段（c）分段。另一种方法是先用S-SR对输入帧进行空间上采样，然后再用T-SR构造中间帧;图1（d）.空间和时间显然是相关的。这种关系使我们能够联合采用空间和时间表示来解决人类[20，21，8]和机器感知[39，62，6，55，17，57，31]的视觉任务。直观地，更准确的运动可以在更高的空间表示上表示，并且反过来，更高的时间表示（即，更多的帧，所有这些帧在外观上都是相似的）可以用于准确地提取在时间帧中捕获的更多的空间上下文，如在多图像SR和视频SR中所做的那样。这种直觉也得到了各种联合学习问题的支持[18，15，61，1，60，56，29]，这些问题被证明可以提高学习效率和预测准确性。为了利用空间和时间的互补性，我们提出了时空感知多分辨率网络，称为STARnet。 STARnet明确地结合了空间和时间表示，通过为ST-SR呈现从LR到HR的直接连接，在LR和HR空间中相互增强S-SR和T-SR，如图中的紫色箭头所示。第1段（e）分段。该网络还提供了可扩展性，其中同一网络可以针对ST-SR、S-SR或T-SR中的任一个进一步微调。如图2，基于STAR的微调模型比最先进的模型性能更好[58，14，3，17]。本文的主要贡献如下：1) 新的基于学习的ST-SR方法，它训练一个端到端的深度网络来联合学习空间和时间上下文，从而产生我们所谓的时空感知多分辨率网络（STARnet）。该方法优于S-SR和T-SR方法的组合。2) 联合学习多种分辨率，以估计12860(a) 视频SR（S-SR）（b）视频内插（T-SR）(c)时间到空间SR（d）空间到时间SR（e）我们的STARnet图1.SR方法的比较白色和灰色矩形分别表示输入和输出帧小矩形和大矩形分别指示S-LR帧和S-HR帧。我们省略了从图像到特征的特征提取步骤。(a)和（b）分别是原始的S-SR和T-SR方法。对于ST-SR，（c）执行T-SR以产生中间帧，然后使用S-SR放大帧（例如，DAIN[3]→RBPN [17]）。反之，（d）执行S-SR，然后使用SR帧来产生中间帧，T-SR（例如，RBPN[17]→DAIN [3]）。我们的STARnet（e）联合优化了所有任务（S-SR、T-SR和ST-SR），以增加空间，时间在多个分辨率中相互作用紫色箭头表示ST-SR从LR到HR的直接连接。除了上采样，下采样用于将S-HR特征转换回S-LR特征，以用于在多个分辨率中的相互连接输入重叠 TOFlow→ DBPN DBPN→ TOFlow Ours[14][14][15]第二届世界杯足球赛[58]第58话：我的世界[17]第十七话：我的世界图 2. ST-SR 、 T-SR 和 S-SR 的 比 较（ S-SR： 4 × 和 T-SR ：2×）。红色箭头显示了其他方法产生的伪影和模糊，而STARnet（我们的）可以构建更好的图像。在视频中观察到的大而微妙的运动在S-HR帧上执行T-SR在估计大的运动方面有困难，而在S-LR帧上可能难以内插细微的运动我们的联合学习通过多分辨率之间的直接横向连接来呈现丰富的多尺度特征，从而解决了这两个问题。3) 提出了S-SR和T-SR优于直接S-SR和T-SR 的新观点。与直接S-SR和T-SR方法相比，我们的S-SR和T-SR模型是通过微调STAR获得的。来自STAR的这种微调允许通过ST-SR学习来增强S-SR和T-SR模型;(1) S-SR通过内插帧以及输入帧来增强，并且（2）T-SR通过在S-HR中观察到的细微运动以及在S-LR中观察到的大运动2. 相关工作空间SR。深度SR [9]通过更好的上采样层[51]、残差学习[26，54]、反投影[14，16]，递归层[27]和渐进上采样[30]。在视频SR中，时间信息由帧连接[7，24]和递归网络[22，46，17]保留时间SR。T-SR或视频插值旨在合成中间帧[36，45，23，35，42，41，3，43，37，59]。之前的方法使用血流图像作为运动表示[23，41，3，58，59]。然而，流动图像遭受模糊和大的运动。DAIN [3]采用单目深度估计以支持稳健的流量估计。作为另一种方法，通过在空间上缩小输入S-HR帧，可以分别在缩小的S-LR和输入S-HR帧中显著地实现大的和微小的运动[37，43]。虽然这些方法[37，43]通过多个空间分辨率的联合训练来缩小T-SR的输入S-HR帧，但STARnet通过多个空间和时间分辨率的联合训练来放大ST-SR的输入和内插帧中的输入S-LR帧。时空SR。ST-SR [49，50]的第一个工作是求解庞大的线性方程组，然后创建一个包含所有LR帧的所有时空测量的向量。 稍后[47]提出了ST-SR从一个单一的视频记录的假设下的空间和时间递归。这些S-SrST-SRT-SR12861不不不t+1t+n不 t=01 t=0t+n不t+1t+1先前的工作[49，50，47，32，40]具有几个缺点，例如方程之间的依赖性、其对某些参数的敏感性，以及需要更长的视频来提取有意义的时空模式。[48]提出了学习LR-HR非线性映射的STSR方法。然而，它没有研究多个空间分辨率改善ST-SR结果的有效性。此外，它也在有限的测试集上进行了评估。另一种方法是结合S-SR和T-SR，如图所示。1（c）和（d）段。然而，这种方法独立地处理每个上下文，空间和时间。ST-SR尚未使用联合学习进行彻底研究。3. 空时多分辨率3.1. 制剂给定两个LR帧（I1和I2）， ），尺寸为（Ml×SR [14，17]、Ht和Ht+1分别被NetD缩小以用于更新Lt和Lt+1，如在等式（1）中表示的（二）、NetM 产 生 从双向光流计算的 运 动 表 示 （ M ） ;（三）、Net M 的输出是由CNN学习的流特征图。虽然很难直接解释这些特征，但它们旨在帮助Ft→ t+1和Ft+1→ t之间的空间对齐。最后，通过所有这些特征的级联，通过NetST执行特征空间中的ST-SR;等式11。（四）、净ST实现了T-SR以及ST-SR，它们在LR和HR上合并，如图中的蓝色和紫色箭头所示。第1段（e）分段。阶段1的输出是中间帧的HR和LR特征图（Ht+n和Lt+n）。在这个阶段，STARnet保持（1）S-HR和S-LR之间的周期一致性，以及（2）t和t+1之间的周期一致性，而这种周期一致性在一般情况下得到证明t t+1Nl），ST-SR获得空时SR帧（Isr，Isr，Isr）姿势[64，13，63]，tt+nt+1其中n ∈ [0，1]，M l

下载后可阅读完整内容，剩余1页未读，立即下载