17369输入视频原始LoGFLoGF，含JAFBVMF（我们的）电话：+86-21 - 5555555传真：+86-21-55555555时间（秒）时间（秒）双向视频放大滤波器武田章一郎1丹羽健太1矶川麻里子1清水真也1Kazuki Okami2 Yushi Aono11NTT Corporation2 NTT TechnoCross Corporation{shoichiro.takeda.us，kenta.niwa.bk，shinya.shimizu.te，yushi.aono.dy}@ hco.ntt.co.jpieee.org@kazuki.okami.ug ntt-tx.co.jp图1. 当网球拍击球时，运动放大会导致微妙的弦振动。 顶部面板显示放大图像在撞击时（球突然停止），输入视频中绿点方块中的帧。底部面板显示输入视频中沿着红线的时空切片。我们提出的BVMF以4Hz的目标频率放大了微妙的弦振动（见下图），同时在撞击时保持了球的形状（见上图）。相比之下，现有的方法，LoGF[30]和LoGF与JAF [22]，错误地放大了非目标的更高频率的弦振动，并使球形状塌陷请参阅视频结果的补充材料摘要欧拉视频放大（EVM）已经发展到即使在存在物体的大运动的情况下也以目标频率放大细微运动。然而，现有的EVM方法通常不能在真实视频中产生期望的结果，这是由于（1）错误地提取具有非目标频率的细微运动以及（2）当大的去/加速运动发生时（例如，物体突然开始、停止或改变方向）。为了提高EVM在真实视频上的性能，本文提出了一种双边视频放大滤波器（BVMF），它提供了简单而鲁棒的时域滤波。BVMF有两个核;（I）一个核通过高斯拉普拉斯算子执行时间带通滤波，高斯拉普拉斯算子的通带在目标频率处以单位增益达到峰值，以及（II）另一个核通过经由傅立叶移位定理对输入信号的强度进行高斯滤波来排除感兴趣幅度之外的大运动。因此，BVMF仅提取具有目标频率的细微运动，同时排除感兴趣幅度之外的大运动，而不管运动动态。此外，BVMF在时间和强度域中同时运行两个内核，就像双边滤波器在空间和强度域中一样。这简化了实现，并作为一个次要的影响，保持内存使用率低。在合成视频和真实视频上进行的实验表明，BVMF优于最先进的方法。1. 介绍我们人类经常无法在视觉上感知我们世界中的细微运动：头部随着血液循环的细微运动，吸收外力的材料的轻微变形，或者飞行无人机的细微自主波动。这种变化对于帮助我们深入理解场景背景[1，3，4，25，28]或异常行为[2，10]非常有用，但它们很难用肉眼看到。为了放大视频中这种微妙而重要的运动，欧拉视频放大（EVM）方法已被广泛研究[6，10，13，17，21，22，25，26，28，30]。EVM方法通常将视频中的局部运动测量为沿每个像素位置处的每个方向的每个空间子带内的相位信号[7，25]。然后，它们对定向子带相位信号执行时间滤波以仅提取具有目标频率的细微运动（例如，呼吸循环）。然而，由于微小运动很容易被物体的大运动淹没，因此早期EVM方法[25，26，28]中的标准时间滤波通常无法在物体大幅移动时提取微小运动。为了克服这个问题，EVM中的时间滤波一直在不断改进[22，30]。具体而言，Zhanget al. 设计了高斯拉普拉斯滤波器（LoGF），以执行时间带通滤波，同时排除缓慢的大运动，通过其拉普拉斯特性[30]在短时间尺度上线性近似。此外，为了排除17370不√表1.EVM的时间滤波结果与现有时间滤波器[22，30]和BVMF的比较方法频率响应大运动排除内存占用慢←去/加速→快LoGF [30]移位✓✗✗低LoGF w/ JAF [22]移位✓✗✓高BVMF（我们的）非偏移✓ ✓✓低快速大运动，提出了LoGF与加加速度感知滤波器（JAF）的组合[22]; JAF通过评估基于加加速度的运动陡度（其表示快速大运动）仅有效地排除它们。因此，该组合提取具有目标频率的细微运动，同时排除缓慢和快速的大运动。然而，由于以下问题，具有JAF的LoGF [22]通常无法在真实视频中产生理想的结果(1)LoGF的通带相对于目标频率偏移（见图1）。2）。因此，LoGF错误地提取具有非目标频率的细微运动，或者其提取具有目标频率但其幅度低于原始的细微运动（即，LoGF的通带增益在目标频率处不是1）。（2）LoGF或JAF专门设计用于仅排除缓慢或快速的大运动，但除此之外，经常存在需要达到真实视频中的缓慢或快速大运动的大减速或加速运动（例如，物体突然开始、停止或改变方向）。因此，具有JAF的LoGF错误地提取了这种大的去/加速度运动，并使结果崩溃（见图1）。1）。由于上述问题，真实视频中的EVM仍然是一项具有挑战性的任务。本文提出了一种双边视频放大滤波器（BVMF），它简单而鲁棒，增强了EVM在真实视频上的性能。表1总结了现有时间滤波器[22，30]和BVMF的比较。受双边滤波器的启发，其中两个内核实现了简单而稳健的空间平滑过程[18，23]，我们设计了具有两个内核的BVMF：（I）一个内核通过LoG执行时间带通滤波，由于新的公式，LoG的通带峰值在目标频率处，增益为1;（II）另一个内核通过傅立叶移位定理对相位信号的强度进行高斯滤波，排除感兴趣幅度之外的大运动（该定理使我们能够精确地测量运动幅度，因为该理论是基于傅立叶移位定理的。相位信号的强度）。因此，BVMF仅提取具有目标频率的细微运动，同时排除感兴趣幅度之外的各种大运动，而不管运动动态，即慢、快或减速/加速。图2. LoGF的带通频率响应[30]（Paper，GitHub）1和我们的BVMF。在该比较中，目标频率ft = 10 Hz，采样率fs =120 Hz。LoGF（纸）的标准偏差σft设置为使其滤波器宽度与ft和fs的波长匹配，参考斑点检测中的尺度选择[11，16]。 这不是专门为时间-poral滤波设计的，因此会使LoGF的通带相对于ft发生偏移（见蓝色图）。相比之下，BVMF在ft处具有其通带峰值，具有单位增益，即1。0，由于新配方的Eqs。（5）和（7）（见黄色图）。相位信号，以有效地排除大的运动[22]。作为次要效果，这种简单的双边实现使内存使用率与单独使用LoGF一样低[30]本文的贡献如下。（i）我们通过新的公式将LoG参数与通带特性联系起来，该公式严格地将通带的峰值增益设置为目标频率处的单位。(ii)我们排除了大的运动以外的幅度感兴趣的高斯滤波的强度的相位信号通过傅立叶移位theo- rem。这比现有的方法更简单[22，30]，同时更鲁棒，因为它没有对运动动力学（即，慢，快或减速/加速）进行假设。(iii)我们首次将双边原理引入EVM中的时间滤波，这使得实现更简单，并且作为次要效果，内存使用率低于具有JAF的LoGF [22]。(iv)我们进行了广泛的实验，并表明我们的方法优于基线方法，包括颜色放大的结果。此外，BVMF在时间上运行两个内核，输入相位信号的强度域同时像双边滤波器在图像的空间和强度域中所做的那样[18，23]。与需要多个输入的具有JAF的LoGF相比，这简化了1 LoGF的实现在原始论文和官方GitHub之间存在差异[30]。LoGF的标准差σft设置为σft=fs/（4 2ft）（Paper）和σf=fs/8ft（GitHub）。设置滤波器归一化系数Z，使得LoGF系数为1。0，指的是官方GitHub版本[30]。单位增益17371--{|-}{|n∅n{|−∈ }2. 相关作品由第一个基于拉格朗日的视频放大方法[12]开创，已经研究了许多视频放大方法。其中，欧拉视频放大（EVM）方法是当前的主流[6，10，13，17，21，22，25，26，28，30]。EVM有四个阶段：（1）从每个图像帧构造信号表示，以测量视频中的时间变化，（2）对信号进行时间滤波，以仅提取具有目标频率的细微变化，（3）放大滤波后的信号，以及（4）压缩放大的信号表示，以输出放大的图像帧。本节总结了EVM的主要研究主题（也是我们的主要焦点）：（1）信号表示和（2）时间滤波。2.1. 信号表示在运动放大中，已经提出了几种信号表示来测量视频中的运动变化[10，15，17，25，26，28]。例如，由合成运动放大数据集训练的深度卷积神经网络中的学习表示引起了广泛关注[17]。该表示从合成数据集中学习运动相关信号，并显示出比现有手工制作的表示更好的无噪声结果[25，28]。然而，由于其强大的数据集依赖性，这种学习的表示通常会破坏结果[21]，并且学习的运动相关信号如何与视频中的运动严格因此，早期的建议，复杂的可操纵金字塔，仍然是事实上的标准[21，22，25，30]。复杂可操纵金字塔由一组定向子带分析信号组成，其使得能够在每个像素位置处沿着每个取向计算每个空间子带内的相位信号。复杂可操纵金字塔的特征在于，定向子带相位信号通过傅立叶移位定理[7，19，25]与空间子带内沿方向的局部运动我们的工作使用复杂的可控金字塔运动放大，因为它有一个严格的相位信号和局部运动之间的关系。这使我们能够精确地测量运动的幅度作为相位信号的强度，从而导致我们的鲁棒内核，有效地排除了大的运动（详情请参见第4节）。注意，在颜色 放大率，最 现有的工作[21，22，28，30]构造了颜色信号的高斯金字塔作为信号表示，以测量视频中的颜色我们的工作遵循这种方法，高斯金字塔用于色彩放大。2.2. 时间滤波EVM的早期时间滤波使用标准带通滤波器，例如理想带通滤波器[25，28]和Butterworth滤波器的微分[26]。当视频中的对象保持静止时，这些过滤器可以产生EVM结果，但当它们大幅度移动时则不会，因为它们不能只提取被对象的大幅度运动淹没的细微颜色/运动变化为了克服这个问题，已经提出了具有图像分割[6]和深度信息[10]的时间滤波;两者都可以从大的运动中分离出目标图像区域。然而，这种方法需要额外的人工操作[6]或深度相机[10]来决定目标图像区域。因此，Zhanget al. [30] Takedaetal. [22]通过分别提出新的时间滤波器LoGF和JAF直接解决了这个问题，如第1节所述。我们的工作也解决了这个问题，直接提出了一个新的时间滤波器称为BVMF。与上述时间滤波[22，25，26，28，30]相比，BVMF是一种更简单但更鲁棒的滤波，其在以下方面增强了真实视频上的EVM性能：（I）提高频率选择性和（II）排除大运动，而不管运动动态（即，慢、快或去/加速）。3. 欧拉视频放大在介绍我们提出的BVMF之前，我们解释了EVM的一般过程。我们首先定义将在本文中使用的符号。给定图像帧I（x，t）t=0，. . .、T其中x=[x，y]t是像素位置，t是时间帧，从每个I（x，t）构造信号表示。作为信号表示，大多数现有的EVM方法[6，10，21，22，25，26，28，30]和我们的方法将彩色信号的高斯金字塔构造为 I n（x，t）n=0，. . .，N1 对于彩色放大，其中In（x，t）为该颜色信号处于金字塔等级n。为了运动，在这种情况下，复杂的可操纵金字塔被构造为A ω，θ（x，t）e i <$ωn，θ（x，t）n=0，. . .，N1，θΘ其中A ω，θ（x，t）∈ I ∈ωn，θ（x，t）是有向子带解析信号。 该解析信号由振幅信号A ωn，θ（x，t）和沿取向θ的空间子带角频率ωn内的相位信号ωn，θ（x，t）。在这里，我们定义了一个广义信号符号S νn，θ（x，t）;我们有颜色信号I n（x，t），其中S = I，ν n= n，θ =，或者相位信号ωn，θ（x，t），其中S = ω n，ν n= ω n。在构建信号表示之后，对S νn，θ（x，t）执行时间滤波以仅提取具有目标频率ft的细微颜色/运动变化。 对于这种时间滤波，LoGF [30] h（t; f t）用于在ft处执行时间带通滤波，同时排除缓慢的大运动，并且JAF[22] W νn，θ（x，t）用于排除快速的大运动。因此，我们得到一个信号C νn，θ，ft（x，t）re。lated to subtle color/motion variations with ft asC νn，θ，ft（x，t）=W νn，θ（x，t）（h（t;ft）<$S νn，θ（x，t）），（1）其中h表示有限值域t∈ T上的卷积.17372FF·F不F.T∈T∈T-| 不|ftFIG. 10is adiagramshowingaconfigurationof atransmittingdeviceaccordingtothepresentinvention.−−2σ2不（ft）， .N··{|∈ N}接下来，Cνn，θ，ft（x，t）以放大因子α放大并加回到原始信号Sνn，θ（x，t）以获得放大信号Sv，θ，f（x，t），其中σ ft是标准差，Z是归一化系数。为了提取f t的细微变化，LoGF [30]设计了σ ft，使其滤波器宽度与n tft的波长，其中fs指的是Sνn，θ，ft（x，t）=Sνn，θ（x，t）+αCνn，θ，ft（x，t）.（二）最后，放大的高斯或复杂的可操纵皮拉-斑点检测[11，16]。然而，它的通带比ft更高（见图2），因此LoGF不能很好地工作，mid{Sνn，θ，ft（x，t）|n=0，. . .，N−1，θ∈Θ}是col-时间带通滤波。我们首先考虑σft应设计为lapsed以输出放大的图像帧I（x，t）;微妙的放大了视频中的颜色/运动随fT的变化然而，事实上，Eq.（1）通过LoGF与JAF [22]在真实视频中失败具体而言，（1）LoGF的通带由于其基于斑点检测的设计而相对于ft偏移（见图11）。2），和(2)带有JAF的LoGF会错过发生在慢速和快速大运动之间的大减速/加速运动，因为每个过滤器都是专门为排除慢速或快速大运动而设计的。 此外，Eq.（1）不得─简单地执行，因为JAFWνn，θ（x，t）需要跨空间子带的多个输入信号，以基于粗到精策略[ 9，14 ]有效地排除快速大运动，如Wνn，θ（x，t）：=J（Sνn，θ（x，t）n，β），其中J（，）是多变量函数以获得Wνn，θ（x，t）;是跨范围，β是超参数以进行调整。只有JAF的力量在下一节中，我们提出BVMF而不是Eq。（1）克服上述问题，从而扩展EVM在真实视频中的适用性。4. 该方法为了克服将EVM应用于真实视频的困难，我们提出了BVMF而不是Eq。（一）.如第1节中所解释的，BVMFr（s（t），t）执行时间带通滤波，同时排除幅度之外的大运动。以最大化f t处LoG（t; σ ft）的通带。因此，我们在LoG（t; σ ft）的傅立叶域中重新将σ f t的优化问题公式化为：ft=argmax [LoG（t;σft）]（f），（5）f，σft>0其中[]（f）是输入在频率f处的1D傅立叶频谱，即带通频率响应。 考虑到[LoG（t; σ ft）]（f）有一个最大峰，当f，σft>0时，梯度f[LoG（t; σ ft）]（f）为0. （5）作为√2F[LoG（t;σft）]（ft）=0惠σft=2πf.（六）关于这一推导的细节，见补充材料。 该σ ft确保LoG（t; σ ft）的通带峰值严格设置在f t处。此外，为了在应用BVMF后保持ft的微小变化的原始幅度，我们重新制定并求解了Z的方程，使得LoG（t;σft）的通带峰值增益为1，即1.0，在ft处如下：|=1|=1感兴趣的两个内核运行在时间和Sνn，θ（x，t）的强度域如下：.Σt2−σ2.t2是的。F（七）Cνn，θ，ft（x，t）=Γ（s（t），t）<$Sνn，θ（x，t），Γ（s（t），t）：=G（s（t）;σε）LoG（t;σft），（三）关于这一推导的细节，见补充材料。从Eqs（6，7），BVMF（由于此LoG内核）的通带峰值位于ft处，增益为1（参见黄色其中，LoG（t;σft）是在ft处执行时间带通滤波的LoG核，G（s（t）;σε）是排除幅度之外的大运动的高斯核通过取局部信号强度变化s（t）=S νn，θ（x，t）不S νn，θ（x，t）/在BVMF的有限范围t内作为输入。我们将在下面的小节中解释每个内核4.1. 时间带通滤波的对数核类似于LoGF [30]，为了执行时间带通滤波，我们在等式中定义LoG（t; σ ft）。（3）作为σ4ftexp17373|不|∈T−FF图中的曲线2）。注意，我们将BVMF的有限范围t的长度设置为=2fs/ft，其中fs是输入视频的采样率。详见补充资料。4.2. 用于排除大运动的为了排除大的运动，LoGF [30]和JAF [22]分别利用运动线性和基于急动的运动陡度的特征。然而，每个更高级别的运动特征专门用于仅排除缓慢或快速的大运动，从而错过在缓慢的大运动和快速运动之间发生的大的减速/加速运动LoG（ t;σft）：=−t2σ2ftexpZσ4不t2−2σ2不Σ，（4）我们认为我们应该利用最低级别的运动特征，运动的幅度，以排除大的.17374快速l（uicw la（solyshifing）LREACELAINMOIε{|∈ N}√输入相位信号SL起始位置（时间=0秒）ns微妙的p（F）时间=0秒时间=2.7秒缓慢移动轻微波动（时间=0秒-2.7秒）与大运动（即，快速大运动）相关的错误放大的相位信号和大加速度运动）具有非目标较高频率的误放大的细微相位信号放大仅具有目标频率的细微相位信号输入相位信号急速翱翔磁相位信号误放大相位信号与大加速度运动有关（时间=2.7秒-3秒）LoGFLoGFw/JAFBVMF（我们的）图3. LoGF [30]，LoGF与JAF [22]的信号电平比较，以及放大飞行无人机的细微波动时的BVMF。左侧面板显示了沿黄点箭头的无人机行为。给定左侧面板中紫色点正方形中的输入相位信号（黑色），每个滤波器提取具有与无人机的细微波动相关的目标频率（蓝色）的细微相位信号放大的相位信号（绿色）是放大的细微相位信号与输入的相加。LoGF [30]和LoGF与JAF [22]错误地提取了具有非目标较高频率的细微相位信号，并且无法排除与大（加速度）运动相关的相位信号。相反，BVMF仅提取和放大具有目标频率的微小相位信号。运动，而不管运动动力学（即，慢、快或减速/加速 ） 。 因 此 ， 我 们 在 等 式 中 定 义 高 斯 核 G （ s（t）;σε）（3）通过如下对局部相位信号强度变化s（t）进行高斯滤波来排除感兴趣幅度εGaussian Kernel。因此，LoG内核是必不可少的，在排除大的运动精确。图3显示了放大飞行无人机的细微波动时现有时间滤波器[22，30]和BVMF该图显示BVMF只提取和放大细微相位信号，G（ s（ t）;σε）：= exps（t）2-2σ2νn ε， σ ε=σ2 ln 2.（八）目标频率（详情见图（3）第三章。比较Eq（3）Eq.（1）BVMF更简单，具体地，该高斯核被设计为抑制等式（1）的LoG核的输出。（4）当s（t）超过相位信号的强度νn ε（σε的分子）时小于一半，因为νn ε通过傅立叶移位定理表示运动幅度ε，该傅立叶移位定理对于复杂的可操纵金字塔[22，25，30]成立，F [I（x−ε）]（ν n）= F [I（x）]（ν n）e−iνnε。因此，BVMF通过LoG内核执行时间带通滤波，同时排除感兴趣ε的幅度之外的大运动（或将它们抑制为小于一半），而不管通过高斯内核的运动动态，高斯内核在相位信号的强度域上将ε评估为vn ε。 在色彩放大中，我们设置σ ε= ε/2ln 2，因为视频中的色彩变化ε被表示为高斯金字塔中的色彩信号强度变化ε。注意，由于其拉普拉斯性质，LoG内核排除了近似线性的一些缓慢的大运动这种线性通常很小，可能会错过[22]因为BVMF重新定义了只需要S νn，θ（x，t），而JAF，W νn，θ（x，t）需要S νn，θ（x，t）n 作为输入。因此，作为次要效果，BVMF保持与仅单独使用LoGF[30]一样低的存储器使用，其也仅需要Sνn，θ（x，t）。概括。如前所述，BVMF需要LoG内核来精确排除大的运动同时，其他过滤器（例如，非常窄的带通滤波器）可以是取决于情况的LoG内核的良好替代如公式中所示（3）、LoGF核可以用任何FIR滤波器代替。因此，我们可以设计具有FIR滤波器（而不是LoG内核）的广义BVMF，其可以应用于不同的特定情况。详见补充资料。5. 实验结果实验设置。为了评估BVMF的有效性，我们对真实视频和合成视频进行了实验。我们评估Σ.17375·LoGF（Paper）LoGF（GitHub）BVMF（我们的）128410-21.20.80.404 8 12 4 8 12 4 8 12表2.实验参数：目标频率ft、采样率fs、放大因子α、排除大运动的感兴趣幅度ε（见第4.2节）和JAF [ 22 ]中使用的超参数β（见第3节）。对合成视频的有效性进行了定量分析，对真实视频的有效性进行了定性分析。表2显示了这些实验中使用的所有参数。我们仔细设置了JAF [22]中使用的ε和β，以排除大的运动。所有视频结果都显示在补充材料中。对于彩色放大，我们从每个图像帧构建了Y彩色信号的高斯这种方法类似于现有的工程[22，28，30]。对于运动放大，我们构建了一个半倍频程复杂的可操纵金字塔，在每个图像帧的Y颜色通道中具有八个方向。我们在时间滤波之前执行相位展开过程。这种方法类似于现有的工程[22，25，30]。5.1. 用于定量评估的合成视频我们首先定量评估了我们提出的BVMF在合成视频中的有效性，如下所示。频率选择性（合成1）。 在这个实验中，我们评估BVMF的频率选择性是否只有微妙的运动与f t可以被放大的存在下，具有不同的频率的运动。我们比较了BVMF与最先进的时间带通滤波器，即LoGF（Paper，GitHub）1[22，30]。我们将每个时间滤波器应用于合成视频，其中两个球沿着水平轴微妙地波动，其中d1（左球）和d2（右球）。这些细微的波动被定义为d i=0。5 sin（2π（ fi/fs）j） ，i=1，2，其中f1，2∈[2，14] Hz（f1f2），fs=60 Hz，j为时间左球频率图4.每个时间滤波器的频率选择性。f1 = ft和f2（f1=f2）的每个频率组合随时间的均方误差与地面真实值的比较。当f1=ft低于f2时，仍然很高，因为它的通带相对于ft移动，并且ft处的增益低于1（见图中的橙色图2）。相反，BVMF在几乎所有频率组合中的MSE都比其他组合低这些结果表明，BVMF是优越的频率选择性，从而实现更好的EVM在真实的视频。请注意，为了防止低估LoGF [30]并进行公平的比较，我们在以下实验中使用LoGF（GitHub）作为LoGF [30]。对大运动的鲁棒性（合成2）。 在这个实验中，我们评估BVMF的鲁棒性对大的运动对象。具体来说，我们评估是否只有微妙的运动与f t可以放大存在的大运动。我们比较了LoGF [30]、LoGF与JAF [22]和BVMF。此外，对于消融研究，我们还比较了方程的LoG核（4），LoGF与高斯核方程。（8）和与JAF的LoG内核我们将每个时间滤波器应用于合成视频（图1 ）。 5 左上），其中顶部的两个球以 d1（左）和d2（右）微妙地波动，但底部的球以幅度d3大幅 移 动。三个球沿水平轴的运动定义为di= Aisin（2π（5/fs）j），i = 1，2，3，其中A1=0. 5，A2=1。0，A3=30像素，fs=60Hz，j是帧索引。由于正弦函数的振幅A3大于A1，2，底球在其大正弦运动d3的波峰或波谷处产生大的减/加速度运动（即底球突然改变方向）。 我们还创建了一个地面实况，其中只有顶部两个球d1，2的细微波动，扩增为d≥1， 2=10·d1 ，2。在这种情况下，我们设置ft=5，帧索引 我们还创建了一个地面实况，其中只有左球d1的细微波动被放大为10 d1。 在这种情况下，我们为每个时间滤波器设置f1= ft和α = 10，以便只放大d1，就像在地面实况中一样;因此，我们排除了d1= d2（f1= f2）的评估。图4显示了f1= f t和f2的每个频率组合随时间变化的均方误差（MSE）与地面真实值的关系。 当f1= f t低于f2时，LoGF（纸）具有高MSE，这是由于其通带偏移高于f t（见图中的蓝色图）。2）。另一方面，LoGF（GitHub）的MSE低于LoGF（Paper），但其MSE对于每个时间滤波器，α=10，仅放大d1，2而不是地面实况中的D3图5显示了应用每个时间滤波器到合成视频。比较（a）LoGF和（b）LoG内核，后者可以放大接近地面实况的顶球d1，2然而，他们折叠了底部球的形状（见青色中间和底部面板）。(e)带有JAF [22]的LoG内核减轻了这种崩溃（参见中间的青色面板），但未能排除大的de/acceleration均方误差右球频率视频[来源]ftfsαε第二十二章合成1 [2–18601010–合成2 [560101.20.5网球[20]430400.40.2电灯泡[20]530150.0354无人机[22]560150.50.517376×（x 10-2）1.00.501.21.3时间（秒）1.4输入视频LoGF LoGF w/ JAFBVMF（我们的）1.21.41.22 3 2 32 3 2 3时间（秒）时间（秒）时间（秒）时间（秒）1.41.21.4原始GT（一）（b）第（1）款（c）第（1）款（d）其他事项（e）（f）第（1）款图6.具有特定频率的闪烁白炽灯的颜色放大结果底部面板显示输入视频中沿着红线的时空切片。BVMF清楚地mag-cumbered微妙的闪烁没有亮度饱和（见紫色箭头）或黑洞（见绿点广场），由于突然打破灯碎片在2射击的子弹。7秒图5.左上角：一个合成视频，其中三个球沿着水平的红色，绿色或青色线以不同的幅度移动。中间面板：沿着上述水平线的时空切片。底部面板：在底部球的突然改变的运动方向上的输入视频上的黄点正方形中的放大图像帧。右上：每帧的MSE与地面实况（GT）。BVMF只放大了顶部两个球的细微波动，并显示了随时间推移的最低MSE。在突然改变的运动方向上的D3其它时间滤波器（c，d）也具有不能排除大的去/加速度运动（c）或不正确地放大微小波动（d）的问题。相比之下，（f）BVMF仅放大接近地面真实的d1，2，同时排除d3的大的去/加速度运动，这保持了底部球的形状。因此，BVMF随时间产生最低的MSE。请注意，我们进一步评估了不同振幅值的BVMF疗效，A3∈[5，100]，在补充材料中5.2. 用于定性评估的接下来，我们定性地评估了BVMF在真实视频中的有效性。我们将BVMF与两种最先进的时间滤波器进行了比较：[30][22 ][23][24][25][26]颜色放大率比较。图6示出了具有特定频率的闪烁白炽灯的颜色放大结果。2点钟方向的一颗子弹突然把灯打坏了. 7秒LoGF [30]和带有JAF的LoGF [22]放大了细微的闪烁，但由于突然破碎的灯碎片而产生亮度饱和（见紫色箭头）和黑洞（见绿点正方形）。In contrast,BVMF magnified the subtle blinking由于其在fT处具有单位增益的严格通带，所以比其它滤波器更强，并且没有产生任何明显的颜色伪像。运动放大率比较。图1显示了网球拍击球时弦线轻微振动的运动放大结果LoGF [30]和带有JAF的LoGF [22]错误地放大了非目标的高频弦振动（参见底部面板中的锯齿状弦振动），并由于击球时突然停球而使球形状塌陷（参见顶部面板）。相比之下，BVMF放大了微妙的弦振动与目标频率，同时保持球的形状。图7示出了飞行无人机的运动放大结果，该无人机缓慢移动或快速飙升，同时以如图1所示的细微波动稳定自身。3.第三章。LoGF [30]和LoGF与JAF [22]由于快速飙升，在无人机机身上产生模糊（见顶部面板和黄色箭头），并且还错误放大了非目标的高频波动（见底部面板）。相比之下，BVMF放大了目标频率的细微波动，同时保持了无人机机身的形状。图8示出了用于使贯穿手臂的冲击力可视化的枪击视频的运动放大结果。LoGF [30]和带有JAF的LoGF[22]由于突然的重新线圈运动而使枪形塌陷（参见顶部面板），并且还通过臂错误放大了具有非目标较高频率的细微振动（其振动更尖锐，参见底部面板）。相比之下，BVMF放大了微妙的手臂振动与目标频率，同时保持枪的形状。内存使用比较。表3示出了在简单实现中具有640 360像素和300时间帧的无人机视频的存储器使用比较。LoGF [30]仅使用内存执行时间带通滤波。使用JAF的LoGF [22]使用额外的内存，因为(a) LoGF(b) 对数核(c) LoGF，含（d）按性高斯核(e) LoG内核w/JAF(f) BVMF时间（秒）时间（秒）时间（秒）MSE17377原始LoGF LoGF w/JAFBVMF（我们的）原始LoGF LoGF w/ JAFBVMF（我们的）输入视频LoGF LoGF w/JAF BVMF（Ours）0 0.51 1.5 22.53 0 0.51 1.5 22.53 0 0.51 1.5 22.53 0 0.51 1.5 22.5 3时间（秒）时间（秒）时间（秒）时间（秒）图7.运动放大结果图。3.第三章。顶部面板显示放大的图像帧中的紫色点方块图。3、迅速崛起底部面板显示输入视频中沿着红线的时空切片。BVMF放大了目标频率下无人机的细微波动（见下图），同时保持无人机机身（见上图）。输入视频方法内存使用（GB）LoGF [30]1.833LoGF w/ JAF [22]2.110BVMF（我们的）1.834表3.无人机视频0 1 20 1 20 1 20 1 2运动并抑制它们，即使它们隐藏着微妙的变化。因此，放大隐藏在快速大运动中的细微变化仍然是一项具有挑战性的任务，时间（秒）时间（秒）时间（秒）时间（秒）EVM研究社区。 (iii)的计算时间图8.枪击视频：将冲击力扩散到整个手臂。顶部面板显示当枪开火时，输入视频中的点正方形中的放大图像。下图显示了手臂中沿着绿线的时空切片。BVMF放大了手臂中具有目标频率的细微振动，同时保持了枪的形状。JAF需要跨空间子带的多个输入信号虽然BVMF实现了最好的EVM结果，但由于其简单的双边实现，它保持了与LoGF一样低的内存使用率。6. 讨论和限制我们的建议，BVMF，将大大扩大EVM的适用性，以实际视频，提高频率选择性和排除各种大的运动。为了使EVM进一步发展，我们讨论了以下有待解决的问题：（i）在运动放大中，BVMF假设使用复杂的可操纵金字塔，其在相位信号和局部运动之间具有严格的关系，以设计等式（1）的高斯核。（八）、如果我们在高斯核中抽象地设置σε，我们将获得其他信号表示的期望结果，例如，学习的运动表示[17]。然而，我们应该设计一个先进的BVMF，可以适用于任何信号表示在未来的工作。(ii)类似于JAF [22]，BVMF的高斯核强烈响应快速大BVMF由于其双侧操作而比现有方法[22，30]已经提出了许多双边滤波器的快速技术[5，8，27]，因此我们将寻求一种将这些技术结合到BVMF中的方法（iv）作为EVM的一般问题，视频中细微噪声的误放大最近受到关注，并且已经提出了许多方法来解决这个问题[21，24，29]。BVMF可以与上述方法相结合，因为它独立于它们，但设计一个噪声鲁棒的BVMF变体仍然是一个有趣的未来工作。7. 结论我们提出了双边视频放大滤波器（BVMF）作为一个 简 单 而 强 大 的 时 间 滤 波 ， 增 强 欧 拉 视 频 放 大（EVM）的性能在真实的视频。BVMF优于现有的时间滤波，在（I）它的改进的频率选择性，由于新的公式，严格设置的峰值增益的通带在目标频率为1，（II）它的各种大的运动以外的感兴趣的幅度排除。此外，它的简单和双边实现保持了较低的内存使用。我们对合成视频和真实视频的实验表明，BVMF在定量和定性上都优于现有的时域滤波。 由于其有效性和简单性，BVMF将广泛适用于理解体育场景（例如，网球和射击），分析机械行为（例如，无人机），并观察物理现象（例如，闪烁的灯）。原始LoGFLoGF w/JAF BVMF（我们的）原始LoGFLoGF BVMFw/JAF（我们的）17378引用[1] AlborzAmir-Khalili ， Jean-MarcPeyrat ， JulienAbinahed，Osama Al-Alao，Abdulla Al-Ansari，GhassanHamarneh，and Rafeef Abugharbieh.机器人辅助肾部分切除术中闭塞血管的自动定位和分割。医学图像计算和计算机辅助干预（MICCAI），第407-414页，2014年。1[2] 纳西尔Aziz和Martijn R.坦纳马特临床神经学中用于细微运动 的显微 镜。神经 病学 ，85（ 10）： 920-920，2015。1[3] Guha Balakrishnan，Fredo Durand，and John Guttag.从视频中的头部运动中检测脉搏。在IEEE计算机视觉和模式识别会议（CVPR）中，第3430-3437页1[4] Abe Davis* ， Katherine L. 作 者 ： Justin G. Chen ，MichaelRubinstein，OralBué yué koé ztué rk，Fre'doDurand，andWilliam T.弗里曼。目视振动测定法：从视频中的小运 动 估 计 材 料 特 性 。 IEEE Transactions on PatternAnalysis and Machine Intelligence （ TPAMI ） ， 39（4）：732-745，2017。1[5] 杜兰神父和茱莉·多尔斯。用于显示高动态范围图像的快速双边滤波ACM Transactions on Graphics（TOG），21（3）：257-266，2002年7月。8[6] MohamedA. Elgharib，MohamedHefeeda，Fre' doDurand和William T.弗里曼。存在大运动时的视频放大在IEEE计算机视觉和模式识别会议（CVPR），第4119-4127页，2015年。第1、3条[7] David J Fleet和Allan D Jepson从局部相位信息计算分量像速度。国际计算机视觉杂志（IJCV），5（1）：77第1、3条[8] 鲁图拉伊湾Gavaskar和Kunal N.乔杜里快速自适应双边滤 波 。 IEEE Transactions on Image Processing ， 28（2）：779-790，2019。8[9] Yinlin Hu，Rui Song，and Yunsong Li.用于大位移光流的有效的粗到细块匹配。在IEEE计算机视觉和模式识别会议中，第5704-5712页，2016年。4[10] Julian F.P. Kooij和Jan C.范·格默特。深度感知运动放大。在欧洲计算机视觉会议（ECCV），第467-482页，2016年。第1、3条[11] 托尼·林德伯格。具有自动尺度选择的特征检测。国际计算机视觉杂志（IJCV），30（2）：79-116，11月。1998. 二、四[12] 放 大 图 片 创 作 者 ： WilliamT. Freeman ， Fre' doDu-rand ， and Edward H. 阿 德 尔 森 动 作 放 大 。 ACMTransactions on Graphics （ TOG ） ， 24 （ 3 ） ： 519-526，2005。3[13] L.柳湖，加-地Lu，J. Luo，J. Zhang和X.尘增强欧拉视频放大。在国际图像和信号处理大会（ICISP），第50第1、3条[14] Simone Meyer、Oliver Wang、Henning Zimmer、MaxGrosse和Alexander Sork
我的内容管理
展开
