摘要：独立摄像机非重叠序列的时空对准

1独立摄像机非重叠序列的时空对准S. Morteza Safdarnejad密歇根州立大学EastLansing，MI，美国safdarne@egr.msu.edu美国密歇根州立大学东兰辛分校liuxm@cse.msu.edu摘要S2一本文讨论的问题的时空1多个视频序列的对齐。我们确定并解 决 这 个 问 题 的 一 个 新 的 场 景 称 为 非 重 叠 序 列（NOS）。NOS由多个自由摇摄的手持相机捕获，其视场（FOV）可能没有直接的空间重叠。随着移动传感器的普及，当多个cooper-（一）B时空测试重叠x总体无/极少空间重叠（b）第（1）款主动用户捕捉公共事件以创建全景视频，或者当将事件的多个片段合并成单个视频时。为了解决这种新的情况，我们首先通过重建每个序列的背景并配准这些背景来空间对齐序列，即使背景不重叠。给定空间对准，我们在时间上同步序列，使得移动对象的轨迹（例如，汽车或行人）在序列中是一致的。实验结果表明，我们的al-tax m在这种新颖的和具有挑战性的情况下，定量和定性的性能。1. 介绍多个视频的时空对齐[7-广泛的应用，例如，人类动作识别[25，29]、视频编辑[31]、无标记运动捕捉[14]、视频镶嵌、变化检测[8]和废弃对象检测[16]。以前的作品研究不同的方面和场景的时空对齐。有些作品的目标序列来自同一场景，但不同的观点[14，21]。有些可以处理在不同时间记录的序列，由独立的移动相机遵循类似的轨迹[9，11，31]。Caspi和Irani [7]的开创性工作研究了当两个固定相机在空间中共同我们的工作涵盖了一个新的未探索的方面的时空序列比对，为非重叠的se-time序列，图1.（a）两个移动的空间-时间FOV的顶视图摄像机捕获序列S1和S2;非重叠序列（NOS）甚至可能不覆盖时间进程上的公共空间区域(b)NOS的时空对齐导致在共同坐标和正确时移处显示序列（NOS）。目标NOS由自由且独立的摇摄相机从附近的视点捕获，具有有限的平移，特别是在光轴方向上。在NOS中，序列可能不具有任何具有空间重叠并且属于同一世界时刻的帧对。更有趣的是，随着时间的推移，序列甚至可能不覆盖同一场景的一些公共区域。换句话说，如果我们通过这些序列重建观察到的背景，则背景可以是不重叠的，即，图1（a），总体空间重叠不存在。鉴于智能手机和可穿戴摄像头的普及，NOS越来越普遍。 当业余用户不同步地拍摄一个事件的视频时，将这些视频对齐会产生一个单一的综合视频，具有更大的空间和时间跨度（图1）。（b）款。这个合成视频本质上是一个全景视频，由智能手机拍摄，而不需要将相机彼此固定或使用三脚架。此外，当许多目击者在犯罪行为或违法行为期间捕获视频时，每个序列可以覆盖故事的一部分。将这些视频对齐到统一的大规模3D体积中可以更好地掌握全貌。现有的时空对齐算法在NOS的情况下失败，因为即使存在一些总体的3808S1f = 540S2f = 571时间重叠S3809空间重叠、明显重叠的帧的空间对准，例如，图中的帧a和b1（a），显然违反了时间对齐。然而，通过分解任务，yzy'z'首先是空间对齐，然后是基于时间对齐对现场动态，问题可以得到解决。 一般来说（一）XX(b)（c）第（1）款X'（d）其他事项我们提出的算法假设NOS满足以下条件两个假设。1)尽管序列不具有在相同世界时间戳处共享共同场景的对应帧，并且不具有如图1B中的总体重叠。1（a），它们从相似的视角覆盖场景的附近部分。2)场景中存在从一个摄像机的视场（FOV）移动到其他摄像机的FOV的请注意，在全景成像中，如果相机具有节点相机运动，则获得最佳结果，否则应使用视差容忍方法来隐藏视差中的伪影[15，32]。类似地，我们提出的算法在相机基线较小的情况下创建最佳结果，尽管由于非重叠视频，较大的基线以较小的视觉退化进行处理。我们的算法利用全局运动补偿映射到一个摄像机运动去除视频的每帧和重建每个序列的背景，独立。利用这两个假设，这些潜在的非重叠背景经由外观线索以及离开相机的FOV的移动对象将出现在另一相机的FOV中的预测来对准。前一种映射和后一种背景比对的集合可以将每个序列的每个帧相对于来自其他序列的帧进行空间给定空间对准和假设2，我们预测何时离开一个相机的FOV的移动对象将出现在另一个相机的FOV中。我们用数学公式表示这种预测，并估计时间对齐。总之，本文做出了这些贡献：提出了一种新的时空序列对齐方案提出了一种基于非重叠重建背景对齐和目标运动一致性的NOS空间对齐算法⑶利用具有平滑路径的运动物体的轨迹作为NOS时间对齐的线索。2. 以前的工作序列的时空对齐中的现有工作大多在它们的假设和场景方面不同，例如，摄像机运动（静态、共同运动或移动）、摄像机视点（相似或不同）、序列中重叠的程度以及摄像机运动路径的相似程度。[12]的工作提出了这些假设的一个很好的分类，其中之一是，为了对齐由自由移动的相机捕获的同一事件的序列，假设场景外观是我们通过处理非重叠序列来解除这种限制，尽管我们图2.序列的时空对准中的各种场景：（a）共同移动的摄像机，（b）在不同时间沿着类似轨迹独立移动的摄像机，（c）具有不同视点的固定摄像机，（d）所提出的具有非重叠序列的独立摇摄摄像机。假设相机在光轴方向上的移动可以忽略不计。我们现在回顾一下先前工作中的关键场景。当两个紧密相连的摄像机在空间中共同移动时，共同移动的摄像机Caspi和Irani会对齐空间上不重叠的序列（图1）。[2（a）]。由于摄像机共享相同的投影中心，它们的关系被建模为固定的单应性H。Esquivel等人[10]放松投影中心假设，并从非重叠视图校准多相机装备，假设同步序列最近，一些作品从多相机装备的同步序列生成全景视频[15，22]。考虑到摄像机相对于彼此固定相比之下，我们专注于从独立平移相机创建非同步序列的视频序列，去除联合相机和重叠序列的要求。遵循相似轨迹的相机[9，11，12，31]的作者通过遵循相似轨迹的独立移动相机来对齐在不同时间记录的序列（图11）。第2段（b）分段）。 假设一个序列完全包含在在另一个中，在[9]中，对准被公式化为针对时间和空间对准参数交替求解的能量最小化，并且在四组真实视频上进行评估。在[31]中，提出了一种用于视频编辑的非线性时间视频对准的交互式方法所有这些方法都需要连贯的场景出现，并且不能处理来自FOV中没有重叠的移动相机的序列-NOS的目标场景。不同视角的固定摄像机Padua等人[21日]来自同一场景但不同视图的目标序列点（Fig.第2段（c）分段）。固定摄像机允许估计摄像机的对极几何形状保持固定。运动轨迹被用作空间和时间对齐的线索。实验结果提供了五个序列。对于每个序列，基于手头的应用选择最佳跟踪器。时间同步假设已知的3D对象位置和校准的固定摄像机，[6]同步这些摄像机的非重叠序列气体-Par等人[13]同步来自独立移动的摄像机的序列，假设两个序列中的两个刚性移动对象的已知内部参数和可见性不3810我空间对齐时间对齐绘制对齐序列（b）第（1）款（d）其他事项（f）第（1）款∆t1帧序列坐标（一）（c）第（1）款P2框架坐标（e）f = 920f = 1003P1不关键点的轨迹B1：为S1 B2：为S2X世界坐标S2坐标S1图3.我们的时空对齐算法流程图。首先，通过对每个序列进行背景重建（a）并对准背景（b）来执行空间对准。其次，给定空间对准参数，将关键点轨迹（c）映射到世界坐标，并且找到在移动对象轨迹的连续性方面的最佳时间对准（d）。最后，时空对准参数用于在世界坐标系中并且在正确的时间偏移（e）处显示序列Lu和Mandal [19]将视频时间对准建模为时空离散轨迹对准问题。移动物体也是照片排序的主要线索[4]，而静态物体则有助于找到照片之间的关系。我们的方法还依赖于至少一个移动对象的存在时间同步。事实上，在FOV之间没有空间重叠的情况下，任何时间对准算法都必须跟踪移动物体或自运动[12]。我们的优势在于，我们可以使用NOS，其中相同的移动对象在所有序列中不可见，而不依赖于相机校准或已知的移动对象位置。3. 该方法我们讨论了建议的NOS的时空对齐的假设在第二节。1.一、不需要内部和外部相机参数。此外，相机可以在不同的时间开始捕获，即，以可能不同的帧速率不同步地进行，并且自由地和独立地进行摇摄。然而，最好的结果是通过小的相机基线和相机的有限平移来实现的，特别是在光轴方向上，因为我们依赖于全局运动补偿和尺度的大变化，在其渲染阶段降低了所得视频。所提出的算法有两个阶段，（1）空间对齐（图。3（b）），这依赖于重建的背景的外观和一致性的运动对 象 的 序 列 ， （ 2 ） 时 间 对 齐 （ 图 3 （ b ） ） 。 3（d）），其使用对象的连续性来同步视频。如图所示。3、帧坐标是指输入视频中的像素坐标，序列坐标是指一个视频的重建背景的全局坐标，世界坐标是指全局坐标最终对齐的视频被渲染的所有输入视频我们用普通字母表示帧坐标中的坐标和时间戳，用在符号上，例如， 在世界坐标系中，x为0，而在世界坐标系中，x为2， x~。 相应地，从框架到序列坐标的变换在符号上具有重复性，并且从序列到世界坐标的变换具有双重重复性。我们使用上标表示序列号，下标表示帧号或轨迹号。例如，在一个示例中，h*s是帧i在se中的变换序列s从帧坐标到序列坐标。3.1. 空间对准我们将空间对齐分解为两个阶段。首先，对于每个序列，我们通过全局运动补偿（GMC）将所有帧映射到序列坐标，这也会产生重建的背景马赛克（图2）。3（a））。成功的GMC的一个关键假设是相机在光轴方向上具有小的运动。其次，对重建的背景进行图像对齐，并将其映射到世界坐标（图1）。第3（b）段）。然而，如果背景不重叠，则不能使用公共图像对准因此，在第二节中提出了一种新的对准方案。第3.1.2条。3.1.1全局运动补偿GMC在序列中删除有意或不需要的摄像机运动，创建具有静态背景的视频[26，27]。本质上，GMC估计到序列坐标的每帧变换。我们利用TRGMC算法[26]，该算法处理动态场景并通过联合对齐输入帧来估计变换。TRGMC检测每个帧中的SURF [5]关键点，并匹配关键点以密集地互连所有帧，而不管3811我我我我我我我我我我我我我我我我I1我时间偏移。这些连接称为链路。然后，对每个框架及其链接应用适当的变换，使得每个链接的端点的空间坐标尽可能相似。使用TRGMC独立地为每个序列s，我们估计映射H用于将帧i映射到序列坐标。TRGMC将问题定义为帧堆栈中密集连接的关键点 为了方便读者，我们简要介绍了该算法。给定索引为i ∈ K ={k1，.， k N}，TRGMC被公式化为优化问题，Σ：外推背景背景物体轨迹（、（、）物体轨迹）yX图4.使用背景外推法和物体轨迹的平滑度对非重叠序列进行空间对齐。mins=[ei（hs）]Ωs[ei（hs）]，（1）{hs}i∈K我我我序列s的序列坐标，表示为（x= 1，y= 1，1），以及其中h_s是8维同形异义变换i是所有序列的世界坐标，表示为（x= 1，y= 1，1），从序列s的帧i到序列坐标，ei（h）收集帧i关系中的错误信息。对所有其他帧有效，Ωs是权重矩阵。以来x=hsx，y，1x，y，y=hshsx，y，y.（四）我TRGMC使用单应性变换，与节点相机运动。在摄像机平移的情况下，TRGMC仍然通过匹配主要背景来工作，尽管结果可能会随着视差而降级。帧i相对于所有其它帧的对准误差是连接到帧i的链路的开始和结束坐标之间的平方差之和（SSD），对于第k个链路分别表示为（xi，k，yi，k）和（ui，k，vi，k）。我也是。所以，误差ei（hs）是，ei（hs）=[xi（hs），yi（hs）]，（2）因此，变换hshs进行空间对齐对于序列s中的帧i。考虑到h的单应性变换，随着相机3.1.2非重叠序列在自由摇摄相机的情况下，很可能序列的背景没有重叠，或者总体重叠太小而不能可靠地估计空间对准。一其中，xi（hs）=w（x）−ui和y（hs）=w（y）−vi潜在的解决方案是外推背景图像，我我是x和y−ax es的误差向量w（x）和w（y）[23]《明史》：“以文为文，以文为文。然而，我们的前-我表示（x）的x和y实验表明，这是不可靠的。第一，外推参数h表示相对于i的值。i，k，yi，k）扭曲引入了许多伪像[3]或模糊区域[1，23]，从而导致差的关键点匹配。第二，外推方程1通过采用泰勒展开式求解围绕hs并找到最小化的增量Δhs水平方向，有助于在垂直方向对齐这是正确的，但留下了大量的模糊性，在水平对齐。argmin[e（hs） +ei（hi）hs]s[e（hs） +ei（hi）hs]第三，严格的欧几里得变换，如[23]中，不我我阿赫什阿赫什我我我我阿赫什表面进行适当的背景对齐。+γhsIhs，（3）另一方面，物体是如何在空间中移动的，我的天我我空间世界坐标中的序列，无论其中ΔhiIΔhi是正则化项。指示器时间同步提供了空间对齐提示，矩阵I是一个对角矩阵，它指定了Δh的哪些元素需要约束。 通过将一阶deriv设置为等式ive， 3到0，得到了Δh_s的封闭解。 在足够多的迭代之后估计h ε s。重叠背景的空间对齐给定所有输入视频的h值，我们按照[26]进行重建。为它们构造背景如果在背景之间存在足够的重叠，则可以使用常见的图像对准算法。具体而言，我们通过向量场一致性算法[20]匹配背景图像上的SURF关键点，估计将序列s的背景映射到世界坐标的变换h？ s总之，在序列s的帧i中具有齐次坐标（x，y，1）的点被映射到3812我（图4）在精确的空间对准中存在模糊性，然而，随着更多的对象跨序列并且在更多样化的方向上移动，模糊性降低。为此，我们提出了一个空间对齐算法的NOS，结合上述两个想法。我们首先外推所有序列的背景图像。然后，我们执行运动跟踪以获得每个序列中所有关键点通过改变传统的使用h*s和过滤将投影映射到序列坐标除了静态轨迹，我们收集移动物体的轨迹。我们通过在序列中匹配移动对象的轨迹来创建运动轨迹最后，我们递增地更新应用于背景图像的变换以增加世界坐标中的运动轨迹平滑度3813JJJJ我JJK布吕普KΣWHj j j jj同时保持重叠区域中外推背景从本质上讲，而不是只依赖于外推的外观，这是模糊和不可靠的，我们的方法的基础上的外推，对象的运动提供了整个FOV的序列。运动跟踪我们 执行 跟踪 以连续帧来形成轨迹。我们更喜欢基于关键点跟踪有两个原因。1)基于对象的跟踪需要在每帧上检测通用对象，这可能容易出错且效率低下。2)我们的实验以及[17]中的分析表明，基于光学光流的跟踪（例如密集轨迹[30]）会导致运动边界周围的虚假运动我们使用SURF [5]关键点检测和描述。去发现新出现的-或具有非平滑运动路径的对象秒 3.2.2提出了一种去除非平滑轨迹的方法。为了简单起见，我们讨论2个序列的比对，因为更多的序列可以以相同的方式顺序地比对。 设h_（？）1=I3×3，h_（？）2用p表示，避免了方程组的混乱. Gi ven由i索引的N个序列1中轨迹的e延伸上的边，在x−y中坐标系对于图像外推，我们使用PatchMatch al-租m [3]。然后，我们制定优化问题（图。 4）、在对象上，我们开始跟踪帧i上的所有关键点。21Σ2Σ⊺没有来自帧i-1的对应匹配。将序列s中的第j个轨迹表示为Ps=minp时间复杂度O（p）B（W（x<$;p））−B（x<$）+βei（p）ei（p），我[xs，ys，tts]，其中xs和ys是帧坐标，并且ts是时间戳。 为了以不同的帧速率处理序列，帧应该是绝对时间单位，例如毫秒，而不是帧号。然后，我们通过h_s计算序列坐标中的轨迹P_s。在这个坐标中，trajec-移动和静止关键点的存储很容易区分，因为静态对象的序列坐标随时间保持不变（图1）。 3（d），粗体与虚线）。将轨迹长度表示为ls，序列的宽度和高度表示为ws和hs，如果，（六）其中W （x∈;p）通过变换p将x∈到世界坐标， ei（p）表示序列2的轨迹i距离序列1中匹配轨迹的空间 延 伸 有 多 远 。 第 一 个 在 Eqn 。 6 类 似 于 Lucas-Kanade 算 法 [2] ， 只 在 重 叠 区 操 作 。 为 了 定 义 ei（p），我们拟合一条线，这比我们实验中的多项式拟合效果更好，到第i个trans-i。在序列1中（在序列坐标中），由f i（x）表示。 向量ei（p）收集序列2中第i个轨迹上的每个点之间的y-距离，在扭曲p之后，和拟合线，ls−1。1|x˜s— xs||y˜s— y~s|Σe（p）=[w（年）-f（w）（x））]、（7）j，k j，k+1+j，kj，k+1<τ1，（5）我我我ss sjk=1哪里（x）wi=[Wx（xi，2，yi，2;p）]，（年）wi=其中τ是总位移的阈值，[Wy（xi，2，yi，2;p）]是1s s是序列2中到世界坐标的第i条tracked对象，dxj，k和yj，k表示kth元素在向量x和y中，关于ively。最优化问题的解决，采取泰勒j j围绕p展开，并通过以下方式找到增量Δp创建运动轨迹我们描述了每一个移动的物体21Σ2具有两个SURF描述符的序列s的喷射轨迹j一个用于开始轨迹的关键点（Ss），argminΔ p时间复杂度O（p）B（W（x<$;p））+SBΔp−B（x<$）sjΣ Σ Σ对于结束它的关键点（Ej）。 把两个不同的-序列s1和s2中的序列j和k，经典关键点匹配算法[18]用于匹配所有4个组合，关键点的选择，即，（Ss1，Ss2），（Es1，Es2），（Ss1，Es2）+βei（p） +JeΔp<$ei（p）+JeΔp+αΔp<$IΔp，我（八）s1s 2jkjkjkW和（Ej，Sk），并且最小距离决定匹配。这可以实现对视点变化的更强鲁棒性，因为轨迹的附近关键点（在世界坐标中）将是轨迹匹配中的决定性因素。我们把每一组匹配的轨迹称为轨迹，”””注意到的是，Dallas。 为了简化标记，我们假设轨道内的轨迹已经被重新索引，使得k={P∈s;s∈[1，S]}。对于某些序列，P可能其中，SB=B2p是最陡的正像，Je=Δp<$IΔp是一个正则化项，它惩罚由I和一个正常数α控制的Δp的某些特殊变化。通过设置I =diag（[0，0，1，0，0，1，0，0]），我们惩罚Δp的平移元素上的大变化，使得帧首先通过扭曲它们来对齐，而不是翻译他们。根据我们的实验，这导致更稳定的结果。Eqn的解8是，是空的，即，这一序列中没有任何轨迹.ΣHp=H−1ΣS1ΣΣΣ2˜⊺LΣΣ3814这条路是曲折的。注意，由于噪声轨迹，不应匹配所有移动对象时间复杂度O（p）BB（x）−B（W（x;p））−β我Jeei（p），（九）3815P33~M33P1~3P32~M2P1~ 2P3~~~~1P11K˜S SB+ βe.1KK.NSSsx中国1+中国1k2❒t˜2(m)tk+阿斯克河X=，T（。（十一）k.克。xS（m）斯考特S.+TS图5.轨迹，轨迹，以及三个视频中轨迹的拟合时空曲线。我们将拟合到第k个轨道的第k个多项式曲线的系数表示为ck=[c q];q∈ {0，.，m}。我们计算器可以通过求解线性系统来估计系数其中H=⊺时间复杂度O（p）iJJe+αI。argminck T- 是的 由于所有轨道共享我们通过设置序列侧来与两种可能的布局并排（在空间上），并使用具有较低最终成本的布局的对准结果。相同的Δt，我们可以有效地联合求解所有轨迹c，Δt=argminT（Δt）−Xc，（12）c，Δ t3.2. 时间对准假设NOS具有移动对象，否则其中⎡ ˜⎤⎡ ⎤X10···0⎢⎥T（t）阿利什卡时间对准既不必要也不可能。⎢˜⎥ ⎢1⎥1100X2···0mmT2012年2月给定移动对象和空间对齐结果，⎥˜⎢2⎥ ⎢ ⎥X= X。... t，T（t） =t。c=0。 。NOS的时间对齐相当于估计何时对象移动后，将出现在另一个摄影机的FOV。.。.⎣.. ⎥. ⎥⎦˜。 ⎥。 ⎦T（t）。 ⎦CK在当前的FOV之外如果两个摄像头都观察到物体00···X KK（十三）与此同时，问题更容易解决。为此为了达到这个目的，我们创建了运动轨迹，如第二节所述。第3.1条然后，我们估计序列之间的时间偏移，使得来自相同对象的轨迹遵循一致性，x−t和y−t坐标中的连续路径，即， 运动轨迹平滑。由于不是所有的轨迹都是由于移动的对象，我们过滤运动轨迹与非平滑路径，在匹配轨迹之前。其中，X是NK×K（m+1）矩阵，其中NK=ksl k是所有K个轨道中的关键点的计数。我们交替估计c和Δt，直到Δt的变化可以忽略不计。我们先用固定的Δt估计c。由于N KK（m +1），该线性系统对于c是过约束的。我们通过三角-三角分解来求解c，在数值上比X的伪逆更精确。然后，对于给定的c，我们将Δts设置为残差根据属于序列S的轨迹中的关键点，3.2.1时间偏移给定轨迹的集合，目标是通过适当地移动贡献轨迹的时 间 坐 标 来 使 每 个 轨 迹 成 为 平 滑 曲 线 （ 图 1 ） 。（五）。对于S序列，x∈−构成第k个轨迹是向量[x<$1，x<$2，.， [xS] y−coordinateofeachΔt=−1（T−Xc）I，（14）S其中Is是二进制指示符向量，如果T中的相应行来自序列s中的轨迹，则元素等于1，并且Ns=Is1是这样的行的计数k k k轨道的定义类似。我们假设，在时间上将每个序列s移位Δts，序列是时间对齐的。为了估计Δt s，我们将m阶的多项式曲线拟合到时间戳与每个轨道的x和y−坐标之间，并估计时间偏移，以达到最小的曲线拟合误差。在这里，我们只讨论t−xcur v e，t−ycur v e是相似的。我们表示序列s的轨迹坐标，多项式时空曲线的所有幂项为3.2.2运动轨迹滤波如前所述，并非所有轨迹都是由具有平滑路径的对象运动换句话说，一些轨迹可能是由于相机移动时关键点位置中的噪声。因此，在匹配序列之间的轨迹并将其收集到轨迹之前，我们通过将m阶多项式拟合到轨迹来过滤无法用平滑路径很好地近似cs=argmints−xs（m）cs2，P3拟合曲线~2M2至M1不XP1~2μ t 2~3M3P3~1P~13P3和P1P1~1.3816K（15）（m）ss第二章斯米k kkkCsxk=[1k，xk，[xk]，· · ·，[xk]]、（10）K以及对总拟合残差进行阈值化以去除非其中，Is是所有1的ls-dim向量，并且[. ]m表示平滑的轨迹，即，1ǁ˜ts−x˜s(m)cs∗ǁ<τ.k klskk k1 2一种元素级的幂运算。对于轨道k，所有多项式空间-时间曲线的所需项是col，K4. 实验结果在矩阵X中选择Σ身型限重ls×（m+1），所有的ksk向量Tk（Δt）中的时间戳，sls，在本节中，我们介绍了实验装置，数量和质量的结果。 注意由于3817序列IDR1R2R3R4R5R6R7R8R9R10S1S2S3S4S5摄像机基线（米）1311111151000000时间误差（秒）0的情况。130的情况。070的情况。070的情况。130的情况。070的情况。070的情况。100的情况。030的情况。070的情况。0700的情况。030的情况。070的情况。030的情况。07空间误差（像素）----------23722表1.时间和空间对齐误差，分别以秒和像素为单位，用于真实（R）和合成（S）序列。序列的前两组包括具有一些总体空间重叠的序列，而其余的序列没有/具有最小的空间重叠。对于每个集合，在由所提出的算法估计的时移处示出具有移动对象的两个或三个此外，在时空变换对齐显示。运动物体的轨迹在x-方向上有相当大的范围，而静止物体的轨迹大致平行于t-轴。最后，两个输入帧被扭曲到世界坐标，合成一个图像。虽然输入帧可能没有直接重叠，但可以感知场景的连续性以及移动对象的相对位置，证明所提出的算法和应用场景的能力。请注意，在所有测试序列中，相机自由且独立地移动，如图6.非重叠序列的空间比对。从上到下：具有可忽略的重叠的两个序列的重建背景、外推背景和具有覆盖在背景上的移动对象的轨迹的对齐背景。NOS是一种新的时空序列比对方法，目前还没有相关的研究成果。对于时间曲线拟合步骤，我们设置β=100，α=103，m= 3，τ1=0。03和τ2=0。15个用于弹道过滤。数据集考虑到在这个新场景中没有公共数据集，我们收集了一个NOS数据集，其中包括10个真实世界的数据集。序列集和五个合成序列集。真实的场景是由两个或三个人使用手持智能手机拍摄的，相机之间的距离，即。基线，如表1所示。合成集合提供了其地面实况结果是确切已知的序列，并且通过获取序列并从3D序列体积中裁剪出两个时空管来创建。这模拟了具有几乎相同的光学中心的独立摇摄相机的情况。为了模拟自由平移的相机和手抖动，用于每帧的每个管具有640×360像素的固定大小，但区域位置具有附加的零均值高斯，sian噪音。此外，如果原始视频是静止的，则区域在x-方向上移动以创建类似平移的效果。该数据集可在http://cvlab.cse.msu.edu/project-sequence-sequence.html上获得。定性结果图6显示了重建的背景以及图像外推结果。此外，它示出了如何变换的背景，使移动对象的轨迹具有平滑的路径。图7显示了五组真实的坐标系中的轨迹。 对于图7中的“R7”的情况，序列是不重叠的，但是仅跟踪跨FOV移动的个体。因此，如该图所示，空间对准具有一些误差，这因此影响时间对准的精度。图8表示合成集合，其中从车祸的视频创建两个在时空对准之后的两个裁剪的帧在合成图像中示出，并且为了比较，还示出了来自原始视频的对应帧，从而证明时空对准的准确性。定量结果为了定量评估所提出的算法，我们比较了地面实况的对准误差。对于合成集的情况，从中裁剪合成序列的原始视频提供了裁剪帧的中心点的地面实况位置。我们测量每个对齐帧的空间位置误差w.r.t.地面实况定位和重新定位在x和y方向上的端口绝对误差之和，在序列长度之和上平均，作为spa。初始对准误差此外，由于我们创建了合成序列，因此地面真实时移是已知的。对于实数集，当输入帧没有重叠时，量化空间误差是不可行的。对于时间对齐的量化，我们通过依赖于视觉线索（例如身体姿势、相对于背景地标的移动对象位置以及合成图像中移动对象的外观的一致性）来手动对齐序列。表1提供了量化的时间和空间误差。如可以观察到的，即使当相机基线距离增加时，时间对准也工作良好，尽管最终合并的结果可能受到视差的影响。3818ID4003503002502001501005000200400600800图7.每行示出了关于一组真实NOS的时空对准结果。对于每个序列，示出了在估计的时移处的输入帧和世界坐标中的移动对象的轨迹。将输入帧转换到世界坐标以生成合成图像。图8.事故录像（S1）中两个合成NOS的结果。从左到右：移动对象的轨迹、对齐的输入帧、合成帧被裁剪的原始帧。计算成本所提出的算法的主要计算成本来自TRGMC。平均而言，对于15秒长的视频，我们花费450秒进行TRGMC 和 背 景 重 建 ， 使 用 配 备 Inteli5-3470@3.2GHzCPU和8 GB RAM的PC空间比对与序列长度无关，NOS平均耗时162秒最后，时间对齐在数据集上平均花费约13限制该算法是第一步，在挑战性场景中生成全景视频的NOS。虽然这项工作放松了许多常见的假设，一些假设的违反，特别是存在的移动对象的轨迹，跨越多个相机的FOV，导致对齐失败。此外，当依赖于非刚性或铰接的移动对象进行对齐时，由于外观的变化，许多关键点没有被而且，在这种情况下，不同序列之间的匹配轨迹不太可靠。由于我们的算法是独立的跟踪器的类型，其他跟踪算法可以在未来的研究。最后，非重叠背景图像的对齐遭受模糊性并且容易出错，尽管所提出的算法利用可用的线索来执行该任务。5. 结论我们提出了一种时空序列对齐算法这种新的视频对准场景在从多个业余捕获的序列重建事件、事故或犯罪现场，或者通过手持相机从合作用户创建全景视频中是有用的。我们的算法的空间对齐依赖于为每个序列重建背景并对齐背景。当背景不重叠时，空间对准利用来自运动物体路径的平滑性和图像外推后背景的相干外观的线索。运动物体轨迹的平滑度也被用作时间对准的线索。我们的实验证明了所提出的方法的能力，尽管具有挑战性的情况下，NOS。鸣谢这项工作得到了TechSmith Corporation的部分支持。不ID帧 对齐帧中的输入轨迹#框架世界坐标R3130175R4187248204R7177167R85883R10390366X3819引用[1] A. Aides，T.Avraham和Y.Y. 谢克纳多尺度超宽中心凹视频外推。在计算照相术（ICCP），2011 IEEE国际会议上，第1-8页。IEEE，2011年。4[2] S. 贝克和我马修斯卢卡斯-卡纳德20年：统一框架。国际计算机视觉杂志，56（3）：221-255，2004。5[3] C. Barnes，E. Shechtman，D. B. Goldman和A.芬克尔-斯坦。广义补丁匹配对应算法。欧洲计算机视觉会议，第29-43页。施普林格，2010年。四、五[4] T. Basha，Y.Moses和S.阿维丹照片测序。在欧洲计算机视觉会议，第654Springer，2012. 3[5] H. Bay，T. Tuytelaars和L.范古尔SURF：加速了强大的功能。在Proc. European Conf.计算机视觉（ECCV），第404-417页。Springer，2006年。三、五[6] D. N. Brito，F. L. 帕杜阿河L. Carceroni和G. A. 佩雷拉.同步摄像机与非重叠视野。 在二十一巴西Symp。 计算机图形和图像处理，第37-44页。IEEE，2008年。2[7] Y. Caspi和M.伊拉尼比对非重叠序列。Int. J. ComputerVision，48（1）：39-51，2002。一、二[8] F. 去吧，迪。Ponsa，J. Serrat和A. M. 洛佩兹。用于变化检测的视频对齐。IEEE Trans. Image Proc. ，20（7）：1858-1869，2011. 1[9] F. 去吧，杰。Serrat和A. M. 洛佩兹。序列的联合时空 IEEE Trans. Multimedia ， 15 （ 6 ） ： 1377-1387 ，2013。一、二[10] S. Esquivel，F. Woelk和R.科赫从非重叠视图校准多相机装备在模式识别中，第82-91页Springer，2007. 2[11] G. D. Evangelaide和C.巴克哈格非同步视频序列的高效和鲁棒对齐。模式识别，第286-295页。Springer，2011.一、二[12] G. D. Evangelaide和C.巴克哈格使用短描述符的高效子帧视频对齐。IEEE Trans. Pattern Anal.马赫内特尔，35（10）：2371-2386，2013. 二、三[13] T. Gaspar，P.Oliveira和P.法瓦罗两个独立移动的摄像机的 同 步 ， 在 Proc. European Conf. 计 算 机 视 觉（ECCV），第189-204页。Springer，2014. 2[14] N.哈斯勒湾Rosenhahn，T. Thormahlen，M. Wand，J.Gall和H.- P. Seidel无标记运动捕捉与非同步移动摄像机。 在计算机视觉和模式识别，2009年。CVPR 2009。IEEE会议，第224-231页。IEEE，2009年。1[15] W. Jiang和J.顾具有时空内容保持变形的视频拼接。在IEEE计算机视觉和模式识别研讨会会议论文集，第42-48页，2015年。2[16] H.孔智贤Y. Audibert和J.庞塞用移动的摄像机探测废弃物 IEEE Trans. 图像处理。，19（8）：2201-2210，2010. 1[17] C. Liu，W. T. Freeman和E. H.阿德尔森轮廓运动分析神经信息处理系统进展，第913-920页，2006年5[18] D. G.洛从尺度不变的关键点中提取独特的图像特征。Int. J. Computer Vision，60（2）：91-110，2004。5[19] C. Lu和M.曼达尔一种基于运动的视频序列时间对齐的鲁棒技术。IEEE Trans. Multime-dia，15（1）：70-82，2013. 3[20] J. Ma，J.Zhao，J.Tian，中国黑杨A.L. Yuille和Z.涂。通过向量场一致性进行鲁棒点匹配 IEEE Trans. 图像处理，23（4）：1706-1721，2014. 4[21] F. L. 帕杜阿河L. Carceroni，G. A. Santos和K. N. Kutu-lakos。线性序列间比对。IEEE Trans.模式分析马赫内特尔，32（2）：304-320，2010. 一、二[22] F. Perazzi、A. Sorkine-Hornung，H.齐默，P.考夫曼，O. Wang，S. Watson和M.恶心来自非结构化相机阵列的全景视频。在计算机图形论坛，第34卷，第57-68页。Wiley Online Library，2015. 2[23] Y. Poleg和S.法勒非重叠图像的对齐和拼接。在计算摄影（ICCP），2012年IEEE国际会议上，第1-8页IEEE，2012。4[24] D. Pundik和Y.摩西.利用核线的时间信号 在proc 欧洲会议中计算机视觉（ECCV），第15-28页。施普林格，2010年。1[25] C. Rao，A. Yilmaz和M. Shah.动作的视点不变表示和识别。Int. J. ComputerVision，50（2）：203-226，2002。1[26] S. M. Safdarnejad，Y.Apriori和X.刘某基于关键点的时间在Proc. European Conf.计算机视觉（ECCV），第101-119页。施普林格，2016年。三、四[27] S. M. Safdarnejad，X. Liu和L.乌德帕鲁棒的全局运动补偿存在的主要前景。在Proc. British Machine Vision Conf.（BMVC），2015. 3[28] J. Serrat ，F. 去吧，弗。Lamburras 和J. M. A'l v arez.来自自由移动摄像机的视频序列的同步。模式识别和图像分析，第620Springer，2007. 1[29] Y. Ukrainitz和M.伊拉尼通过最大化时空相关性来调整序列和动作。Springer，2006年。1[30] H. Wang、黄毛菊A. Kl aéser，C. Schmid和C.- L. 刘某密集轨迹的动作识别正在进行IEEE会议计算机视觉和模式识别（CVPR），第3169-3176页。IEEE，2011年。5[31] O. 小王， C. 施罗德， H. 齐默 M. Gross和A.索金-霍恩视频拍摄：多个视频的交互式同步。 ACMTrans. on Graphics（TOG），33（4）：77，2014。一、二[32] F. Zhang和F.刘某视差容忍图像拼接。在IEEE计算机视觉和模式识别会议论文集，第3262-3269页，2014年。2