1非同步摄像机的双视几何Cenek Albl1 Zuzana Kukelova1 Andrew Fitzgiant2 Jan Heller3 Matej Smid1 Tomas Pajdla11布拉格捷克技术大学布拉格Czechia{alblcene，kukelova}@cmp.felk.cvut.czsmidm@cmp.felk.cvut.cz，pajdla@cvut.cz2HoloLens，微软剑桥英国awf@microsoft.com3Magik Eye Inc.美国纽约jan@magik-eye.com摘要我们提出了新的方法，同时估计相机的几何形状和时间偏移从视频序列从多个不同步相机。提出了一种同时计算基本矩阵或图像间时移未知的单应我们的方法使用最小的对应集（八个基本矩阵和四个半单应性），因此适用于使用RANSAC的鲁棒估计此外，我们提出了一个迭代算法，扩展了适用性的序列，显着不同步，找到正确的时间移位到几秒钟。我们评估的方法合成和广泛的现实世界的数据集，结果显示了广泛的适用性的问题的相机同步。1. 介绍许多计算机视觉应用，例如，人体建模[30，5]，人跟踪[8，36]，姿态估计[11]，机器人导航[1，12]和3D物体扫描[26]受益于使用多相机系统。在严格控制的实验室设置中，有可能使所有摄像机在时间上同步。然而，当摄像机可能在没有同步的情况下运行时，多摄像机系统的适用性可以大大扩大[15]。同步有时是不可能的，例如，在汽车工业中，但是即使可能，使用异步摄像机也可以产生其它好处，例如，降低带宽要求并提高事件检测和运动恢复的时间分辨率[6]。在本文中，我们（1）介绍实用的求解器，同时计算一个基本矩阵或图像序列之间的单应性和时移，以及（2）我们提出了一种快速迭代算法，该算法使用RANSAC [10]，在内部循环中使用我们的求解器来同步。图1. 两个摄像机在不同的时间捕捉一个运动点，两个摄像机的投影光线无处相交。记录大的时间偏移。我们的方法可以准确地校准大的时移，这在以前是不可能的。1.1. 相关工作许多视频和/或图像序列同步方法基于图像内容分析[23，2，35，4，3，7，22，24，32]，或通过音轨同步视频[29]，因此它们的适用性是有限的。其他方法采用压缩视频比特率配置文件[25]和静态相机闪光灯[28]。这些方法在时间变换模型方面有所不同通常，使用时移[23，32，35，3]或时移与可变帧速率[7，22，2]的组合。许多方法都有类似的基础。使用兴趣点检测器和关联规则或2D跟踪器在每个视频序列中检测一组射束在序列之间匹配。基于RANSAC的算法通常用于联合地或以迭代的方式估计时间和空间传输的参数4847X（t）X（ti+1）X（t′）的方式i+2X（t′）我X（ti+2）X（t′）的方式一期+1x（t）X（ti）x′（t）s′si+1s′i+2我Ss′一期+1i+2Ss′（β+ρi）我CC′F4848J0JJ′我我我我我Jmations [7，22，2].在[7]中，RANSAC用于在序列对中的所有轨迹必须提供对极几何形状方法[22]通过在RANSAC框架中拟合称为时间轴的单个N维线来实现N个序列的联合该算法[2]基于试探性轨迹匹配估计时间和空间变换。提出了使用穷举搜索来找到同态[32]以及基本矩阵或单应性[33]以及时间偏移的它们在可能的时间转换的整个空间中搜索。与我们最密切相关的两项工作是[21，20]，它们联合估计两视图几何以及近似图像点轨迹的时移。在[21]中，使用非线性最小二乘法估计极线几何或单应性以及时移，通过直线近似图像轨迹该算法由7pt算法[14]和零时移初始化。工作[20]通过估计帧速率的差异和使用样条而不是线来扩展这种方法。上述两项工作只有在给定良好的初始化时才能达到良好的结果，例如，在小于0的序列上。5秒的时间偏移，没有严重的匹配错误。1.2. 贡献在本文中，我们提出了两个新的贡献。首先，我们提出了一种新的方法，同时计算的两个视图相机的几何和时间偏移设置参数的最小点对应集。我们解决的基本矩阵或单应性连同时间偏移的图像序列。我们的方法只需要移动图像点的轨迹，这是很容易跟踪。与[21，20]不同，我们使用少量（最小）对应关系，因此当与RANSAC鲁棒估计相结合时，我们对离群值具有鲁棒性。其次，我们提出了一个迭代方案，使用最小的解算器，以有效地估计大的时间偏移。我们的方法是基于RANSAC循环运行我们的最小求解器。这种方法有效地在可能的时间偏移的空间中搜索，这比之前开发的exhaustive搜索方法[32，33]有效得多我们在广泛的场景中评估了我们的方法，并展示了其同步各种真实相机设置的能力，例如驾驶汽车，监视，RANSAC 迭 代 。 总 的 来 说 ， 我 们 的 方 法 比 利 用RANSAC的其他方法更有效[22]。通过解决两相机同步问题，我们还解决了多相机同步问题，因为多个相机的时间偏移可以成对确定，以作为基于光束法平差的全局迭代解的初始化点[34]。2. 问题公式化让我们考虑两个具有固定相对姿态的非同步相机[14]，通过观察动态场景来产生立体视频序列在视频序列中的对象的运动是无法区分的相机装备运动，因此，我们将提出的问题，静态相机和移动对象。2.1. 两个不同步摄像机在空间中沿光滑轨迹运动的三维点的坐标可以用函数X（t）= [X1（t），X2（t），X3（t），1]X，（1）其中t表示时间，参见图1。将X（t）投影到两个不同相机的图像平面中产生两个2D轨迹x（t）和x′（t）。现在，让这导致了一系列样本s= [u，v，1]n=x（t）=π（X（t）），i= 1，. . .，n.（二）在时刻ti=t0+ip的轨迹x（t）。类似地，假设采样频率f′（周期p′=1/f′），在时间t′=t′+jp′，第二相机产生样本序列s′= [u′ ， v′ ， 1]n= x′ （ t′ ） = π′ （ X （ t′ ） ） ， j =1，. . . ，n′. （ 三）j j j j j一般来说，在si和s′样本之间不存在对应关系，即对于i=j，si和s′不表示同一3D点的投影在视频流中存在两个主要的去噪声源。 第一个是不同的记录开始或相机快门独立触发，导致恒定的时间偏移。第二个来源是不同的帧速率或不精确的时钟，导致不同的时间尺度。假设这两个来源，我们对于帧i，可以使用N（i）：N→R将时间t映射到t′，兰斯相机，或体育比赛录音，没有其他的-t-t′我 0t+ip−t′t−t′p00比图像数据。我们证明了我们的求解器能够同步-（i）=′=p0 0p′=p′+′i=β+ρi，（4）p将几分之一秒的小时移以及数十秒的大时移进行计算。我们的迭代算法能够同步中等时移（即，数十帧），具有少于5次的RANSAC迭代和大的时间偏移（即，几十到几百帧）使用几十个其中β∈R是捕获时移，ρ∈R是时间缩放。注意， Σ（i）是整数到实数的线性映射，具有类似的逆映射Σ（j）。给定（4）中的模型和图像样本序列s′，j=1，. . .，n′，我们可以插值一条连续曲线v es（n），例如4849x′（t0+ip）s′′（β+ρi）vix（t）x′（t）我我我我我J]我使用样条，使得对应于si的2D点是s近似给定为is′（β0+ρi）=s′（i）=uiSIs←→s′（β + ρi）.（五）注意，插值图像曲线s′（ ·）不等于真实图像轨迹x′（·），但在某些条件下可以期望甚至虽然假定时移在几分之一秒内是已知的似乎是合理的，但实际上经常是这样的情况，即时间戳是基于CPU时钟的，CPU时钟与启动延迟一起可能导致时移β为图2. 拟议的轨迹线性化图示。（左）ρ= 1，β0和d= 1的情况（右）ρ= 1/2，β0= 0和d= 1的情况。注意，现在v依赖于i。 对于紧凑性，我们写u=s′（β+ρi）-βv，并且（8）变为以秒为单位另一方面，时间缩放i0 0iρ通常是已知的，或者可以精确计算2.2. 对极几何在任何给定时间t，两个摄像机的极线约束由以下等式确定：x′（t）<$Fx（t）= 0.（六）对于第一个相机中的样本si，我们可以使用第二个相机中的对应点x′（ti）将（6）重写为（u+βv）Fs= 0（11）在本文的其余部分，我们将假设f = f ′，初始估计β0=0。这种情况如图2（左）所示。然而，关键结果对于一般已知的ρ（图2（右））和β00成立。2.4. 单应使用相同的方法，我们可以写出两个不同步相机之间在syn-x′（t）<$Fs = 0，（7）在时间化的情况下，两个相机之间的单应性可以表示为Hs= λ s′。（十二）使用轨迹x′通过s′的近似，我们可以将近似核线约束表示为：s′（β+ρi）<$Fs=0.（8）原则上，我们可以求解未知数β、ρ和F给定9个对应si，s′。然而，这样的解决方案必然是迭代的，并且太慢而不能用作RANSAC内核。在下文中，使用另一个后续近似来将问题表示为系统[2018 - 12 - 18][2018 - 09 -18 ][2018 - 09][2018- 09 -18 ][2018 - 09]在第6节我我我对于两个不同步的摄像机，Hsi=λi（ui+ βvi）.（十三）3. 解方程3.1. 极几何的极小解对极几何形状和未知时移β的同时估计的最小解从对极约束（11）开始。基本矩阵我们展示了建立在这个内核上的迭代解决方案，它可以恢复高达数百帧的偏移。2.3.已知ρ时s′F= [f3iji，j=1是一个3×3奇异矩阵，即它满足det（F）= 0。（十四）让我们假设相对帧速率ρ是已知的。实际上，图像曲线s′是一个复杂的对象。为了得到我们的多项式解，我们用β0+ρi处的一阶泰勒多项式逼近s′s′ （ β+ρi ） <$s′ （ β0+ρi ） + （ β−β0 ） v=s′′（β+ρi）（9）其中v是切向量sstec′（β0+ρi），β0是初始时移估计。我们把这个近似值记为s′′。此外，我们选择v来近似接下来d个样本的切线。设j0=<$β0+ρi<$是近似离散对应，则x′（t0+ip）s′′（β+ρi）s′（β0+ρi）=s′（1/2i）=uix（t）x′（t）vi我4850我因此，解决此问题所需的样本si和s′的最小数量为8。对于两个相机中的一般位置中的八个样本，极线约束（11）可以重写为：Mw=0，（15）其中M是秩为8的8×15系数矩阵，w是单项式w=[f11，f12，f13，f21，f22，f23，f31，f32，f33，βf11，βf12，βf13，βf21，βf22，βf23]的向量。由于基本矩阵只是按比例给出的单项向量w可以使用矩阵M的7维零空间参数化为：v= s′−s′ .（十）w=n+αn，（16）j0+d j 00i=1我我4851其中αi，i= 1，. . .，6是新的未知数，且ni，i =矩阵[ui+ βvi]×.这导致矩阵方程0，. . . ，6是系数矩阵的零空间向量M.单项向量w的元素满足[ui +βvi]× HSI=0。（十九）βwj=wk，（17）其中，wj是单项向量w的jth元素，并且j∈ {1，. . . ，6}且k ∈ {10，. . . ，15}。在秩约束（14）中使用的参数化（16）而在二次约束（17）中，则得到一个相当复杂的系统，它由7个未知数α 1，α 2，α 3的7个多项式方程组成。. . ，α6，β. 因此，我们首先通过使用[19]中提出的消去理想方法从这些方程中消去未知的时移β来简化这些这导致在6个未知数α1，. . .、α6. 尽管这个系统包含的方程比原来的系统多，但它的结构却不那么复杂。我们解决这个系统使用自动生成-Gr？ bner基解算器[18]。由于问题有16个解，最终的Gr？bner基求解器执行194×210矩阵的Gauss-Jordan消去和16×16 请注意，通过sim-将[18]应用于7个未知数中的7个方程的原始系统，这是一个巨大的数值不稳定求解器，得到633 ×649矩阵方程（19）包含三个多项式方程，其中只有两个是线性无关的，因为反对称矩阵具有秩2。这意味着我们需要在两个图像中至少4.5（5）个样本来估计未知单应性H以及时移β。现在让我们使用对应于矩阵方程（19）的第一和第二行的方程。在这些等式中，β仅乘以未知单应性矩阵的第3由此导出了12个单项式w= [h11，h12，h13，h21，h22，h23，h31，h32，h33，β h31，β h32，β h33]的9个齐次方程，4.5 两个图像中的样本（即，对于第5个样本，我们仅使用三个方程（19）中的一个方程）。我们可以把这九个方程叠加成矩阵形式 其中M是一个9× 12的系数矩阵。假设M的满秩等于9，即，我们有非退化样本，零（M）的维数为3。这意味着单项向量w通常可以重写为矩阵M的三个零空间基向量ni的线性组合，如下所示：w=π3γn，（20）i=1我我3.2. 极线几何的广义本征值解使用非最小数量的九点对应，极线约束（11）可以重写为其中γi是新的未知数。在不损失一般性的情况下，我们可以设置γ3= 1来固定单应性的标度并减少未知数的数量对于5个或更多个样本，代替零空间向量，我们在（20）中使用对应于三个最小向量的三个右奇异向量（M1） +βM2）f=0，（18）M的奇异值单项向量w的元素不是独立的。其中M1和M2是9×9系数矩阵，f是包含基本矩阵F的9个元素的向量。公式（18）是一个广义特征值问题，lem（GEP），有效的数值算法是现成的。（18）的特征值给出了β的解和基本矩阵F的特征向量。对于这个问题，矩阵M2的秩只有6并且（18）的九个特征值中的三个总是零。因此，代替9× 9，我们只能求解6× 6 GEP。这种广义特征值解是更有效的然而，注意，GEP解决方案使用非最小数量的九点对应，并且所得的基本矩阵不一定满足det（F）= 0。3.3. 单应性估计的最小解单应性和未知时移β的同时估计的最小解从形式（13）的方程开始。首先，求解器从（13）中消除标量值λi这是通过将（13）乘以反对称悬 着 我 们 可 以 看 到 w10=β w7 ， w11=β w8 ， w12=βw9，其中wi是向量w的第i个元素。这三个约束与方程（20）的参数化一起形成三个二次方程的系统，其中三个未知数γ1、γ2和β以及仅6个单项式。该方程组结构简单，可直接用G-J消去法求解。通过对表示这些树多项式的3×6系数矩阵M1进行消元，然后计算由消元后的矩阵M1得到的3×3矩阵的特征值。这个问题的结果多达三个真正的解决方案。注意，估计单应性和β的问题也可以用公式表示为广义特征值问题，类似于估计对极几何的问题（3.2节）。然而，由于缺乏空间和事实，提出的最小的解决方案是非常有效的，我们不描述GEP单应性解决方案在这里。4. 使用RANSAC在本节中，我们想强调RANSAC在求解器中的作用。RANSAC通常用于4852i+β我我鲁棒性，因为最小解算器对噪声和离群值敏感。数据中的异常值通常来自两个来源。一个是失配和误检测，另一个是点轨迹的非线性。即使没有由于错误检测而导致的总离群值，也总会有关于模型的离群值，这些离群值位于10.80.60.40.20内围比40200-20估计偏移（帧）投影在插值区间上是不直的。 在那里-因 此 ， 即 使 我 们 确 信 对 应 关 系 是 精 确 的 ， 使 用RANSAC通常也是有益的。通过使用RANSAC，我们避开了轨迹的那些部分，并挑选出速度近似为直线和线性的部分。基本上，我们只需要对轨迹的8（F）或5（H）部分进行采样，即使轨迹的其余部分是高度非线性的，也可以在此假设成立的情况下获得良好的模型。5. 求解器在合成数据上的性能-50 050Ground Truth Shift（帧）内围比10.80.60.40.20-50 050Ground Truth Shift（帧）-50 0 50Ground Truth Shift（帧）估计偏移（帧）40200-20-50 0 50Ground Truth Shift（帧）首先，我们研究了使用所提出的F和H最小解算器估计时移β的性能。我们模拟了一个3D点在两个摄像头前的随机移动然后在每个摄像机中的不同时间对模拟的3D轨迹进行采样，差异为地面真实时间偏移βgt。图像噪声是从σ = 0的正态分布中添加的。5像素。 我们测试了具有各种插值距离d的最小解算器，并将其与标准的七点基本矩阵（7 pt-F）和四点单应性（4pt-H）解算器进行了比较[14]。每个算法都在每个βgt的100个随机生成的场景上进行了测试，导致了数万次实验。我们可以从结果中得出多个观察结果。主要的一点是，F和H求解器在估计βgt方面表现良好，即使对于最小插值距离d= 1也是如此。图3显示，使用d= 1、d=2、d= 4直到向前移动5帧，几乎所有内点都被正确分类。此外，即使内点比率开始随着较大移位而减小，仍正确地估计时移β，直到帧移位20。总的来说，对于给定的d，每个算法都能够估计至少高达d的正确β。这是一个很好的性质，表明对于较大的时移，我们应该能够通过增加d来估计它们。对于d= 8，d= 16，d= 32，情况相对于内点略有不同。请注意，内点的数量有两个峰值，一个在βgt= 0处，另图3. 不同时间相机之间的偏移β和几个不同的内插距离d。在1000x1000px图像中，一帧的时间距离约等于上面两个图是对极矩阵的结果，下面两个图是单应性的结果。不存在，因为我们永远不会击中对应的样本。此外，当在错误的方向上内插时，内点方面的性能降低，尽管仍然高于不对时移建模的算法。对于负βgt，β的估计在约-10帧处显著更快地恶化。我们将展示如何通过使用迭代算法在两个方向上搜索d来克服这种非线性6. 迭代算法正如我们在合成实验中所观察到的，最小解算器的性能将取决于与最优解的距离，即。初始估计值β0和真实时移βgt之间的距离，以及用于插值的样本的距离d。综合实验的结果（图3）提供了关于如何构建迭代算法以提高最小解算器的性能和适用性的有用提示特别是，有三个关键的意见需要考虑。首先，从RANSAC这似乎是一个合理的优化功能通常，它将具有两个强局部最大值，一个在ti=t′处，伊在βgt=d处。这是预期的，因为在βgt=d时，一个在（ti− ti）= d处。 在ti= ti时，序列是同步的。极化向量v通过样本s′GT 这nized和at（ti−t′）=d，图3，我们得到了正确的β。在时间上与si相对应。当βgt/= 0时，我们的解算器针对的是远高于标准F和H算法提供的内点数量的任何d另一件要注意的事情是结果的非线性显然，当β>0（向后）时，我们内插第d个（向前）样本，<这两种情况都给我们提供了同步序列。第二，即使计算出的β值与最优值相差甚远，尽管不精确，但它通常能很好地指示出ti=t′的方向。最后，可以观察到，当我们远离最优值时，增加d会改善估计值此外，从图中的峰可以看出3、选择较大的βGTd=1D=2D=4D=8D=16D=32d=1d=2d=4D=8D=16D=327pt-Fd=1D=2D=4D=8d=16d=324pt-HβGTd=1D=2d=4d=8d=16d=324853JJJd产生越来越好的β估计，其低于算法1迭代同步或等于实际值（t-t′），但永远不会更高。 这个sug-Input：s，. . .得双曲余切值.，s′，. . . ，s′，k，p，p我我0n0n′ maxMaxmin我们可以安全地增加d，直到找到更好的估计。上面提到的观察使我们得到算法1.算法的基本原理如下-输出：β，Tβ0<$0，i=j，跳过<$0，d<$2pmin，内点0<$0，p<$pmin当k= 1内点2，则内点k←内点1，βk←β1，Tk←T1其他内点k←内点2，βk←β2，Tk←T2end if如果跳过> pmax，则returnTk−1，β←j−i+βk−1else ifinliersk inliersk−1thenifp pmaxthenp← p+ 1其他p←0end ifd←2p←跳过跳过+ 1其他j← j+ βk跳过<$0k←k+1结束if结束while从一辆行驶的汽车上拍摄的序列在我们的实验中，我们使用了作者提供的原始非同步数据Hockey数据集由[31]同步，而专辑是[16]的手动策划曲目。PETS数据集是一个标准的多目标跟踪数据集。轨迹由[13，9，27]检测并手动连接。7.2. 算法我们比较了七种不同的方法来同时解决两个相机的几何和时间偏移。根据数据，估计了基本矩阵或同质性.我们用T表示这两种几何关系，其中T表示H或F是使用标准的4点或7点算法估计的[14]，Tβ表示H或F是与β一起估计的。图4的最右列示出了哪个模型，即，单应性或基本矩阵，估计一个特定的数据集。与我们的方法最接近的替代方案是[21]和[20]中提出的基于最小二乘的算法。两者都从β= 0和T的初始估计开始优化F或H和β。方法[21]使用下一个样本的线性插值，而方法[20]使用图像轨迹的样条插值，我们将这些方法分别称为Tβ-lin和Tβ在这些方法的实现中，我们使用Matlab我们在d= 1的情况下测试了第3节中给出的求解器算法Tβ-new-d1。迭代算法14854βgt0-10 10-20 20-30 30-40 40-50Tβ-new-iter-pmax 0 4.74.33.54.13.8Tβ-new-iter-pmax 6232221.2 21.6 21.2Tβ-new-iter-pmaxvar 181917.5 16.7 16.5表1.终止前执行的RANSAC的平均数量。在标记数据集上进行评价。使用几种不同的设置进行了测试。用户可以使用参数pmax和pmin来控制算法，参数pmax和pmin确定将用于插值的距离d正如我们在第5节中所观察到的，如果d >βgt，则很有可能计算出正确的β。首先，我们在pmin= 0和pmax= 6的情况下运行该算法，得到最大d= 64作为算法Tβ-new-iter-pmax 6。这个版本的算法保证在每个βk处尝试d= 1，2，4，8，16，32，64，然后停止或找到更多的内点。这涵盖了我们测试的时移，但可能会导致对较小的时移进行不必要的迭代。因此，我们还测试了pmax= 0作为Tβ-new-iter-pmax 0，它在每次迭代时只尝试d= 1，以查看算法最有效版本的能力。我们的算法的最后一个版本Tβ-new-iter-pmaxvar将pmax和pmin都适应于βgt，使得2pmin≤βgt<2pmax。 这表示用户对预期时移有粗略估计并设置算法的情况相应地我们提醒，设置pmin仅影响初始插值距离，在达到d= 2pmax之后，算法再次以d= 20开始。最后，算法T-lin [21]还将接下来的样本用于插值，使其与我们的Tβ-new-d1相当。我们在与Tβ-new-iter-pmax 6相同的迭代方案中使用T-lin，并将其作为T-new-lin-iter进行测试，其中，我们使用残差的值而不是使用内点的数量作为接受步长的标准。7.3. 结果和讨论真实数据集上的结果表明，所提出的方法具有广泛对于大多数数据集，Tβ- new-d1本身的表现至少与最小二乘算法Tβ-lin和Tβ−spl一样好。单个RANSAC就足以在所有帧之间同步2-5帧的时移。数据集。基于我们的求解器构建的迭代算法Tβ-new-iter-pmax 6在所有数据集上都表现得绝对最好，从Marker和Hockey数据集上的5s时间差、UvA数据集上的2s差异和Kitti数据集上的2.5秒成功收敛，如图4的成功率列所示。在Kitti数据集上，Tβ-new-iter-pmax 6的性能优于Tβ-new-lin-iter，T β -new-lin-iter使用了我们提出的迭代算法，但使用了[21]中的解。Tβ-new-lin-iter能够估计大于2.5s的时间差，但仅在大约一半的情况下，Tβ-new-iter-pmax 6在2.5s内100%成功，它急剧地脱落了。我们将此归因于图像点的2D速度的高度非线性，其中随着对象靠近汽车，它们移动得更快。长度为25帧或更长的轨道在这里非常稀疏，并且它们越长，速度越非线性。相反，曲棍球数据集对最小二乘算法提出了很大我们将此归因于七点算法对F的估计不佳，这导致LM算法陷入局部极小值。我们还在该数据集上测试了所有算法的单应性版本，因为轨迹近似为平面，这导致最小二乘算法表现略好，而具有最小解算器的算法表现略差。PETS数据集可能是最具挑战性的，因为低帧率（7FPS），粗略的检测和运动的突然变化。尽管如此，我们的方法在大多数情况下还是成功地同步了序列。表1显示了在数据集Marker的迭代算法1的不同变体终止之前使用的RANSAC的平均数量。我们可以看到，使用8 pt-iter-pmax 0大大减少了所需的计算，仍然允许该方法根据场景可靠地估计0.5s- 2s的时移大约知道时移并设置pmax和pmin也可以减少计算，如8 pt-iter-pmaxvar所示，它提供了与8 pt-iter-pmax 6相同的性能，有时甚至优于它。8. 结论我们已经提出了求解器，同时估计对极几何或单应性和图像序列之间的时间偏移，从不同步的相机。这些是这些问题的第一个最小的解决方案，使它们适合使用RANSAC的鲁棒估计 我们的方法只需要图像中移动点的轨迹，这很容易由最先进的方法提供，例如。SIFT匹配、人体姿势检测器或行人跟踪器。我们能够使用单个RANSAC与我们的求解器同步广泛的真实世界数据集，这些数据集移动了几帧。对于较大的时移，我们提出了一个迭代算法，连续使用这些求解器。事实证明，迭代算法足够可靠，可以同步自动驾驶汽车、监控视频和体育比赛录像等现实世界的摄像头设置，这些设置被同步了几秒钟。确认这项工作部分是在C. Albl和Z.Kukelova在Microsoft Re-4855Tβ-lin[21] Tβ-spl[20] Tβ-new-lin-iter Tβ-new-d1 Tβ-new-iter-pmax0 Tβ-new-iter-pmax6 Tβ-new-iter-pmaxvarTβgt摄像机1轨迹摄像机2轨迹成功率（%）估计β内点（%）1008060402010.50-0.50.80.60.40.20-505-1-1-0.5 0 0.5 10.5-5050-0.5-0.510.50-0.5-15-1-0.50.4800.26004020-0.20 - 0.450.40.30.20.1-2-1 0 1 210080604020电话：021 - 88888888传真：021-888888880.40.20-0.2-2-1 0 1 20.250.20.150.10.05100806040200-50510.50-0.5-1-1-0.500.510.40.30.20.1-505βgt（s）βgt（s）βgt（s）图4.真实数据的结果。在最左边的两列中，用于计算的轨迹在数据集的样本图像上以彩色线条描绘。第三列示出了对于各种地面实况时间偏移，不同算法成功地将序列同步到单帧精度的速率。第四列示出了针对较小的地面实况时移的β的各个结果的更仔细的观察，并且针对每个算法进行了五次运行，每个数据点对应于在相应的β gt处的算法的一次运行。右边的字母H和F表示是否计算了单应矩阵或基本矩阵。搜索剑 桥，并得 到了EU-H2020项目LADIO（编号731970 ） ， 捷 克 科 学 基 金 会 项 目 GACR P103/12/G084，CTU布拉格项目SGS 16/230/OHK 3/3 T/13的资助，SGS 17/185/OHK 3/3 T/13和SCCH GmbH根据项目830/8301544 C 000/13162。FFFFHH曲棍球曲棍球Kitti宠物标记UVA10.80.60.400.50.2-2-10120.80.60.40.20 0.51-50100806040200-2-1012100806040200-501000-0.4-2-1012-0.4-0.200.20.4-2-10124856引用[1] G. Carrera，A.Angeli和A.J. 戴维森轻量级满贯和导航与多摄像头钻机。ECMR，第77-82页，2011年。1[2] Y. Caspi，M. Irani和M. I.亚龙·卡斯皮时空序列比对 。 IEEE Transactions on Pattern Analysis andMachine Intelligence ， 24 （ 11 ） ： 1409-1424 ，2002。一、二[3] 程磊和杨怡红基于三焦点IEEE Transactions onImage Processing，15（9）：2473-2480，2006年9月。1[4] C.戴，Y.郑和X。李子帧视频同步通过三维相位相关。在2006年的国际图像处理会议上，第501-504页1[5] J. Deutscher和I.里德通过随机搜索的关节式身体运 动 捕 获 。 International Journal of ComputerVision，61（2）：185-205，2005。1[6] A.埃尔海耶克角斯托尔Hasler，K. I.金，H.- P.Sei-del和C.希奥博尔特非同步相机的时空运动跟踪在 2012 年IEEE计算 机视 觉和模 式识 别会 议（CVPR），第1870-1877页1[7] A. 埃尔海耶克角斯托尔角I. Kim，H.P. 赛德尔，以及C.希奥博尔特具有子帧精度的基于视频同步。计算机科学讲义（包括人工智能子系列讲义和生物信息学讲义），7476 LNCS：266-275，2012年。一、二[8] A. Ellis，A. Shahrokni和J.摆渡人PETS 2009基准数据，2009年。1、6[9] P. F. 费尔岑斯瓦尔布河B. Girshick，D.McAllester和D. Ramanan使用区分性训练的基于部分的模型进行对象检测。IEEE模式分析和机器智能学报，32（9）：1627 6[10] M. a. Fischler和R.C. 波尔斯 随机样本浓度：模型拟合的一个范例。ACM通信，24：381-395，1981。1[11] J. - M. Frahm，K. Koüser和R. 好的多相机系统的位姿估计在联合模式识别研讨会，第286-293页。Springer，2004. 1[12] A. Geiger，P. Lenz，C. Stiller和R.乌塔松视觉与机器人技术的结合：Kitti数据集。国际机器人研究杂志（IJRR），2013年。1、6[13] R. B. 格希克山口F. Felzenszwalb和D.麦卡莱斯特区 别 训 练 的 可 变 形 零 件 模 型 ， 版 本 5 。http://people.cs.uchicago.edu/- release5/. 6[14] R. Hartley和A.齐瑟曼。计算机视觉中的多视图。北京大学出版社. 二、五、六[15] N. 哈斯勒湾Rosenhahn，T.Thormahlen，M.魔杖，J. Gall和H.- P. Seidel使用非同步移动摄像机的无标记动作捕捉。在计算机视觉和模式识别，2009年。CVPR 2009。IEEE会议，第224-231页。IEEE，2009年。1[16] J. F.恩里克斯河Caseiro，P. Martins，and J. 巴蒂斯塔利用核函数的检测跟踪的循环结构。计算机科学讲义（包括计算机智能子系列讲义和生物信息学讲义，7575 LNCS（第4部分）：702-715，2012年。6[17] M. Hofmann和D. M.加夫里拉结合单帧恢复、时间积分和模型自适应的多视图3D人体姿态估计。在CVPR，第2214-2221页，2009年。6[18] Z. Kukelova，M. Bujnak和T.帕杰拉最小问题求解器的自动生成器。在ECCV，第三部分，计算机科学讲义第5304卷，2008年。三、四[19] Z. Kukelova，J.基里尔湾Sturmfels和T. 帕-杰德拉。一个聪明的消除策略，有效的最小解算器。在IEEE计算机视觉和模式识别会议（CVPR），2017年。http://arxiv.org/abs/1703.05289。 4[20] M. Nischt和R.斯瓦米纳坦摄像机网络的自标定。在 2009年 IEEE第 12届国 际计 算机视 觉研 讨会（ICCV研讨会），第2164-2171页，9月。2009.二、六[21] M. Noguchi和T.加藤利用运动标记的轨迹对非同步摄像机进行几何和定时校准在IEEE计算机视觉应用研讨会，第20二六七[22] F. L. C.帕多瓦河L. Carceroni，G. Santos和K. N.库图 拉 科 斯 线 性 序 列 对 序 列 比 对 。 IEEETransactions on Pattern Analysis and MachineIntelligence，32（2）：304-320，2010。一、二[23] D. Pundik和Y.摩西.使用来自核线的时间信号的视频同步计算机科学讲义（包括人工智能子系列讲义和生物信息学讲义），6313 LNCS（第3部分）：15-28，2010年。1[24] C. Rao，A. Gritai，M. Shah和T. Syeda Mahmood视 频 序 列 的 视 点 不 变 对 齐 与 匹 配 。IEEEInternationalConferenceonComputerVision，第2卷，第939-945页，2003年。14857[25] G. Schroth，F. Schweiger，M. Eichhorn，E. 斯坦巴赫M. Fahrmair和W.凯勒勒使用比特率配置文件的视频国际图像处理，第1549-1552页，2010年。1[26] S. M. 塞茨湾Curless，J.Diebel，D.Schar
我的内容管理
展开
