11091两个方向和尺度协变特征的单应性Daniel Barath1，2 Zuzana Kukelova11捷克布拉格捷克技术大学控制论系VRG 2匈牙利布达佩斯MTA SZTAKI机器感知研究实验室barath. sztaki.mta.hu摘要本文提出了一种几何解释的角度和规模的方向和规模的协变特征检测器，例如。SIFT提供在尺度和旋转方面导出了两个新的一般约束，可用于任何几何模型估计任务。使用这些公式，两个新的约束单应性估计。利用推导出的方程，求解器估计的单应性从最小数量的两个对应。此外，它示出了如何的点对应关系的归一化影响的旋转和缩放参数，从而实现数值稳定的结果。由于只需要两个特征对，鲁棒估计器，例如RANSAC，做的比使用四点算法少得多的迭代。当使用协变特征时，例如SIFT，关于尺度和方向的信息是免费的。在合成环境和公开可用的真实世界数据集上测试了所提出的谐波估计方法。1. 介绍本文解决的问题解释，在几何上合理的方式，旋转和规模的方向和规模的协变特征检测器，例如。[22]或[10]，提供。然后，通过利用这些新的约束，我们涉及SIFT特征的所有获得的参数（即，点坐标、角度和比例）到单应性估计过程中。特别是，我们感兴趣的最小的情况下，估计单应性仅从两个对应。如今，存在用于估计或近似几何模型的许多算法，例如：单应性，使用仿射协变特征。 一种由Per-doch等人提出的技术。[29]，近似核几何从一个或两个仿射对应转换成点对。Bentolila和Francos [11]提出了一种使用三个仿射特征估计基本矩阵Raposo等人[32，31]和Barath et al.[6]显示，图1：方向和尺度协变特征的可视化。点P和周围的补丁投射到相机C1和C2。示出投影点pi= [u1v11]T和p2=[u2v21]T的窗口是剪下并放大。 第i个要素的旋转图像为αi，大小为qi（i∈{1，2}）。从第一图像到第二图像的缩放被计算为q=q2/q1。两个对应关系足以用于估计相对相机运动。此外，两个特征对足以解决半校准的情况，即。当目标是找到基本矩阵和共同的未知焦距时[9]。此外，单应性可以从两个仿射对应[17]估计，并且在已知对极几何的情况下，可以从单个对应[5]估计。局部仿射变换和表面法线之间存在一对一的关系[17，8]。Pritts等人[30]显示可以使用仿射特征来检索透镜畸变参数。仿射对应编码关于场景几何的高阶信息。这就是为什么前面提到的算法解决几何估计问题，利用更少的功能比基于点对应的方法。然而，这意味着它们的主要缺点：精确地获得仿射特征（例如，通过仿射SIFT[28]，MODS [26]，Hessian-Affine或Harris-Affine [24]检测器）是耗时的，因此在时间敏感的应用中几乎不可行。大多数被广泛使用的特征检测器提供了部分PC1C2α1p 1Q12Qp2α211092×→u1Sv1S的仿射特征。例如，存在获得定向特征的检测器，例如，[33]或者有提供刻度的，例如。[22]或[10]。利用这些额外信息是一种众所周知的方法，例如宽基线匹配[23，26]。然而，第一篇涉及到几何模型估计的论文[1，2，3，25，4]是在最近几年发表的所需的对应关系的数量，鲁棒估计，例如通过GC-RANSAC [7]，比通过将其与标准技术组合快两个数量级，例如四点算法[16]。2. 理论背景仿射对应（p，p，A）是一个三元组，其中p=年在文献[25]中，直接涉及特征取向T121[u1v11]和p2= [u2v21]T是一个相应的同调，在基本矩阵估计中 在[1]中，基本矩阵被假定为是先验已知的，并提出了一种算法，用于近似利用两个SIFT对应的旋转和尺度的单应性。近似性质来自于假设沿轴的尺度等于SIFT尺度并且剪切为零。一般来说，这些假设并不成立。[2]的方法通过在极线上强制仿射对应的几何约束来逼近基本矩阵。然而，由于使用两幅图像中的点对是均匀的，A是2 2线性变换，称为局部仿射变换。按行优先顺序排列的元素为：一个1一个2一个3和一个4。为了定义A，我们使用[27]中提供的定义，因为它是作为3D 2D投影函数的一阶泰勒近似给出的。对于透视照相机，A的公式是相关的同像矩阵的一阶近似，如下：的1=u2=h1−h7u2，一个2=u2=h2−h8u2，与[1]中相同的仿射模型，估计的对极几何1S1S（一）只是一个近似值。 在[3]中，两步程序是a3=v2=h4−h7v2，a4=v2=h5−h8v2，提出用于估计对极几何。首先，从三个有向特征获得均质图。最后，从单应性和两个额外的对应关系中检索基本矩阵。尽管该技术将尺度和剪切视为未知数，从而估计对极几何而不是近似它，但是所提出的仿射矩阵的分解在理论上是不合理的。因此，特征旋转的几何解释不能证明有效。一个最近其中ui和vi是第i个图像中的方向（i∈{1，2}），并且s=u1h7+v1h8+h9是投影深度。按行优先顺序的H的元素是：h1，h2，…h9.仿射对应与同态的关系用六个线性方程描述由于仿射对应涉及点对，众所周知的方程（从Hp1p2）成立[16]。它们是：u1h 1+v 1h 2+h 3−u 1u 2h 7−v 1u 2h 8−u 2h 9= 0，已发表的文献[4]提出了一种恢复全仿射的方法来自特征旋转、缩放和u1h4 +v1h5 +h6 — u1v 2h7— v1v 2h8— v2h9（二）=0。基本矩阵应用这种方法，单应性估计从一个单一的对应的情况下，已知的极几何。尽管如此，仿射矩阵的分解是特别的，因此，不是一个可证明有效的，在重新排列（1）之后，四个额外的线性约束是从A中得到的，如下所示。h1−（u 2+a 1u 1）h 7−a 1v 1h 8−a 1h 9= 0，h 2−（u 2+a 2v 1）h 8−a 2u 1h 7−a 2h 9= 0，SIFT旋转和尺度的解释。 而且在h−（v+a u）h−a v h−a h=0，（三）4 2 3 1 7 3 1 8 3 9实践中，假设已知的对极几何h−（v+a v）h−a u h−a h=0。限制了该方法的适用性。5 2 4 1 84 1 7 4 9本文的贡献是：（i）我们提供了一种几何上有效的解释方向和尺度协变特征的方法，通过微分几何来解决这个问题。（ii）建立在推导出的公式，我们提出了两个一般的约束条件，适用于协变特征。(iii)这些约束条件，然后使用推导出两个新的公式，单应性估计和（iv），基于这些方程，求解器提出了估计一个单应性矩阵从两个方向和尺度协变特征对应。该附加信息，即当使用大多数广泛使用的特征检测器时，例如，SIFT或SURF。它是在一个合成的环境中，并在超过10 000个公开可用的真实图像对，求解器准确地恢复单应矩阵验证。 受益于因此，仿射对应为相关单应性的元素提供六个线性方程。3. 仿射变换模型在本节中，将讨论特征比例和旋转的解释。推导了仿射变换元素对特征尺度和旋转的两个新约束。这些约束是通用的，并且它们可以用于估计不同的几何模型，例如单应性或基本矩阵，使用方向和尺度协变特征。在本文中，这两个约束条件是用来推导求解单应性估计从两个对应。为了简单起见，我们使用SIFT作为所有方向和尺度协变检测器的别名。这些公式对所有人都适用11093联系我们∈1→我我我11我c2 qu，i qv，i+ s2qu，i qv，i−siqu，iciqu，i我我我3.1. SIFT输出反映了这样一个事实，即我们给定一个尺度qi∈R和旋转α i[0，2π）独立地在每个图像中（i1，2;见图1），目标是定义仿射对应A作为它们的函数。对于这个问题，最近提出了一些方法[3，4]。然而，没有一个被证明是有效的解释。为了理解SIFT输出，我们利用[8]中提出的仿射对应的在[8]中，A是de-作为投影的雅可比行列式的乘积以及来自方程（6）-（9）的剪切w1。为此，我们使用基于消除理想理论的方法[13]。消元理想理论是从多元多项式中消去变量的一种这种方法最近在[21]中用于消除不依赖于输入测量的方程中的未知数。在这里，我们以稍微不同的方式使用该方法我们首先创建由多项式（6）-（9）、多项式（10）和三角恒等式生成的理想I[13对于i ∈ { 1，2 }，条件c2+s2= 1. 注意，这里我们考虑在两个图像中的函数如下：A=J2J−1，（4）其中J1和J2是3D2D投影函数的雅可比行列式。证据在附录A中。对于第i个雅可比行列式，以下是可能的分解：这些多项式的所有元素，包括ci和si，未知数 然后我们计算消去理想I1=I<$C[a1，a2，a3，a4，q1，q2，s1，c1，s2，c2]的生成元[13]。I 1的生成元不包含q u，i，q v，i和wi。 消去理想I1由两个多项式生成：q2a2a3−q2a1a4+q1q2= 0，（11）Ji= RiUiΣΣΣcos（αi）−sin（αi）=sin（αi）cos（αi）ΣQu，iw i0qv，i、（五）c1s2q1a1+ s1s2q1a2− c1c2q1a3− c2s1q1a4= 0。（ 十二）生成器（11）-（12）可以使用计算机代数系统来计算，例如：Macaulay2 [14].新的限制其中角度αi是第i幅图像中的旋转，qu，i和qv，i是沿轴u和v的尺度，wi是剪切（i∈{1，2}）。让我们使用以下符号：ci= cos（αi），si= sin（αi）。逆矩阵的方程变为J−1 =1Σsiwi + ciqv，i siqv，i −ciwiΣ。将A的元素与物体的尺度和旋转在这两个图像中。注意，这两个方程都可以除以q1/= 0 。 在 这 种 简 化 之 后 ， （ 11 ） 对 应 于detA=q2/q1=q，并且等式（12）将特征的旋转与A的元素相关联。两个新约束是通用的，它们可以用于估计使用不同的几何模型，例如同形异义或有趣-我我损坏矩阵，使用方向和比例协变分母可以用公式表示如下：（c2+s2）qu，i qv，i，其中c2+s2是三角恒等式，探测器接下来，我们使用（11）-（12）来导出单应性的新约束。等于一。在将（4）中的矩阵相乘之后，以下为对于仿射元素给出以下等式4. 两个对应的单应性一 =c2qu，2（s1w1+c1qv，1）−s1qu，1（c2w2−s2qv，2）1qu，1qv， 1一 =c2qu，2（s1qv，1−c1w1）+c1qu，1（c2w2−s2qv，2）2qu，1qv， 1s2qu， 2（s 1w 1+c 1qv， 1）−s 1qu， 1（s 2w2+c 2qv， 2）（六）（七）在本节中，我们推导出新的约束，将H与两幅图像中的特征尺度和旋转关联起来。然后，提出了一种求解器，以根据这些新的约束从两个SIFT对应估计H最后，我们讨论了广泛使用的点归一化是如何实现的。a3=qu，1qv，1（八）[15]《礼记·乐记》协变检测器和随后的新约束。a=s2qu，2（s1qv，1−c1w1）+c1qu，1（s2w2+c2qv，2）4qu，1qv，1（九）4.1. 单应性和协变特征11094这些公式显示了仿射元如何与αi、沿轴u和v的尺度以及切变wi相关。在具有方向和尺度协变特征的情况下，例如，在SIFT中，已知参数是第i幅图像中特征的旋转α i和均匀尺度qi。可以很容易地看出，尺度qi解释如下：q i= detJi= q u，i q v，i.因此，我们的目标是导出将A的仿射元素与第一和第二图像中的特征的方向α i和尺度q i相关联的约束。我们将得到这样的通过消除沿轴qu，i和qv，i的尺度的约束首先，我们推导出与单应性H与第一和第二图像中的特征的比例和旋转有关。为了做到这一点，我们将前一节中导出的约束（11）和（12）与单应性矩阵（3）上的约束相约束（11）和（12）不能直接代入（3）。然而，我们可以使用与前一节类似的方法来推导（11）和（12）。首先，由六个多项式（3）、（11）和（12）生成的理想J构造了然后从J的生成元中消除仿射变换A的未知元素。我们通过计算J1=J的生成元来做到这一点10959×ΣΣ1718 12×(a) 通过2SIFT进行553次迭代，以及8615人，4P。内围比0。三十八岁。(b) 通过2SIFT进行720次迭代78 450通过4PT。 内围比0的情况。06.(c) 2SIFT迭代169次，第573章4P内围比0。二十二岁(d) 通过2SIFT进行65次14139、4P 内围比0的情况。23岁图2：绘制到示例图像对的估计单应性（通过2SIFT）的内点。使用4PT和所提出的2SIFT求解器的GC-RANSAC [7]的迭代次数;以及在标题中报告了真实内点比率C[h1，. . .，h9，u1，v1，u2，v2，q1，q2，s1，c1，s2，c2]。消去理想J1由两个多项式生成h8u2s1s2+h7u2s2c1−h8v2s1c2−h7v2c1c2+（13）−h2s1s2 −h1s2c1+h5s1c2+h4c1c2= 0，h2u2q2+ 2h7h8u1v1q2+h2v2q2+h5h7u2q1+（14）−h4h8u2q1− h2h7v2q1+ h1h8v2q1+ 2h7h9u1q2+2h8h9v1q2+ h2h4q1− h1h5q1+ h q2=0。多项式（13）和（14）是将单应性矩阵与第一图像和第二图像中的特征的尺度和旋转相关的新约束这些约束将帮助我们从两个方向和尺度协变特征对应中恢复H4.2. 2 SIFT求解器约束（13）在H的元素中是线性的。 为 两个SIFT对应，给出两个这样的方程，它们与点对应的四个方程（2）一起，得到H的九个元素的六个齐次线性方程。在矩阵形式中，这些方程是：Mh=0，其中M是6×9系数矩阵，h两个未知数 这样的方程具有四个解，并且它们可以使用例如Gr？ bner基或基于结果的方法[13]。在这里，我们使用基于Gro¨bner基方法的求解器，该方法可以使用au-turbine generator [19]创建该求解器执行高斯-约旦消除的6 - 10模板矩阵，其中包含两个输入方程的单项式倍数。然后求解器从从模板矩阵中提取的4 × 4乘法矩阵的特征向量中提取x和y的解。最后，通过将x和y的解代入公式15，计算出H的最多四个实数解。请注意，我们不知道任何退化的拟议解决方案，可以发生在现实生活中。例如，四点算法的退化，即。点是共线的，不是2SIFT求解器的退化情况。4.3. 仿射参数的归一化点坐标的归一化是增加H估计的数值稳定性的关键步骤[15]。假设给定一个3×3归一化变换Ti，变换点云的重心到原点的平均距离包含未知的单应性元素。对于两个SIFT它是2。归一化A的公式如下[6]：根据两个视图中的对应关系，系数矩阵M具有三维零空间因此，单应性矩阵可以由两个未知数参数化为：A^=T2A0T−1，（16）0 1H=xH1+yH2+H3，（ 15）其中H1、H2、H3是从M的3D零空间创建的，并且x和y是新的未知数。现在我们可以将参数化（15）插入约束（14）。对于两个SIFT10964^×其中A是归一化的亲和力。矩阵Ti变换通过平移这些点（最后一列）并应用统一缩放（对角线）来显示这些点。由于Ti的最后一列对归一化亲和度的左上方的2 × 2子矩阵没有影响，因此等式可以重写为对应，这导致两个二次方程以下是：A^=diag（t2，t2）A diag（1/t1，1/t1）=t2/t1A，51097102SIFT4PT3ORB^^ ^您的位置：9××××××1、||−||41^^您的位置：一次迭代的复杂度乘以迭代4、RANSAC算法与最小方法相结合。可以看出，所提出的方法导致显著改善。3更小的计算复杂度。另外，我们-2相信通过设计一个特定的求解器来求解我们的两个二次方程[20]在两个未知数中的一个方程，类似于[20]，com-我们的求解器的计算复杂度甚至可以降低。-16-14-12-10- 八六四二log10平均值传输错误图3：稳定性研究。通过提出的（红色）、4PT（绿色）和3 ORI（蓝色）方法估计的单应性中log 10误差（水平）的频率（100 000次运行;垂直轴）。其中t1和t2是两个图像中的归一化变换的尺度。因此，为了规范化仿射变换，它必须乘以t2/t1。比例因子影响约束（11），对于A，约束（11）具有以下形式：t2q2a2a3−t2q2a1a4+q1q2=0，（ 17）其中t = t1/t2和ai是A的元素。 因此，用于归一化坐标的约束（14）具有以下形式：h2u2q2t2+ 2h7h8u1v1q2t2+h2v2q2t2+h5h7u2q1+（18）5.2.综合测试为了测试所提出的方法获得的单应性的准确性，首先，我们创建了一个合成场景，该场景由两个摄像机组成，由它们的3×4投影表示矩阵P1和P2。它们被随机定位在中心对齐的球体。 具有随机法线的平面是在原点生成的图像和位于平面上的十个随机点被投影到两个相机中。这些点最多距离原点一个单位为了获得真实仿射变换，我们通过将四个随机点从平面投影到相机并应用归一化DLT [16]算法来计算单应性H每个对应的局部仿射变换由地面真值单应性通过（1）计算。注意，H可以直接从平面参数计算。 然而，使用四点承诺间接7 1 8 1但几何上可解释的对仿射路径加噪的方式2−h4h8u2q1 −h2h7v2q1+h1h8v2q1+ 2h7h9u1q2t+2h8h9v1q2t2+ h2h4q1− h1h5q1+ h2q 2t2= 0。请注意，这种归一化不会影响导出的2SIFT求解器的结构。唯一的区别是，对于归一化坐标，模板矩阵中的系数乘以比例因子t，如（18）中所示。5. 实验结果在本节中，我们将提出的求解器（2SIFT）与广泛使用的归一化四点（4PT）算法[16]和使用三个定向特征[3]（3ORI）估计单应性的方法进行比较。5.1. 计算复杂度首先，我们比较竞争对手算法的计算复杂度，见表1。第一行包含每个求解器的主要步骤。 例如69个SVD+ 66 QR +44 EIG是指主要步骤是：6 × 9矩阵的SVD分解，6 × 9矩阵的QR分解，6矩阵的特征分解4 4矩阵。在第二行中，对隐含的计算复杂度求和。在第三个中，写入求解器所需的对应数。第四行列出了数据中的异常值比率示例 在第五个例子中，RANSAC[ 16 ]的理论迭代次数被写入每个离群值比率，置信度设置为0。九十九。最后一行示出了计算复杂度，即的参数：向四个投影点的坐标添加噪声为了模拟SIFT方向和尺度，A被分解为J1、J2。由于分解是不明确的，α1，q u，1，q v，1，w1被设置为随机值。J1由它们计算。最后，J2被计算为J2=AJ1。零均值高斯噪声被添加到点坐标，并且还被添加到用于估计仿射变换的坐标图3报告的方法在无噪声的情况下的数值稳定性频率（垂直轴），即将100000次运行中出现的次数绘制为从估计的单应性和未使用的对应关系计算的log10平均传递误差（单位为Px; horizontal）的函数可以看出，所有测试的求解器都是数值稳定的。图4绘制了作为图像噪声水平σ（垂直轴）和相机距离的比率（水平）的函数的HestHgtF误差，即摄像机所在的球体的半径以及对象大小。将单应性归一化。所提出的 2SIFT 算 法 （ 左 ） 对 两 个 参 数 的 选 择 比 3ORI（中）和4PT（右）方法更不敏感图5报告了重投影误差（垂直;以像素为单位）作为图像噪声σ的函数，其中除了来自噪声仿射变换的噪声之外，附加噪声被添加到SIFT方向（左）和尺度（右）。在顶行中，将误差绘制为图像噪声σ的函数。曲线显示了在不同方向和尺度上的不同噪声水平底部频率51098−×××2SIFT[16]第三届中国国际纺织品展览会步骤1 iter6×9SVD +6×6 QR +4 ×4 EIG2 3 36 - 9 + 6 + 4 = 7666×9SVD26∗ 9 = 4868×9SVD28∗ 9 = 649M2341 -µ0.250.500.750.900.250.500.750.900.250.500.750.90#iters6167145883429246031271117746 049#comps4 59612 25654 386350 8283 88816 524141 9122 237 0587 78846 079763 87329 885 801表1：求解器的理论计算复杂度。求解器中的操作（第1行-步骤）、一个估计的计算复杂度（第2行-第1步）、估计所需的对应数（第3行-第m步）、可能的离群值比率（第4行-第1步）、RANSAC所需的迭代数，其中置信度设置为0。95（第5- # iters），以及整个过程的计算复杂度（第图4：通过提出的（2SIFT）、归一化4PT [16]和3ORI [3]方法，单应性拟合到合成数据的平均（每个噪声σ上的10000次每个相机随机位于中心对齐的球体上物体上的十个点被投影到摄像机中，零均值高斯噪声被添加到坐标中。从噪声坐标计算仿射参数。重新投影误差（以px为单位;以颜色示出）被绘制为“相机距对象的距离/对象尺寸”比率（水平）和噪声σ（以px为单位;垂直）的函数。行中，将误差绘制为方向（左图）和比例（右图）噪声的函数点坐标中的噪声设置为1。0像素。左侧图的标度噪声设置为1%。右侧的方向噪波设置为1◦。可以看出，即使对于尺度和方向上的大噪声，新的求解器也表现得相当好。5.3. 真实世界测试为了在真实世界的数据上测试所提出的方法，我们下载了AdelaideRMF1，Multi-H2，Malaga3和Strecha4数据集。AdelaideRMF和Multi-H由分辨率从455341至2592 1944和手动注释（分配给单应性或离群值类）的对应关系。由于参考点集不包含旋转和缩放，因此我们应用SIFT检测器检测点。使用数据集中提供的对应关系来估计真实同源性。对于每个单应性，我们从检测到的SIFT对应中选择比手动设置的内点-离群点阈值更接近的点，即2像素。作为鲁棒估计器，我们选择GC-RANSAC [7]，因为它是1cs.adelaide.edu.au/ http：//www.example.comid=data2 web.eee.sztaki.hu/现 有 技 术 及 其 实 现 是 可 用的 5. GC-RANSAC 是 具 有PROSAC [12]采样的局部优化RANSAC。为了拟合最小样本，GC-RANSAC使用比较的方法之一，例如提议的一个。为了拟合非最小样本，应用归一化4PT算法。给定图像对，评估AdelaideRMF和Multi-H上的估计器的过程如下：首先，逐个选择从手动注释的对应集合估计的地面实况单应性。对于每个单应性：（i）不属于所选单应性的对应关系被完全随机的对应关系代替，以降低找到与当前测试的平面不同的平面的概率。(ii)GC-RANSAC被应用于由单应性的内点和离群点组成的点集。(iii)将估计的单应性与从手动选择的内点估计的地面实况单应性进行比较Strecha数据集由建筑物的图像序列组成。所有图像的大小为3072 2048。这些方法被应用到每个序列中所有可能的图像对。马拉加的数据集完全是在城市场景中收集的，车上配备了几个传感器，包括一个3www.mrpt.org/MalagaUrbanDataset4https://cvlab.epfl.ch/5https://github.com/danini/graph-cut-ransac5109972SIFT，ori.噪声= 0.5°62SIFT，ori. 噪声=1.0°2SIFT，ori。噪声=3.0°54PT3ORI，ori。噪声=0.5°43ORI，ori. 噪声=1.0°3ORI，ori。噪声=3.0°32100 0.5 1 1.52噪声（px）4.543.532.521.510.502SIFT，刻度噪声=1%2SIFT，刻度噪声=5%2SIFT，刻度噪声=10%4PT3ORI0 0.5 1 1.52噪声（px）为两个数据集提供。为了获得Strecha和Malaga数据集中每个图像对的参考对应集，首先，根据数据集中提供的地面实况相机姿态计算基本矩阵。应用SIFT检测器。选择对称核线距离小于1的对应关系。0像素。RANSAC被应用于过滤的对应关系82SIFT74PT63ORI5432100 0.51 1.5 2 2.533.63.43.232.82.62.42.221.802SIFT4PT3ORI24 6 8 10找到阈值设置为1的最主要单应性。0像素，置信度为0。九九九九。该单应性的内点被认为是参考集。在具有少于50个参考点的情况下，从评价中丢弃在Strecha数据集中总共测试了852个图像对，在Malaga数据集中测试了9 064个图像示例结果示于图1中。二、 的内围层方向噪声（°）刻度噪声（%）绘制了由2SIFT估计单应矩阵另外，num-图5：平均值（每个噪声σ上运行10 000次）通过2SIFT、归一化4PT [16]和3ORI [3]方法对合成数据进行单应性拟合的投影误差。使用与图4中相同的测试场景。对于每个图，除了来自噪声仿射变换的噪声之外，还将额外的噪声添加到方向或尺度。（顶部）将误差绘制为图像噪声σ的函数。曲线显示了在不同方向和尺度上的不同噪声水平的结果。（底部）将误差绘制为方向（左图）和比例（右图）噪声的函数 点坐标中的噪声设置为1 .一、0像素。左侧图的标度噪声设置为1%。右侧的方向噪波设置为1◦。2SIFT3ORI [3]4PT [16]（px）1.571.971.61阿德莱德RMF#iters。8779 77226 082（43号）时间0.0920.9182.989（px）1.903.411.87multi-H#iters。80 031458 800410 781（33#）时间57.921213.900300.645（px）1.421.511.25斯特雷查#iters。4 71817 41460 973（852#）时间1.4353.18010.246表 2 ： 通 过 GC-RANSAC [7] 结 合 最 小 方 法 对AdelaideRMF（18对;43个平面）和Multi-H（4对;33个平面）以及Strecha数据集（852个平面）进行的单应性估计。每列报告一种方法的结果。所需的置信度设置为0。九十五所报告的属性是平均重投影误差（meanre-projection error，以像素为单位）;由GC-RANSAC提取的样本的数量（# iters.）;以及以秒为单位的处理时间。每个图像对平均运行100高分辨率摄像头和五台激光扫描仪提供了15个视频序列，我们使用每个序列的每10地面实况投影矩阵为报告了2SIFT和4PT所需的迭代的BER以及地面真实内点比率。在所有情况下，2SIFT的迭代次数都比4PT少得多。表2报告了AdelaideRMF（第2-数据集的名称被写入第一列，平面的数量在括号中。测试技术的名称写在第一行。由三行组成的每个块示出了从手动注释的对应性和估计的单应性计算的平均重投影误差（以像素为单位; avg.每对100次运行）;由GC-RANSAC的外部循环提取的样本的数量（#iters.）;以及处理时间（以秒为单位）。RANSAC置信度设置为0。95，并且内点-外点阈值为2个像素。可以看出，所提出的方法具有与4PT算法类似的误差，但是2SIFT与4PT相比导致1马拉加数据集的结果如图6所示。GC-RANSAC的置信度设定为0。95，内-外阈值为2。0像素。报告的特性是平均重投影误差（左;以像素为单位）、处理时间（中间;以秒为单位）和平均迭代次数（右）。可以看出，4PT和2SIFT的重投影误差相当相似。然而，由于进行比4PT少得多的迭代，2SIFT在所有情况下都明显更快6. 结论我们提出了一个理论上合理的解释的角度和规模的方向和规模的协变特征检测器，例如。SIFT或SURF，提供。在此基础上，提出了两个新的一般约束的协变特征。然后利用这些约束条件推导出两个新的单应性估计公式使用，ING导出的方程，求解器提出了估计，ING从两个对应的单应性。新的求解器是数值稳定，易于实现。更多-误差（px）误差（px）误差（px）误差（px）511000.7Σ=厄舒×ΣΠ（x，y，z）ΣΣΣ∂Π(x,y,z)∆uΣΠ（x，y，z）ΣΠ（x，y，z）y你好，∆y∆uJ.第四节的部分内容是y∇XX YZ我X我X2SIFT3ORI4PT3 0.2 35002.521.510.150.10.05300025002000150010005000.5123456789101112131415序列ID0123456789101112131415序列ID0123456789101112131415序列ID图6：使用GC-RANSAC [7]作为鲁棒估计器和不同的最小解算器（2SIFT，3 ORI，4PT）对马拉加数据集的15个序列（9064个图像对）的结果。RANSAC的置信度设定为0。95并且内点-外点阈值为2。0像素。重投影误差（左;以像素为单位）、平均处理时间（中间;以秒为单位）和平均迭代次数（右）。用切向量的叉积来表示，得到了几何精度在许多情况下，Ricky此外，它是如何规范化的点对应影响的旋转和规模su和sv在哪里SUX（u，v）厄舒Y（u，v）厄舒Z（u，v）ΣT，以及参数由于只需要两个特征对，鲁棒估计，例如。RANSAC，做显着更少的迭代比使用四点算法。该方法在合成环境中进行了测试，并在公开可用的Sv类似地计算。 最后，n=suSv. 在当地在点P周围，该表面可以由切平面近似，因此，第i个图像中的相邻点被写为一阶泰勒级数如下：由数千个图像对组成的真实世界数据集。p≈∆ΣΠx(x, y, z)Σ+∂u ∂v,我我源代码可在https://github.com/上获得。danini/sift-features的同形异义。x，y，z（x，y）Πy（x，y，z）厄舒y（x，y，z）茨布夫确认Z. 库科洛娃得到了ESI基金的支持其中[∆v，∆u]T是曲面S上的平移，∆x，∆y是加到p i上的隐含平移的坐标。可以看出，变换Ji映射 在第i个点中围绕点pi的OP RDE计划，项目研究人员的国际流动性MSCA-IF在CTU没有。CZ.02.2.69/0.0/0.0/17 050/0008025。D.巴拉斯是图像表示为Ji=我X厄舒x，y，z，x，y，z厄舒我X茨布夫x，y，z，x，y，z茨布夫因此由匈牙利科学研究基金资助（编号：NKFIH OTKAKH-126513和K-120499）和OPVVV项目CZ.02.1.01/0.0/0.0/16019/000076研究T T我使用链式法则重新表述。例如，第一个元素是信息学中心∂Πi(x, y, z)∂Πi(x, y, z)xA.仿射分解x=x+u∂Πi( x, y, z) y ∂Πi( x, y, z) zx+x=（Πi）Tsu，我们证明了分解A=J2J-1，其中J黑腹鱼我∂x ∂ux1是投影函数w.r.t.的雅可比矩阵方向，在第i个图像中的元素，在几何上是有效的。 假设其中Πx是Πx关于. r. t的梯度向量。坐标x、y和z。同样地，一个三维点P=Σx y zΣT位于一个∂Πix=（Πi）Tsv，∂Πiy=（i）Tsu，∂Πiy=（Πi）Tsv，给出了连续曲面S它在第i幅图像中的投影是xu我是pi=uiv. 投影坐标u和v为不我因此，Ji可以写成Ji=中文（简体）我susv.由投影函数确定：R3→R（如下：ui=i（x，y，z），vi=i（x，y，z），其中局部仿射变换u v在点p在第一幅图像中，曲面点的坐标以参数形式写入形式为x=（u，v），y=（u，v），z=（u，v）。众所周知，在微分几何[18]中，点P处的切平面的基由偏导数表示Avg. 重投影误差Avg. 时间（秒）Avg. 迭代次数我我51101第二次世界大战21∆y1∆y1Sw.r.t.空间坐标。表面法线1 2在第二个是如下：Σ∆ x2Σ=J J−1Σ∆ x1Σ=AΣ∆ x1Σ.51102引用[1] 丹尼尔·巴拉斯。P-HAF：使用局部仿射框架的单应性估计。2017年计算机视觉理论与应用国际会议。2[2] 丹尼尔·巴拉斯。从六个旋转不变对应近似核几何。在计算机视觉理论与应用国际会议上，2018年。2[3] 丹尼尔·巴拉斯。未标定摄像机的五点基本矩阵估计计算机视觉与模式识别会议，2018年。二三五六七[4] 丹尼尔·巴拉斯。从方向和尺度不变特征恢复仿射特征。2018年亚洲计算机视觉会议。二、三[5] Daniel Barath和Levente Hajder。逐点单应性估计理论。Pattern Recognition Letters，94：7- 14，2017。1[6] Daniel Barath和Levente Hajder。从两个仿射对应中有效地 恢 复 基 本 矩 阵 IEEE Trans- actions on ImageProcessing，27（11）：5328-5337，2018。1、4[7] 丹尼尔·巴拉斯和吉瑞·麦塔斯图形切割RANSAC。在计算机视觉和模式识别会议上，2018年。二四六七八[8] DanielBarath，J. Mol na'r和L e venteHajde r。仿射变换的最优曲面在计算机视觉、成像和计算机图形学理论与应用国际联合会议上。SciTePress，2015. 第1、3条[9] Daniel Barath，T.托特和勒文特·哈德尔利用两个仿射对应进行两视图焦距估计的最小解。计算机视觉与模式识别会议，2017年。1[10] 赫伯特·贝、丁尼·图伊特拉尔斯和吕克·范古尔。SURF：加速了强大的功能。2006年欧洲计算机视觉会议。一、二[11] Jacob Bentolila和Joseph M.弗兰克斯来自仿射对应的圆锥极线计算机视觉和图像理解，2014年。1[12] Ondrej Chum和Jiri Matas。与PROSAC匹配-渐进式样本共识。在计算机视觉和模式识别，2005年。6[13] 大卫·考克斯约翰·利特尔和多纳尔·奥谢使用代数几何。Springer-Verlag New York，第2版，2005年。三、四[14] 丹尼尔·格雷森和迈克尔·斯蒂尔曼。Macaulay2，一个代数几何研究软件系统。可在www.example.com获得www.math.uiuc.edu/Macaulay2/。 3[15] 理查德·哈特利为八点算法辩护Pattern Analysis andMachine Intelligence，1997. 三、四[16] Richard Hartley和Andrew Zisserman。计算机视觉中的多视几何学。剑桥大学出版社，2003年。二五六七[17] KevinKöser.局部Af精细框架和自由曲面的几何估计。Shaker，2009年。1[18] 欧文·克雷齐格微分几何与黎曼几何导论，第16卷。多伦多大学出版社，1968年。8[19] Zuzana Kukelova，Martin Bujnak和Tomas Pajdla。最小问题求解器的自动生成器。在欧洲计算机视觉会议上，计算机科学讲义，2008年第5304卷。4[20] Zuzana Kukelova，Jan Heller，and Andrew Fitzgibbon.三个二次曲面的有效求交及其在计算机视觉中的应用。计算机视觉和模式识别会议，第1799-1808页，2016年5[21] Zuzana Kukelova ， Joe Kileel ， Bernd Sturmfels ， andTomas Pajdla.一个聪明的消除策略，有效的最小解算器 。 计 算 机 视 觉 与 模 式 识 别 会 议 ， 2017 年 。http://arxiv.org/abs/1703.05289。 3[22] David G.洛基于局部尺度不变特征的目标识别。在1999年国际计算机视觉会议一、二[23] Jiri Matas ， Ondrej Chum ， Martin Urban ， and TomasP
我的内容管理
展开
