无坐标的Carlsson-Weinshall对偶与相对多视图几何

225无坐标的Carlsson-Weinshall对偶与相对多视图几何Matthew Trager1，Martial Hebert2，and Jean Ponce3，41纽约大学2卡内基梅隆大学3法国巴黎INRIA4De′partement informatique de lENS，ENS，CNRS，PSL Uni versity，巴黎，法国摘要本文给出了场景点和摄像机针孔之间的Carlsson-Weinshall对偶的一种无坐标描述，并利用它导出了多视点几何的一种新的主/对偶刻画。在三个视图的情况下，一组特定的减少trilinearities提供了一种新的参数化的摄像机几何形状，不像现有的，只受到非常简单的内部约束。这些三线性导致新的我们包括一些初步的实验与真实的和合成的数据。1. 介绍选择一些场景特征作为锚点以简化运动恢复结构（SFM）问题的解决方案的想法可以追溯到20世纪90年代，特别是Koenderink van Doorn [13]和Faugeras [4]等人的开创性工作[10，16]。这种方法涉及的参数比传统方法少[4，13]，并导致所谓的Carlsson-Weinshall（在本演示文稿中为CW）对偶[1]，其中摄像机针孔和场景点扮演对称角色，并且可以在SFM算法中轻松交换。然而，基于这种类型的“相对”多视图几何结构的方法被认为会导致低质量的重建，部分原因是相应的算法不能从传统的数据预处理方法中受益[8]。我们建议从几何的角度重新审视这种方法，用一系列新的结果对一些众所周知的问题进行新的阐述2.3，2.5，3.4，4.3），并通过实验消除了它的一些坏名声。1.1. 背景如[18，22]所示，例如，可以通过研究对应的视觉射线之间的一致性关系来表征多个图像上的点这种方法的优点是明确了定义对应关系的几何约束，而在传统的多线性方法中，这些约束往往隐藏在代数从运动到结构[1，5，6，7，11，14，15，20，24]。特别是，Ponce，Sturmfels和Trager在[18]中引入了由P3中在某个点相交的所有n元组线形成的并发线簇V n，并表明将每个元组中的线约束为通过n个固定且不同的点，产生了与Triggs的联合图像同构的V n的三维子簇[23]，其可以被视为由n个固定透视摄像机（图1[a]），或作为一组所有可能的图像，年龄的n个固定点（图。1 [b]），揭示了相机针孔和场景点之间深刻的几何对偶性不幸的是，当引入图像测量时，这种二元性崩溃，因为摄像机的视网膜平面（或等效地，其针孔的线束）必须配备有坐标系以使测量有意义。相反的图像和相应的束（图。1 [c]），然而，场景点不与坐标系相关联。Carlsson和Weinshall表明，这种差异可以通过使用所有摄像机观察到的四个基准场景点来解决，并通过在反转它们的角色之前对针孔和场景点的坐标进行代数操作来解决（相关工作见[4，11，特别地，如在[1，11]中所论证的，这意味着用于从n个场景点的m个图像解决从运动恢复结构（SFM）问题的任何算法也提供了从n-4图像和m+4场景点。卡尔松和魏因-肖尔我们本文的出发点是弥合他们的方法和先前提出的几何观点之间的差距。1.2. 目标和贡献我们在本报告中的目标有三个方面：(1) 为了解释CW对偶性[1]，它以经典教科书的形式[11]出现在看似偶然的代数几何对称中，就像金星来自大海一样。具体地说，我们介绍了在节。2一个新的，坐标自由推导场景点和相机针孔之间的对偶性（Prop。2.3）。我们的观点希望澄清的几何基础CW对偶，也强调，分析，2263 32 21 14 44 45 56 66 641142332X Ccnxnl12l1113岁l1*L1L2xlnL3CnXz2z4cnz3z1Cz2Xz1z4（一）c1c3C2（b）第（1）款x1x3X2（c）第（1）款c1c32（d）其他事项C31C2（e）X31x2图1.由通过n个固定点的线的所有并发n元组形成的并发线簇的子簇表示(a) 这些点的所有透视图像的集合，以及（b）由对应针孔拍摄的所有图像的集合图像（或等效地，束）坐标系（c）的引入打破了这种二元性，但是它可以通过（d）-（e）使用由所有相机观察到的四个基准点来定义对应的图像坐标系来恢复。对偶性的理论公式可以给出任何场景和图像坐标系（Prop.2.5和图1[d，e]）[1，4，11]。(2) 角色化简化的多视图几何体。我们目前在Sect。3根据减少的联合图像及其对偶（Prop. 第3.4段）。我们还介绍了一种新的三目几何参数化在原始和对偶约化三线性方面。这些条件的一个有趣的特征是，与三焦点张量不同[9，20，24]，它们受到非常简单的内部约束[6，7，11]（Prop.4.3）。(3) 添加到三视图可持续森林管理武器库。 我们的减少三线性导致新的算法结构从运动从原始和双重三线性，与compet-在真实和合成数据的实验中表现出色（Sect. （五）。P3中的直线与P5中的二次超曲面的乘积，称为Klein二次曲面。 两条坐标为l=（u;v）和l′=（u′;v′）的直线相交（或等价地共面）当且仅当u·v′+u′·v=0。与P3中的点x相关联的线束是通过该点的线的集合 它对应于克莱因二次曲面的二维射影子空间，（射影）同构于任何不通过x的平面π，丛中的每条线都与它与π相交的点相关联。最后，[17]中的以下结果将在续集中重复使用。命题1.1（[17]）。 三条具有Plücker坐标l，l′，l′′的直线相交的一个必要（一般充分）条件是，l2l′l′′l3l′l′′l1l′l′′l4l′l′′1.3. 线几何T1=13l′l′′，T2=11l′l′′，T3=12l′l′′，T4=15l′l′′（二）我们的大部分介绍将区分纯粹的地理-3 3l4l′l′′1 1l5l′l′′2 2l6l′l′′5 5l6l′l′′从建立在某些坐标系中的分析性质中获得点构型的度量、无坐标性质。为了避免混淆，我们将使用电传字体来指定Pn中的点，例如， x、y，以及粗斜体字体以指定它们在某个坐标系中的齐次坐标，例如，x，y。因此，我们是说点还是说它们的齐次坐标应该是清楚的，为了简单起见，我们常常把这两种表示都称为点。 我们将任何射影基的前n +1个点称为（x1，. . . ， xn+1， xn+2），坐标为（1，0，. . . ，0）T到（0，. . . ，0，1）T，坐标点。最后一个，xn+2，坐标为（1，. . . ，1）T，称为单位点。让我们在这里也回顾一下线几何的一些基本概念连接运算符将两个不同的点x和y与通过它们的唯一直线x≠y相关联 给定P3的某个坐标系，这个几何算子有一个解析对应物，连接坐标为x =（x1，. . . ，x4）T，以及y=（y1，. . . ，y4）T具有齐次Pluücker坐标6 × 3矩阵[l，l′，l′′]的所有元素都为零。此外，一个子图Tk（k = 1，2，3，4）的消失是这些直线允许通过第k个坐标点的公共断面的充分必要条件。2. 点组态与CW对偶2.1. 几何观点将场景点和相机移动到一起而不改变它们的相对位置将不会改变相机记录的场景的图像这有时被称为结构与运动的投射模糊性，但我们在这里建议用投射构型来捕捉潜在的定义2.1. 如果Pn中的两个k -点元组通过Pn的一个射影变换相关联，则它们是同构的。同构是一种等价关系，它的等价类称为k-构形.Σ Σx y -x yx y−x y与k个点x1到xk相关联的配置是de-l= u，其中u = x4y2 − x2y4，v = x3y1 − x1y3。（ 一）注：1。. . ，xk. 对于k ≤ n+2，类属点u-vx4y 3−x 3y 4x1y2−x2y1比例总是同构的，所以我们假设k> n+2从现在根据P3的针孔c和视网膜的（1）中的向量u和v在构造上是正交的，并且P lücker坐标标识四维集合平面π不通过c，相应的透视投影可以用纯几何的方式定义nz3CCX22714图2.像点和视线配置是同构的并且独立于视网膜平面。图3.场景点和针孔配置之间的几何Carlsson-Weinshall对偶性。作为与P3中任意点x/=c相命题2.3（图3）。 如果x›→x是一个Cr emona连接c和x的视线相交的点π。反过来，这种映射导致了不同像平面π和π ′中点的k-配置之间的同构，以及这些和通过c的可见光线的相应k -配置之间的第二同构，被视为线束的元素（图10）。2）的情况。当然，这只是一个熟悉的故事，在语言的复述。但它也表明，透视投影可以被视为场景配置之间的映射1，. . .，xk，cn，其确定可见光线cnxi和它们的图像对应物c n y1，. . . ，yk. 我们有时会将场景配置写成x1，。. . ，xk|C.而不是1，. . . ，x，k，c，以强调最后一个点被视为针孔。在此设置中，交换针孔和场景点的角色会导致置换场景配置的相应排列对点构型的影响可以用所谓的P3的克雷莫纳变换来描述，正如Coble在1915年的一篇论文中所解释的那样[2]（关于这个主题的更近的描述也见[3]）。 正如我们将在下一节中讨论的那样，解析映射（x1，x2，x3，x4）T›→（x−1，x− 1，x−1，x−1）T相对于四元组Z=（z1，. . .，z4），然后任意两个场景配置<$z 1，z2，z3，z4，x |c.z1，z2，z3，z4，c|x的值是相等的，因此产生相同的图像配置x1，. . . ，y4，y 0. 这里y可以被认为是x从c的投影或者c从x的投影。2.2. 分析观点现在让我们引入Pn中k-组态空间的局部参数化，其中k> n+2：我们选取n+2个点，并赋予它们任意但固定的齐次坐标（选择这些点作为Pn的基通常是方便的，但绝不是必要的）。假设这些点处于一般位置，并且分配给其中任何n+1个点的坐标是线性独立的，这唯一地定义了Pn的坐标系，该坐标系取决于n+2个点的选择，但是是整个构型的固有坐标系特别地，剩余的k-n-2个点的坐标可以用来参数化配置。在我们的设置中，这转化为给四个固定点z1指定任意坐标12 3 4在CW对偶的标准公式中使用的是确实是克雷莫纳转型的一个例子。目前，我们可以陈述以下更一般的几何结果，该结果来自Coble的理论（见[2]，Sect. 7]或[3，Chap. 6]）。引理2.2. 如果Z=（z1，. . .，z4）是P3在一般位置上的四重不动点，则存在一族定义在P3的稠密开集上的双关系i n解TZ：x<$→x<$（Cremonainvolutions），使得对于该开集上的任意点x和y，x，y<$=<$z1，z2，z3，z4，y<$，x<$<$成立（构形相等）. 任何两个这样的调用都由P3的一个固定Z的射影变换联系起来.请注意，此语句不涉及针孔和场景点。然而，作为直接推论，我们得到了Carlsson-Weinshall对偶的几何和坐标自由公式，对与四重点Z相关的任何Cremona对合都有效。以4×4矩阵Z=[z1，z2，z3，z4]的形式，并将任意坐标c分配给针孔。这冻 结 了 P3 的 坐 标 系 ， 并 提 供 了 一 个配置的参 数化。. . ，z4，x |c*使用点x的坐标x。我们还选取了连接针孔和点z1到z4的四条可见光线l1到l4作为相应光束的参考点，并以3×4矩阵U=[u1，u2，u3，u4]。这冻结了束的坐标框架，并提供了配置的参数化。. . ，l4，l通过射线l的坐标u来计算其线的坐标。当然，这也提供了配置的参数化。. . ，y，y′，y ′。下面的结果来自一些简单的计算（详见补充资料）。提案2.4. 给定任意一般矩阵U和Z，与针孔c相关联的透视投影可以解析地表示为投影映射Pc，228。（六）由1定义的P3到P2|x，z2，z3，z4||c，z2，z3，z4||z1，x，z3，z4||z1，c，z3，z4|Pc（x）= [u1，u 2，u 3，u 4]π，（3）|z1，z2，x，z4||z1，z2，c，z4||z1，z2，z3，x||z1,z2,z3,c|其中我们假设wlog坐标向量ui所以u1+u2+u3+u4= 0。有图4.由点c构成的扭曲立方体，使得c≠x相对于cz1，cz2，cz3，cz4的坐标是恒定的。对于Z=Id4和U=[Id3，-13]，我们有Pc （x ）=（x1/c1，x2/c2，x3/c3，x4/c4）T，与Pc相关联的投影矩阵是在[1，4，11]中以不同形式出现的简化相机模型下面的结果描述了集合S（详细信息请参见柔软的材料）。3.1号提案。(1)对于固定的c和u，（c，x，u）属于S的点集xsuc h是一条具有Pluker坐标的直线1/c10 0−1/c4x1/c 1c1c 40 0电话：+86-21 - 6666666传真：+86-21-66666666Pc=001/c20−1/c4π，或Pc（x）= ππ。0 0 1/c3−1/c4CX3/C3英寸x4/c 4其中Qc=0 0c3c40 −c2c3c2c3(4)这个方程在x和c上是对称的，其中y<$→y<$=（y−1，y−1，y−1，y−1）T是标准克雷莫纳对合。c1c30 −c1c3−c1c2c1c2012 3 4这是引理2.2意义下的克雷莫纳变换因为很容易看到两个六元组 z1，. . .， z4， y1， y2和z1，. . . ，z4，yx2，yx1通过P3的投影变换而线性相关。更一般地说，我们有下面的结果，它可以通过直接计算来显示（见补充材料）。提案2.5（分析 Carlsson-Weinshall对偶）。P3的有理映射由下式给出：（2）对于固定的x和u，点的集合c使得（c，x，u）是一个通过z1的扭曲立方。. .，z4x（图）4）.这个命题的变体可以在[1，4，11]中找到。在Eq. (6)当然是经典（转置）线投影矩阵的一个实例。它将在本演示文稿的其余部分发挥关键作用。我们现在考虑n个针孔c1，. . . ，c n，以及相关联的简化相机y=ZΣ1|、|,1|、|,1|、|,1|z 1 z 2 z 3y|ΣT（五）Pc1，. . . ，Pcn. 在[21，23]之后，我们描述了geome-尝试使用（P2）n中的联合图像对这些相机进行处理。定义3.2.减小的联合图像VZ（c1，. . . ，c n）作为-是相对于P3中坐标为Z的点的克雷莫纳对合。 使用这个Z和（3）中的任意图像坐标U，我们得到Pc（x）=Px<$（c<$）。3. 简化的多视图几何体我们现在将我们的研究限制在Z=Id4和U=[Id3，-13]的情况下，以便所有相机都可以用方程的“标准”简化形式的投影矩阵因此，从现在开始，用P3和P2中的坐标x和u来识别场景点x和它们的图像y。3.1. 减少关节图像令S表示P3×P3×P2中的三元组（c，x，u）的集合，使得Pc（x）=u，其中Pc是如（4）中的简化相机。对于固定的c和x，当然存在一个u使得（c，x，u）属于S。更一般地说，我们有[1]虽然Pc显然依赖于U和Z，但我们在符号中隐式地保留了这种依赖性，以避免混乱。与n个固定的针孔C1，. . .，c n是n的集合。元组（u1，. . . ，un），使得对应的可见光线是共线的，或者等价地，使得存在某个点x，使得（ci，x，ui）属于S.简化的联合图像是Triggs联合图像[23]的特殊情况P3的投影变换不影响联合图像，所以VZ（c1，. . . ，Cn）完全由ΔC1，. . .，cn，z1，. . . z4π（图5，左）。现在让我们考虑n个固定场景点x1，. . . ，X n。定义3.3. 对偶缩减联合图像V_（zz）（x1，. . . ，xn）与n个场景点x1，. . . ，xn是n元组（u1，. . . ，u n）在（P2）n中是图像点x1，. . .，xn对于一些简化的具有（未知）针孔c的摄像机Pc，或者等价地，使得存在某个点c，使得（c，xi，ui）属于S。注意，该条件要求通过z1，z2，z3，z4的n个扭曲三次曲面相交于点c。2293232131321211 1112323313112122 2224 1414 24 24 3433 333323 1232 11312213 23113 231 2134 1414 24 24 3433 33341231 21321 32132 12 33 13 2都为零，其中vi=ui+2−ui+1，v′=u′−u′和i i+2i +1v"=u"−u"以及索引加法模3。i i+2i +1图5. 左：一个简化的联合图像特征的所有会聚的视觉射线从三个针孔。右：双重简化联合图像表征三个场景点的所有透视图像。集合V∈Z（x1，. . . ，xn）描述了n个固定点的所有透视图像（图1）。5，右）。它对P3的投影变换是不变的，并且完全由1，. . . ，xn，z1，. . . z4在P3中的平均值。代数特征这个命题直接从（2）和矩阵Qc的形式得出。 它的对偶涉及三个场景点x，x′，x′′ ，而不是三个针孔，并且通过将Prop. 三点五3.6号提案。设x=（1，1，1，1）T，给出了u，u′，u″是x，x′，x″在约简摄像机Pc上投影的一个必要条件（一般充分条件）。一些未知的c）是四个行列式T1到T4，分别由u2，x′u′，x″u″u3，x′u′，x″u″u1，x′u′，x″u″v1，x′v′，x″v″双重多视图约束的大多数情况下缺席的u3，x′u′，x′u′′，u1，x′u′，x′u′′，u2，x′u′，x′u′′，v2，x′v′，x′v′′[2014 - 04 - 14]阅读全文[2014 - 04 - 14]阅读全文[2014 -04 - 14]阅读全文[2014 - 04 - 14]阅读全文[2014 - 04 - 04]阅读全文[2014 - 04]阅读全文[2014 - 04 - 05]阅读全文[2014 - 05 - 05]阅读全文[2014 - 05 - 05]阅读全文[2014 -05 - 05]阅读全文v1，x′v′，x′v′′v2，x′v′，x′v′′v3，x′v′，x′v′′v3，x′v′，x′v′′结果是CW对偶的直接推论。提案3.4 与n个场景点x1，. . . .，xn是与它们的图像x∈1，.，. . . ，xn在任何Cr e-都消失了4. 三线性的代数约束（八）关于z1，z2，z3，z4的mona对合。特别是，像它们的原始对应物[21]一样，对偶联合图像诱导对点对应的多线性约束。3.2.约化多线性现在让我们将迄今为止提出的一般方法于与形式（4）的简化相机的点对应相关联的双线性和三线性约束 给定与带针孔的摄像机c和c′相关联的两个像点u和u ′，u和u′形成对应的充分必要条件是可见光线l=Qcu和l′=Qc′u′彼此相交或相等，（l |l′）= 0. 这立即产生双线性关系u TFu′=0。当c=1.4时，F是[1，11]的约化基阵（另见[4]）. 反过来，在这个方程中，将x′，x′′替换为c′，c′′，我们也得到了e表达式。对两个固定的景物点x，x′，给出了简化对偶基本矩阵的分解，刻画了对偶简化联合像V_Z（x，x′）. 我们可以用同样的方法在三个图像中描述对应关系。实际上，将Qcu、Qcu′和Qcu″替换为等式1中的l、l′和l″。(2)从prop。1.1立即产生以下结果。3.5号提案设c=（1，1，1，1）T，u，u′和u′′形成的在本节中，我们将研究特殊的原始和对偶三线性条件（7）和（8）。特别是，我们表明，这些多项式形式的系数受到非常简单的代数约束。这与经典的三焦点张量和诱导三线性[9，20，24]形成对比，它们也表征了三个视图之间的对应关系，但已知满足非常复杂的内部约束[6，7，11]。这一特点表明，我们的三线性系数可以很容易地估计从图像数据和重建算法中使用这将通过我们在第5节中的实验得到证实。我们的第一个观察是，条件（7）和（8）可以被看作是“混合”坐标u和v中的多项式3.5），或者也可以在“纯”图像坐标u's中根据变量的选择，三线性具有不同的系数。这些系数通过（不可逆）线性变换相关，但存在一些差异，如下所示。4.1. 混合坐标系中的三线性在“混合”坐标u和v中的四个简化的原始三线性T1=−ρ23v1u′u″+ρ24u2u′v″+ρ32v1u′u″−ρ34u3u′v′′−ρ42u2v′u′′+ρ43u3v′u′，对应的r值为Pc、Pc′、Pc′′，T=ρv u′u′′−ρu u′v′′−ρv u′u′′四个行列式T1到T4，分别由下式+ρ34u3u′v′′+ρ41u1v′u′′−ρ43u3v′u′′，1 2 2 32 1（九）′ ′ ′′ ′′′′′′ ′′′′′′ ′′′′′′ ′′T3=−ρ12v3u′u″+ρ14u1u′v″+ρ21v3u′u″u2，c3u2，c3u2u3，c1u3，c1u3u1，c2u1，c2u1v1，c1v1，c1v12 1 2 3 1 2′ ′ ′′ ′′′′′′ ′′′′′′ ′′′′′′ ′′−ρ24u2u′v′′−ρ41u1v′u′′+ρ42u2v′u′，u3，c2u3，c2u3，u1，c3u1，c3u1，u2，c1u2，c1u2，v2，c2v2，c2v21 3 3 2 3 1v1，c′v′，c″v′′v2，c′v′，c′v′′v3，c′v′，c′v′′v3，c′v′，c′v′′T=ρv v′v′′−ρv v′v′′−ρv v′v′′（7）+ρ23v1v′v′′+ρ31v2v′v′′−ρ32v1v′v′′，14230I jI jI jI j4 22 4334 33 422其中ρij=c′c′。Ti 的六个非零系数是ρjk，其中j，k在{1，2，3，4}\{i}中不同。因此，T i的有效系数的六元组是R6中没有零条目的 向 量 ， 并且可以写成（aibj）ij的形式，其中a，b在R3中。这些向量完全由以下结果表征。4.1号提案向量d=（d12，d13，d23，d21，d31，d32）在R6中可以写成d=a B对于某些向量这六个非零系数是标量ρij=c′c′′的线性组合。 我们现在解决这些系数所满足的内部约束。第4.3条。 如果我们允许c′，c′′对x取值，则R6中的向量τ表示（10）中T1的一组可行系数当且仅当其元素和为零。 在这种情况下，直到比例因子，有两对（可能是复杂的）解决方案（c′，c′，c′）T和（c′，c′，c′）T。i j i j23 4234在R3中a=（a1，a2，a3）T，b=（b1，b2，b3）T当且仅当d12d23d31=d21d32d13成立。证明草图。 我们记为τ =（τijk），其中τijk是uiu′u″在T1中的系数.从（10）可知，JKPr oof. 通过用aibj代 替d i j，我们看到该条件是必要的。相反，如果d的一个元素（比如说）d12不是这是τ的元素和为零所必需的。为了骗局-第一节，我们注意到τ=Aρ1，其中0且d满足条件，我们总是可以设置a1=1并解决所有剩余的条目。τ223τ2320 0 −1 0 101 −1 0 0 0 0ρ23ρ24τ2330 1 0 0 −1 0ρ32τ=ππ，A=π，ρ1= ππ。（十一）因此，每个三线性的系数被约束τ3220 0 0 1 0−1ρ34一个简单的立方关系。另一方面，每对三线性共享两个系数，因此我们期望额外的τ323τ3320 0 1 −1 0 0−1 0 0 0 01ρ42ρ43T1，. . .、T4.这与将在第5节中描述的重建方法有关，其中在点对应上评估的三线性（7）被视为单个R12中的向量ρ=（ρij），使得ρij=c′c′′，其中i，j在{1，2，3，4}中不同. 在这种情况下，R12中的ρ是有效解的条件由以下结果给出证明是类似的，prop。4.1. 详情请参阅补充资料第4.2段。对于R3中的某个向量a=（a1，a2，a3，a4）T，b=（b1，b2，b3，b4）T，如果且矩阵A1的秩为5，其行和列之和为零。特别是，方程的解ρ1（11）对于某个标量t，总是可以写为ρ1=ρ0+t16，其中ρ0是τ = Aρ0的任何解。如果τ的元素之和为零，则这样的ρ0总是存在的 为了使τ成为一个有效的系数集，向量ρ1必须作为c′c ′。 根据prop。4.1，这对应于条目ρij中的单个方程，我们可以用它来求解t。此外，虽然这个方程是关于ρij的三次方程，但很容易看出t3项被消去了，所以我们只剩下关于t的二次方程。该方程的两个（可能是复数）解中的每一个都决定了向量（c’，c’，c’）T和（c’，c’，c’）T的标度。仅当dijdkl=dildkj对所有排列（i，j，k，l）成立23 4234（1，2，3，4）。4.2. 图像坐标中的三线性用混合u现在我们在纯象坐标中描述三线性。值得注意的是，在这种情况下，每个三线性的内部约束是完全线性的。为了简化我们的介绍，我们专注于三线性T1。三次线性度T2、T3与T1在指数变换时相同.三线性T4具有不同的解析形式，但它编码相同的几何信息，也具有类似的性质。所有三线性的一般处理可以在补充材料中找到。一个简单的计算表明，T1=（−c′c″ +c′c″）u2u′u″+（c′c″−c′c″）u2u′u″+虽然解决方案在Prop。4.3原则上可以是复共轭的，当从精确对应估计向量τ时，它们将是实数，并且在小扰动下保持实数。 我们还注意到，提案的声明。4.3在没有修改的情况下对三线性T2，T3成立。在T4的情况下，有24个非零系数而不是6个，但这些也仅受线性条件的约束（在所有情况下，有效系数的集合是5维的向量空间）。每个三线性的系数不受非线性约束的事实可能看起来令人惊讶。证明这一性质的一种方法是指出我们的三线性和2D三焦度之间sors这些（2×2×2）-张量刻画了从P2到P1的投影三元组的对应关系.Quan [19]证明了这些张量的条目是3 2 4 2 2 32 3 2 4 3 2也不受任何内部约束。在柔软的-（−c′c″+c′c″）u2u′u″+（−c′c″+c′c″）u3u′u″+材料，我们认为，减少三线性（c′c″−c′ c ″）u3u′u″+（−c′c″+c′c″）u3u′u″。可以通过将2D三焦点张量与线性组合来获得3 2 3 4 2 32 3 4 33 2（十）坐标的变化这个事实背后的想法是，231I jI j12412图6.三线性表示三条共面直线相交的条件。这些是在原始情况下（左）会聚在某个场景点x的三条观察光线从zk的投影，以及在对偶情况下（右）会聚在某个针孔c的投影根据Prop。1.1 [22]中，每个三线性Ti都施加了三个观察光线允许通过点z i的公共横截的条件。如果我们用适当的坐标固定视网膜平面，这与要求三条共面线在一点相交相同，这是由2D三焦点张量施加的条件。详见图6及补充资料。5. 一种准线性三视图SFM算法我们现在表明，四个三线性（原始或对偶）可以用来解决结构从运动时，有足够的对应让我们首先考虑原始三线性。 如前一节所述，每个点对应对向量ρ施加了四个线性条件，其元素为ρij=c′c′′。 G iv enp对应，我们可以堆叠相应的线性方程组以形成4p ×12矩阵T，并将所有约束写为T ρ =0。然而，容易实现T112= 0，与图像坐标无关。在没有噪声的情况下，T的核因此总是至少二维的，因为它包含112和我们问题的我们利用向量ρ的特殊形式来解决这个问题。特别地，设e是核中与112无关的向量，因此对于某个标量λ，我们可以写为ρ=e+λ112，因此对于j，ρij=c′c′=eij+λI. We这些方程足以确定c′和c′′，从而确定c′和c′′。三个对应（除了四个[2]注意，尽管向量ρ必须满足某些代数约束，才能具有形式ρij=c′c′′（见Prop.4.2），我们的策略通过直接恢复向量c′和c′′来绕过这个困难。换句话说，这种“准线性”方法总是保证返回有效的解（在存在噪声的情况下，它将近似于“真实”解）。在实践中，我们在这些图片之间的（已知）对应中挑选四个参考点，并应用适当的图像坐标变化，使它们成为基点。然后，我们使用奇异值分解和剩余的点来找到与T正交的ρ中的方程组的最小二乘解e，最后使用等式(13)来计算针孔的位置。线性最小二乘法，然后可以再次使用重建，结构所有场景点从已知的针孔和图像坐标。我们对参考点的随机四元组和固定次数的迭代重复此过程，并报告结果。对偶算法非常相似，只是这次我们固定了三个点x，x′和x′′，而不是三个图像。我们再次重复挑选四个随机参考对应，并使用x、x ′和x ′′的所有图像（至少三个）来重建它们。 过程与上面相同，用x，x′，x′′代替c，c ′′。5.1. 初步实验我们已经实现了所提出的算法的原始版本和对偶我们强调，本报告的主旨是理论性的，目的是更好地理解I j′′′多视图几何图形。我们在此并不主张hav e，例如c3=（e13+λ）c1=（e23+λ）c2，以及c′′=（e14+λ）c′=（e24+λ）c′。 这一切都要求我们消去λ，得到（e23−e24）c′+（e14−e13）c′=0。收集所有类似的约束，最终得到以下等式：e23−e 24e 14−e 130 032−e340e14−e12042−e430 0e13−e12性能优于现有技术，我们的实验仅作为概念证明，以验证两点：(1)我们的算法给出了合理的重建的真实数据在最小二乘设置;（2）在只有7个对应的情况下，它的原始版本对加性高斯噪声的合成数据也给出了合理的结果。Inria玩具屋数据[16]. 该数据集由6张图像相同的38个点。 无论以什么标准衡量，它都很小，但2000年9月31日-34日-21日阿利什卡= 0，（12）足够的观点和通信来证明0e43−e 410e21−e230 0e41−e 42e 32−e 31e32−e 42e 41−e 310 023−e430e41−e210我们算法的原始版本和对偶版本它还可以轻松地可视化结果，因为它包含连接数据点的边（当然，此信息仅用于显示）。图7显示了在5、20和50个不同的四元组中的最佳选择所获得的重建。24−e 340 0e31−e21′′2010年6月13日-43日-42日阿利什卡= 0（13）2三视图结构的最小对应数0e14−e 340e32−e120 0e14−e 24e 23−e 13《易经》云：“六道轮回”。该算法不是23220项试验10项试验5项试验3LTFT中位重建误差（mm）基于重投影误差的参考点在投影配准之后，将重建覆盖在地面实况3D点上，连同以像素为单位的相应平均重投影误差以及以场景半径的百分比为单位的平均相对重建误差。3在20个不同选择的情况下，两种情况下的重投影误差都是相当合理的，并且仅在5个随机选择之后，重建本身也是相当合理的为了方便起见，我们还测试了Julia '和Monasse [12]4的三焦点张量线性估计代码，这里称为3LTFT。它产生的平均重投影和重建误差分别为0.7像素和0.3%，但与我们的方法不同，它受益于Hartley镜头约1米远，并添加了高斯噪声，其中标准偏差σ在0和2像素之间变化到图像坐标。图8显示了平均重投影和重建误差的中值，分别以像素和mm为单位给出，用于7个点对应和不同σ值的40个随机选择。5 3LTFT图以黑色显示，我们的方法的曲线以蓝色，绿色和红色绘制，如图8，3LTFT一般比我们的原始方法做得更好，但这两种算法在低噪声水平下都给出了合理的重投影和重建误差。35 2018301625141220101581064525.7像素/1.7% 2.6像素/0.7% 1.8像素/0.7%000.20.40.60.811.21.41.61.82Sigma000.20.40.60.811.21.41.61.82Sigma图8.用合成数据进行实验[12]。详情见正文18.0像素/1.6% 5.2像素/1.4% 3.8像素/1.3%图7.在Inria房屋数据上的实验[16]。配准重建（红色）与我们的算法的原始（顶部）和对偶（底部）版本的地面实况（蓝色）。从左到右显示了5、20和50个不同图像基点选择的结果。合成噪声数据[12]。我们还比较了我们的原始方法与3LTFT的合成数据与各种数量的加性高斯噪声。在该设置中，根据来自三个图像的7个对应关系（LTFT和我们的算法的最小数量）来估计相机参数。重建的质量通过测量其预测数据集中剩余点的重投影以及它们的3D重建的程度来评估，再次通过全息图与地面实况配准这是其中两种方法都可以在实践中用于例如在最终光束法平差步骤之前经由RANSAC建立对应关系在[12]中，我们构造了一个由100个随机分布在边长为400mm的立方体中的点组成的场景，由三个1200×1800的35mm相机6. 结论我们提出了一种新的坐标自由的方法来多视图几何，解释Carlsson-Weinshall对偶性，并导致新的算法的原始和对偶结构的运动。我们认为，这种类型的工作，其目标是完成我们对3D计算机视觉的几何基础的理解，必须追求一个清晰和统一的多视图几何图形出现。虽然，我们不主张以任何方式建立一个新的国家的最先进的算法，我们也相信，我们的初步实验表明，他们可以作为另一个有用的工具集，在现有的武器库的方法，以SFM。致谢。 这项工作得到了Inria/NYU合作协议、LouisVuit ton/ENS 人 工 智 能 主 席 、 Inria-CMU 联 合 团 队GAYA、ANR Recap和三星电子的部分支持。3这里，“最佳”基是最三个图像的误差，当然没有使用3D地面实况信息，mation4可查阅https://github.com/LauraFJulia/TFT_vs_基金。[5]我们使用中位数而不是平均值，因为对于两种方法的7种对应关系中的某些选择，后者有时会完全偏离轨道。详见补充资料。20项试验10项试验5项试验3LTFT中值重投影误差（像素）233引用[1] S. Carlsson和D.韦恩希尔从多幅图像中对偶计算投影形状和摄像机位置IJCV，27（3）：227[2] A. B.科布尔 点集和有关克雷莫纳群（第一部分）。Transactions of the American Mathematical Society ， 16（2）：155[3] I.多尔加切夫射影空间中的点集与θ函数。1988 年 出版，第165期。[4] O.福格拉斯用未校准的立体装置在三维空间中可以看到什么？In G.Sandini，编辑，ECCV，计算机科学讲义第588卷，第563-578页史普林格出版社[5] O. Faugeras，Q.T. Luong和T.帕帕多普洛多重意象的几何尝试.麻省理工学院出版社，2001年。[6] O. Faugeras和B.下雨了。关于n个图象间点、线对应技术报告2665，INRIA Sophia-Antipolis，1995年。[7] O. Faugeras和T.帕帕多普洛Grassman-Cayley代数用于摄像机系统的建模和三焦点张量流形的代数技术报告3225，INRIA Sophia-Antipolis，1997年。[8] R.哈特利为8点算法辩护。在ICCV，第1064-1070页[9] R.哈特利三视图中的线和点以及三焦点张量。IJCV，22（2）：125[10] R. 哈特利河Gupta和T.昌来自未校准摄像机的立体声在CVPR，第761-764页[11] R. Hartley和A.齐瑟曼。计算机视觉中的多视图几何。剑桥大学出版社，第2版，2004年。[12] L. Julia和P.莫纳斯三焦点张量估计的评论。在PSIVT，2017年。[13] J. Koenderink和A.范多恩。运动仿射结构。光学学会杂志Am. A，8：377 -385，1990.[14] A. Levin和A. Shashua重温单视图形状张量：理论与应用。见ECCV，2002年。[15] 问：T. Luong和O.福格拉斯基本矩阵：理论、算法与稳定性分析。IJCV，17（1）：43-76，1996.[16] R.莫尔湖Quan，F. Veillon和B.布法玛使用多个未校准图像的相对3D重建技术报告RT 84-IMAG 12-LI