理性相机的一般模型和双缝投影

1935有理照相机的一般模型和双缝投影Matthew Trager1，2 Bernd Sturmfels3 John Canny3 Martial Hebert4 Jean Ponce1，21E'coleNormaleSupe' rification，CNRS，PSLResearchUni versity2Inria3UCBerk ele y4Carne gieMellonUni versity摘要最近在[18]中引入的理性相机模型提供了用于研究抽象非线性成像系统及其多视图几何的一般方法。本文建立在这个框架来研究理性相机的“物理实现”。更确切地说，我们给出了一个明确的帐户之间的映射之间的物理视觉射线和图像点（在原来的描述中丢失），这使我们能够给出简单的解析表达式的直接和逆投影。我们还考虑了该方法是通用的，但它具体说明了深入研究的双缝相机，我们使用线性投影对模型。这种简单的分析形式使我们能够描述相应的原始相机的模型，引入具有明确几何意义的内参数，并定义表征两视图对应的极线张量。反过来，这导致了新的算法的结构从运动和自校准。1. 介绍在过去的20年中，已经见证了越来越多的一般成像系统的有效几何和分析模型的构建的稳步进展，远远超出了经典的针孔透视（例如，[1、2、5、6、12、13、16、18、19、21、25、26]）。特别地，现在认识到，任何成像系统的基本部分是场景点和对应光线之间的映射光线和它们与视网膜相交的点之间的映射在图像形成过程中起辅助作用。例如，对于针孔相机，所有视网膜平面在几何上是等效的，因为对应的图像图案通过投影变换彼此相关因此，最近关于一般相机模型的许多工作主要集中在场景点和由相应射线形成的线同余[9，14]之间的联系上，在纯投影设置[1，2]中。 合理图1.一般的摄像机将场景点x与视线l相关联，然后将光线l映射到其与某个视网膜平面π的交点y，最后使用π上的投影坐标系将y表示为P2中的点u。Ponce、Sturmfels和Trager [18]的相机模型是这种方法的一个最近的实例，并且为研究非常大的一类成像系统和相应的多视图几何提供了统一的算法框架。然而，它是抽象的，在这个意义上，视觉光线和图像点之间的映射是不确定的。这篇文章提供了一个具体的嵌入该模型，使映射从视觉光线到视网膜平面显式，从而确定合理的相机的物理实例。我们考虑的成像设备实际上是三个映射的组合：前两个是纯几何的，并且将场景点映射到视觉射线上，然后将射线映射到它们与视网膜平面相交的点上。最后一个映射是解析的：给定视网膜上的坐标系，它将图像点映射到它们相应的坐标上（见图1）。特别地，通过引入“原始”摄像机模型的概念，我们的方法适用于任意（理性）相机，但它是通过对双缝相机的深入研究[2，6，12，26]具体说明的，我们使用一对线性2×4投影矩阵。这种简单的形式允许我们描述相应基元相机，引入具有明确的几何意义的内在参数，并定义表征两视图对应的极线张量反过来，这导致了新的算法的结构从运动和自校准。19361.1. 背景从十五世纪起，针孔（或中心）透视法就一直是物理成像系统的有效模型，从暗箱和人眼到达盖尔照相法和今天在这个模型下，场景点x首先被映射到连接x和c的唯一线l上，然后它本身被映射到它与某个视网膜平面π的交点y上。1所有视网膜在投射上都是等效的，因此，1) 我们引入了一对标定矩阵，它将针孔摄像机常见的上三角矩阵推广到我们的设定中，并且在相似变换下可以与双缝摄像机的轨道相识别2) 定义了对极张量，它描述了双缝摄像机的投影几何，推广了传统的基本矩阵; 3）利用这些结果描述运动恢复结构和自标定算法。成像过程的一部分是映射λLc：P3\c→Lc为了提高可读性，大多数证明和技术配对-将点与所述对应的可见光线相关联，通过针孔c的所有线的丛Lc[16]。类似地，通过用更一般的线族代替线束Lc ，可以想象（并且实际上构造[20，21，24]） 例如，Pajdla [13]和Batog等人 [2]已经考虑了与线性同余相关联的相机，即，服从线性约束的二维线族。该模型适用于双狭缝[12，23，26]、推帚[6]和铅笔[25]相机。对于这些设备，投影可以通过投影映射A来描述，使得每个点x被映射到连接x和Ax的线。最近，Ponce、Sturmfels和Trager [18]将该模型推广到非线性同余[9，14]他们研究的代数性质的基本地图，associates场景点到相应的视线，并提供了一个一般的框架，研究多视图几何在这种设置。另一方面，他们不关注成像过程的辅助部分，即将观察光线与图像坐标相关联，使该映射作为从一个同余到P2的任意双有理映射而未指定。我们在第2节中提供了具体视网膜平面和（像素）坐标系的缺失环节，这是定义具有物理意义的内在参数和开发多视图重建的实际算法的关键。将推迟到补充材料。1.3. 记法与初等线几何记法。我们用粗体字母表示矩阵和向量（A，x，u等）以及用于坐标（ai、xi、ui等）的常规字体。齐次坐标是从一开始索引的，点和平面都是列向量，例如，x=（x1，x2，x3，x4）T，u=（u1，u2，u3）T.对于投影对象，相等性总是取决于某个比例因子。我们将R3与P3中的点（x1，x2，x3，1）T等同起来，并采用标准的欧几里德度量.我们还使用自然的代数体系之间的射影变换的嵌套子群（从现在起称为自然射影子群）形成的欧几里得（方向保持）transforma- tions，相似性（欧几里得变换加缩放），仿射变换，和射影的。我们假定读者熟悉它们的分析形式。线几何图形。P3的所有线的集合形成一个四维簇，线的格拉斯曼簇，记为Gr（1，3）.通过P 3中两个不同点x和y的直线可以用P luéckercoo rdignates表示，写成l=（l41，l42，l43，l23，l31，l12），其中lij=5xiyj−xjyi. 这定义了P中的一个点，它是独立的。1.2. 贡献从理论角度看：1）我们给出了[ 18]中引入的抽象有理相机的具体嵌入，导出了这些相机的一般正投影和逆投影公式，以及2）我们引入了原始相机模型的概念，这些原始相机模型是在投影、仿射和欧几里得以及相似性组的作用下的有理相机的轨道，并导致诸如摄像机内参数的一般化的家族概念。从更具体的角度来看，我们使用该模型对双缝相机进行深入研究[2，12，26]。具体地说，[1]这当然是物理相机的抽象，其中正如[2]中所指出的，这并没有从这里采用的理想化模型中拿走任何东西。例如，配备有镜头的相机通过针孔相机有效地建模，忽略失真。x和y沿着l的选择的凹痕。此外，CO-任意直线l的纵坐标满足约束l·l=0，其中l =（l23，l31，l12，l41，l42，l43）是用于L.相反，P5中任何具有此性质的点都表示一条直线，因此Gr（1，3）可以与P5中的二次超曲面相一致。join（join）和meet（meet）运算符用于表示线性空间（点、线、平面）的交叉和跨度。例如，x=y表示通过x和y的唯一直线。 给出…的解析公式这些算子，引入直线l的原始和对偶Pluker矩阵是有用的：这些是分别定义的如L=xyT−yxT和L=uvT−vuT，其中x，y是l上的任意两点，u，v是包含l的任意两个平面（因此l=xy=uv）。根据这些定义，l与点z的连接l<$z是坐标为L<$z的平面，而与平面w的相交l<$w是坐标为Lw的点。193732. Rational相机为了方便读者，我们在第2.1节中简要回顾[18]的一些结果。然后我们在2.2节和2.3节中继续得到新的结果。2.1. 相机和线汇一致性。线同余是P3中的二维线族，或Gr（1，3）中的曲面 [9]。由于一般相机产生二维图像，因此由成像装置捕获的一组视线将形成全等。我们将只考虑由Gr（1，3）中的多项式方程定义的代数同余。每一个这样的同余L都与两个非负整数（α，β）相关联：阶α是L中通过P3的一般点的射线的数目，而类β是L中位于一般平面中的直线的数目。对（α，β）是同余的二度。不属于α不同直线的点的集合是焦点轨迹F（L）。几何有理相机。一阶同余（或（1，β）-同余）是大多数成像系统的自然几何模型[1，2，16]。事实上，（1，β）-同余L 定义了一个有理映射λL：P3−−·Gr（1，3），它关联一个2.2. 具有视网膜平面的理性照相机在本文中，我们采用[18]的框架来研究摄影相机的物理实例。我们将把由（1，β）-同余L定义的映射λL称为成像过程的基本该过程的辅助部分需要在P3中选择视网膜平面π。这就决定了一个映射μπ：L−−·π，它将L中的任何射线l关联起来，在π中，它与平面相交y=l<$π。用于一般选择π，这个地图不是在β线上定义的，因为从L出发的β线将位于π上（回忆2.1节中β的定义）。λL和μπ（或者等价地，L和π）一起定义了一个映射μπ<$λL：P3−−·π，可以采用作为一个几何理性相机的定义。 最后通过一个通过在π上拾取坐标系（π）来获得该模型的解析对应物，该坐标系对应于获得辐射测量的像素网格。将（π）表示为4×3矩阵Y=[y1，y2，y3]，其中列对应于基点，π上任何点y在P2中的坐标u由u=Y<$y给出，其中Y<$是Y的伪逆的三参数集合中的3×4矩阵（例如参见[16]）。 注意，μπ和P3中的一般点x，具有L中唯一的λL（x）线，2Y是线性的，事实上，简单的计算表明，N=Y<$µπ由3×6矩阵描述包含x。 描述了这种形式的所有可能的映射[18]。直线λL（x）的Pluker坐标是坐标系中β+1（y2N=Y<$µπ=（yy）1）不好意思。（二）x的坐标 例如，一族（1，β）-同余由一条β次代数曲线γ和一条直线δ定义在β-1点上与γ相交[14]。它的光线是常见的（年1月2日）这个表达式不依赖于L：它表示线性横截于γ和δ。 映射λL：P3−−·Gr（1，3） 3映射P5−−·P2，将P3中的一般直线l与其与π的交点在P2中的坐标u相关联。可以使用P的适当坐标表示为：X1x1f（x 1，x2）例1. 考虑平面π={x3−x4=0}200万美元f（x1，x2）在P3中，配备有由y=λL（x）=λ∨（1）第一章x3X4g（x1，x2）h（x1，x 2）（1，0，0，0）T，y2=（0，1，0，0）T，y3=（0，0，1，1）T（其中固定的相对比例）。在这种情况下，矩阵N取其中f、g和h分别是次数β−1的形式，β和β。 当β >0时，其余的（1，β）-同余形式1 0 0 0−10对应于这种情况下的退化，或者对应于扭曲三次曲线的横截。这些都可以用类似的方式进行参数化[18]。理性摄影机将λL：P3−−·Gr（1，3）与任意的双有理映射ν：L−·P2组 合 ，确定了一个映射<$r =ν<$λL：P3−−·P2，它被视为一般的“照相”有理相机的定义[18]。虽然该模型导致多视图约束的有效公式化，但是它是抽象的，在u=λ L（x）和射线λL（x）与感测阵列相交的实际图像点之间没有明确的2射影空间之间的有理映射是其坐标是齐次多项式函数的映射。特别地，这个映射在所有这些多项式都为零的点上没有很在这里和下面，我们使用虚线箭头来表示仅在稠密开集上定义良好的有理映射。N=10010100米。（三）00 1 0 0 0相应线性投影的零空间为{p41−p31=p42+p23=p43=0}，它表征包含在π中的线。♦总而言之，物理照相理性相机的完整分析模型是映射λL：P3−−·P2，它是与（1，β）-同余L相关的基本映射λL：P3−−·Gr（1，3）和（2）的线性映射N的x<$→u=n（x）= NλL（x）.（四）通过构造，（x）的坐标是x中β+1次的形式。当然，我们可以直接用这种形式定义一个有理相机（实际上，有理相机通常用于摄影测量[8]）。注意3193812然而，由于P2中一般点u的原像应该是一条线，所以任意有理映射一般不从（4）我们还容易地恢复逆投影χ：P2--·Gr（1，3），其将P2中的点映射到L中的对应视线上：u<$→ l = χ（u）= λL（Y u）.（五）l的P luker坐标也是u中的次β+1的形式。等式（5）可以用于定义点对应的对极或多视图约束，因为它允许人们根据对应的图像坐标来表达观察光线之间的入射约束[21]。另见第4节。最后，让我们指出，尽管一个理性的照相机λ：P3−−·P2是根据一个集合L、一个视网膜平面π和一个在π上的投影参考系引入的，但视网膜平面在给定λ的情况下往往不能（完全）确定。这是众所周知的针孔相机，我们将认为，一个类似的模糊性出现了双缝相机。另一方面，很容易看出，同余L和全局映射N总是可以从相机的解析表达式中恢复：同余L实际上是由P2中点u在k下的原像−1（u）确定的，而N由N（−1（u））=u描述。2.3. 原始相机模型在前面定义的四个自然射影子群中的任何一个的作用下，有理相机的轨道是在相应变换下几何和解析等价的相机族。每个轨道将被称为对应子群的原始相机模型，我们将在适当和可能的情况下为每个这样的模型附加一个特别简单的分析代表。一个原始的相机模型展示（分析和几何）不变量，也就是说，在同一轨道上的所有相机的属性，由相关的转换组保存例如，针孔透视摄像机的内参数对于相应的欧几里德基元模型是不变量;在下一节中，我们将论证这个定义实际上可以应用于任意的理性相机。另一个熟悉的例子是绝对二次曲线的投影，它是任何成像系统的相似轨道的不变量。事实上，绝对圆锥曲线，在任何欧几里得坐标系中定义到满秩的3 × 4矩阵，因此针孔相机形成原始投影模型。仿射轨道是有限相机的家族，即，照相机的形式[A|其中A是3 × 3满秩矩阵。 在相似或欧几里得变换下的轨道是[ R]形式的照相机集|其中R是旋转矩阵。在这种情况下，eu轨道和相似轨道重合：这一点与透视针孔相机拍摄的照片中的比例模糊性有关的课程。有限相机的欧几里得/相似性变量可以表示为3×3上三角形校准矩阵K的条目：从RQ-分解A=KR的唯一性。用于“在无穷远处”的相机的原始模型缩放的正交投影和正交投影：这些轨道由自然射影群T′（x）=（x1，x2，x4）T下的轨道定义。这里的相似性和欧几里德轨道是不同的（事实上，正投影保存距离）.内参数可以表示为2×2校准矩阵的元素（参见[7，Sec. 6.3]）。本文的其余部分集中在一类特殊的理性相机，即双缝相机，上面介绍的一般概念可以很容易地应用。双缝相机实际上对应于类β=1的同余，因此它们可以被看作是针孔投影之后“最简单”的3. 双狭缝相机：案例研究双缝相机[3，6，12，23，26]记录的观察光线是两条固定的斜线（狭缝）的横向。相关同余的二度是（1，1），因为一般平面将包含恰好一个横截狭缝的线，即连接狭缝与平面相交的点的线这种类型的同余是Gr（1，3）与P5中的三维线性空间的交[2]。与狭缝l1、l2相关联的映射λL为：x<$→ l =（x <$l1）<$（x <$l2）。（六）我们现在固定配备有由Y=[y1，y2，y3]定义的坐标系的视网膜平面π。 理性相机P3−−·P2是通过将（6）与3×6合成而获得的。矩阵N如（2）中一个简单的计算表明，生成的映射可以写成complexnate系统由{x4=x2+x2+x2=0}，由固定1 2 3xTPS1Px所有的相似变换。 此属性通常为12x<$→u=<$xTP<$S2P<$x<$，（7）用于针孔透视cam-12xTPS3Px时代[11，15，17，22]，但它可以用于更一般的摄像头（见第4节）。其中，P_n，P_n是与以下项相关联的对偶P luker矩阵1 2为了进一步说明这些概念，我们描述了classi-用于针孔投影的校准原始模型。我们考虑标准针孔投影ψ（x）=（x1，x2，x3）T，它与3×4-矩阵[Id]有关|0]。 它的投影轨道由所有线性投影P3−−·P2组成，对应于狭缝l1，l2，而S1，S2，S3是Pluker矩阵，y2<$y3，y3<$y1，y1<$y2分别为[3，26]。实施例2. 让我们将狭缝固定为直线l1={x1=x3= 0}，l2={x2=x3+x4= 0}。相应的19391212图2. 左：针孔c在不包含c的任何两个视网膜平面之间诱导单应性。右：两条斜交线l1，l2在相交于横截线的平面之间产生单应性。坐标u1，u2是不变量）的双缝装置。Batog等人还认为，选择点y1，y2作为π上的投影基中的点，会导致投影的简化解析表达式。在这里，我们进一步发展这个想法，并观察到任何双缝相机与这种坐标系总是可以描述的一对线性投影。更准确地说，对于任何视网膜平面π，让我们固定坐标系Y =[y1，y2，y3]，其中y1=l2ππ，y2=l1π，y3为任意：在这种情况下，一个简单的计算表明，（7）简化为δ到l1，l2。Σu1Σ（pTx）（qTx）pTx/pTx1 2 1 2本质映射P3−−·Gr（1，3）由下式给出：x›→u2=（pTx）（qTx）=qTx/qTx、 （11）2 1 1 2u3（pTx）（qTx）1λ（x）=（x（x+x），x x，x（x2 2+ x），x x，0，−x x）T13423334 2 31 2（八）其中p1=（l1y3），p2=−（l1y1），q1=（l2y3），与例1中的投影N组合，我们得到具有狭缝l1，l2的有理相机的公式：u=n（x）=（x1（x 3+x 4），2x 2x 3，x 3（x 3+x4））T（9）q2=−（l2y2）是表示P3中平面的向量。 很容易看出，这个二次映射可以用两个线性映射P3−−·P1来描述，即从（7）可以推导出相同的表达式。♦x›→Σ Σu1为u3TxxxxpTx=A1x，x›→Σ Σu2=u3qTxqTx=A 2 x.（十二）在[3，26]中注意到，使用不同的视网膜平面一般来说，公式7中的π对应于构成有理摄像机π：P3−−·P2，图像坐标P2−−·P2有二次变化。然而，当π和π′沿着狭缝的横截线相交时，这种变换实际上是线性的这源于以下属性：引理1. 设l1，l2是P3中的两条斜直线. 对于不在这些直线上的任何点x，我们用λ（x）表示l1，l2通过x的唯一横截线。如果π和π′是两个相交于与l1和l2相交的线δ的平面，则对于不在δ上的点y，映射f：π −−·π′定义为：换句话说，（11）确定2×4矩阵A1和A2最多两个比例因子，反之亦然。自适用以来-对（11）中的x作射影变换相当于对A1和A2作矩阵乘法，我们可以很容易地导出每对零空间不相交的满秩2×4矩阵双缝相机的两个2×4矩阵类似于表示针孔照相机的3×4矩阵：例如，狭缝与这两个MA的零空间相关联三次3对于两个给定的投影矩阵，视网膜平面可以是包含直线{pT x=qT x=0}的任何平面：2 2f（y）=λ（y）<$π′，（10）可以推广到π和π′之间的单应性。该引理还意味着在狭缝的横向上相交的两个视网膜平面可以定义相同的定量相机（使用适当的坐标系）。注意与传统针孔情况的相似性，其中视网膜平面的选择是完全无关的，因为针孔c在不包含c的任何平面π，π′之间诱导单应性。参见图2。3.1. 使用线性投影的投影模型与针孔照相机的情况相反，形式（7）的双缝照相机 并 不 都 是 投 影 等 价 的 。 这 可 以 通 过 注 意 点y1=l1<$π，y2=l2<$π（狭缝与视网膜平面的交点）在P2中的坐标u1，u 2总是通过P3的投影变换来保持来论证。对于Batog等人， [1，2]，1940这是通过y1和y2的直线，并且是未定义投影的点的轨迹。这完全描述了一个7+ 7= 14自由度的原始射影模型。更准确地说，有8个自由度对应于狭缝的选择，2个自由度用于视网膜平面与狭缝的交点，4个自由度用于平面上坐标的选择（因为两个基点被约束）。在本文的其余部分，我们将始终假设双缝照相机具有（11）的形式。 这相当于知道了我们还将确定一个相机及其两个相关的项目-元素矩阵[3]线性映射P3−−·P1实际上对应于两个狭缝的双缝相机的动作可以说是更自然地被视为映射P3−−·P1×P1，但是我们选择将P2保持为图像域，因为它是物理设备中使用的视网膜平面的更好模型1941MMMM33MMM不33其中K1和K2是上三角形2×2矩阵，定义为沿对角线的正元素，r1，r2，r3是单位向量，r3与r1，r2 正 交。这里，θ=arccos（r1·r2）是狭缝之间的角度，|t4−t3|是狭缝之间的距离。更多-如果矩阵K1和K2写为：图3. 对条目进行物理解释，校准可以K1=ΣΣfuu u00 1，K2=ΣΣ2fvv00 1、（十七）平行双缝照相机的三个参数：参数fu、fv、u0、v0描述视网膜平面坐标相对于（15）的欧几里得轨道中的某个照相机的变化实施例3. 来自实例2的双狭缝投影具有形式（11），那么fu，fv可以被解释为和v方向，以及（u0，v0）作为“prin-UNR点”的位置。参见图3。参数θ和d以及矩阵K1和K2在欧几里得变换下显然是不变的。更多-A1=ΣΣ100 0001 0，A2=ΣΣ020 0001 1.（十三）在平行模型（14）内，两个摄像机属于相同的欧几里德轨道当且仅当它们的所有参数都相同。实际上，平行线的12个自由度视网膜平面属于平面束，{x3=x3+x4=0}，即，它是一个平面的形式x3−dx4=0的情况。选择d=1是自然的，因为形式为[x1，x2，1，1]被映射到[x1，x2，1]。♦3.2. 轨道和校准矩阵使用上面介绍的线性模型，我们可以很容易地描述双缝相机的仿射，相似性和欧几里得轨道。例如，（9）中的设备的仿射轨道，(13) 对应于摄像机被分成6个，分别对应于议案4 与传统的内参数对于针孔照相机，我们注意到没有对应于图像参考系的“偏斜度”的项。实际上，作为“内在坐标系”的结果，两个轴之间的角度必须与狭缝之间的角度相同另一方面，θ和d对于pin没有类似物ΣTA1=13Σ ΣTt1，A2=2t3TΣt2，（14）t4孔摄像机。我们有时会把d和θ称为“3D” intrinsic parameters, since we distinguish them fromthe其中mi是任意的3-向量。这是双狭缝相机的家族，其中视网膜平面平行于狭缝：实际上，尽管这个平面没有完全确定，但它被约束为包含线{[m T，t3]x =[mT，t4]x= 0}，与两个狭缝相交。我们将参考(14) 平行双缝相机。 这些摄像头构成了12自由度仿射模型我们现在考虑（欧几里德）平行凸轮家族形式的时代校准矩阵K1、K2，并且仅基于它们的地图的分析部分来区分相机（的欧几里德轨道）-平. 我们还指出，对于（16）中的双缝相机，欧几里得轨道和相似轨道不重合：这意味着当内部参数已知时，可以从照片中推断出场景尺度的一些信息[21]。手推扫帚摄像机。推扫相机是投影双缝相机的退化类，其中一个在无限远的平面上有狭缝[3]。 这与A1=ΣΣ100 0001 0，A2=Σ Σ2 cosθ2 sinθ0 00 0 1D.类仿射相机的透视投影。Pushb-房间由我们的投影模型（11）处理，但不是由对于d(15)0和0<θ2π（且θ1=π）。这个狭缝我们的仿射一个（14），其中两个狭缝都必须是有限的。因此，我们引入另一个仿射模型，即摄像机处于θ角和距离d。注意，（9）是θ=π/2，d=1。ΣTA1=1Σ ΣTt1，A2=2Σt2、（十八）使用（15）作为一个典型的欧几里德设备的家庭，我们可以引入表达式的1.提案如果A1，A2描述一个平行的双缝凸轮（14），那么我们可以唯一地写01Tt3其中m1，m2，m3是任意的3-向量。所有这样的相机是等效的仿射变换，所以这个去-4描述更一般（非平行）双缝相机之间的欧几里得轨道的固有参19421233数也可以被定义，但是另外两个参数A1=K 1ΣΣrTt1Tt3 ，A2=K 2ΣΣrTt2Tt4 、（十六）ETER是必需的。我们选择仅考虑视网膜平面平行于狭缝的双狭缝，因为这是一个自然的假设，并且因为在这种情况下参数具有更简单的解释。RR194323uuRRR3绘制具有11个自由度的仿射模型。相应的有理相机可以写为传统的矩阵。在[18]中已经为图像坐标给出了epipo张量的定义，x›→∫，TT[mT，t2]x[m，t1]x，，1.（十九）P1×P1（且没有与物理坐标的显式链接在这里，我们还观察到，每个这样的张量标识前-1[mT，t3]x这与Hartley和Gubta [6]提出的线性推帚模型一致，他们将（19）与3 ×4矩阵行[mT，t1]，[mT，t2]，[mT，t3]。两种投影摄像机配置：定理1. 设（A1，A2），（B1，B2）是两个一般的投影双缝照相机。对应图像的集合P2中的点u，u′的特征在于以下关系：1 2 3现在让我们考虑一个仿射推扫式凸轮族-形式的时代问题：Σ菲伊克尔ΣΣ Σ Σu1 u2u3 u3Σ′Σ1u′Σ′Σ2u′= 0，（22）Σ Σ Σ Σ艾克尔ij3k3lsinθcosθ0 010 00 0 0 1 001 0 ，（20）其中F=（f其条目为艾克尔）是一个2×2×2×2“核线张量”。对于0<θ2π（且θ1=π）。这是一把推扫帚i+ j + k + lTT TTΣ运动方向为θ角的摄像机fijkl=（−1）·det （A1）3−i （A2）3−j （B1）3−k（B2）3−l。相对于平行扫描平面。我们使用这个家庭的规范设备来定义校准矩阵和内在参数。第二个提案。设A1，A2定义一个推扫式照相机，如（18）所示，还假设m1和m3正交. 5、我们可以写（二十三）直到P3的射影变换为止，对于给定的对极张量，有两种构形（A1，A2），（B1，B2）是相容的.证明草图。F的定义如下：将两条线的关联约束应用于“ΣTA1=K11Σ ΣTt1，A2=K22Σt2.（二十一）tions” ( 参见补充材料[18]详细内容 F的定义显然是不变的01Tt3Σ Σ在P3的射影变换下因此，我们可以假设，其中K1= diag（1/v，1），K2=fu（带正v0 1A1=ΣΣ1 0 0 0，A2=Σ Σ0 1 0 0，并且f）和r1、r2、r3是单位向量，其中r3与r1、r2都正交。这里，θ=arccos（r1·r2）是两个狭缝之间的角度（或两个狭缝的运动方向之间的角度）。B1=11c12c13c14c0 0 1 0c31c 32c 33c 34. B 2 =21c22 c23c24c0 0 0 1c 41c 42c 43c44 .（二十四）传感器和平行扫描平面）。 此外，V可以可以解释为传感器的速度，f和u是放大率和1D投影的主点K1、K2是推扫式相机的4. 双缝相机：算法在本节中，我们将我们对双缝相机的研究应用于开发运动恢复结构（SfM）的算法双缝相机的核线几何将用2×2×2×2核线张量来描述。以前，双缝相机之间的图像对应关系已经使用6×6[3]或4×4基本矩阵[2]来表征后一种方法，由于Batog等人。 [2]，与我们的方法类似，因为它基于我们也采用的“内在”图像参考框架。 然而，张量表示-的优点是很容易描述的四个2×4投影矩阵的元素，在一个形式，非常类似于相应的表达式为[5]也可以描述更一般的情况，但存在一些技术困难。参见补充材料进行讨论。1944F的16个条目现在是主要的未成年人（即，通过考虑具有相同索引的行和列的子集而获得的所有子式）的4× 4矩阵C=（cij）。因此，确定对应于张量F的投影矩阵（A1，A2），（B1，B2）等价于找到给定其主矩阵的4×4-矩阵的元素在[10]中研究了这个问题。所有的马-与C具有相同主子式的三元组具有形式D−1CD或D−1CT D，其中D是对角矩阵。这两个矩阵族，被视为（24）的元素，对应于两个不同的相机投影配置。所有对极张量的集合在P15中形成一个13维的簇：这与14+14−15=13一致，其中14代表双缝相机的自由度，15是为了解释投影模糊性。然而，两个方程足以局部地表征对极张量，[10]中的结果意味着完整的代数特征化实际上需要718个12次多项式。我们对标准形和校准矩阵的研究在第3节中还引出了本质张量的自然定义：例如，本质张量可以由（22）定义，其中（A1，A2），（B1，B2）都具有形式（16）1945121 1 1112K1和K2是恒等式命题1则保证，对于如（14）中的任何一对根据命题1，我们可以写AiQQTAiT=KiKiT（二十六）AiQ QTAiT =KiKiT，Fijkl=Eijkl（K1A）i（K2A）j（K1B）k（K2B）l（25）其中Eijkl是本质张量。这与2 2 2 2（等比例）其中，Ki，Ki是未知的2×2Ai、Ai和Ai的内参数矩阵=基本矩阵的类似分解。再-覆盖本质张量的代数特征，类似于将本质矩阵识别为具有两个相等奇异值的基本矩阵的经典结果，可能是未来工作的有趣主题。diag（1，1，1，0）. 在几何上，（26）表达了这样一个事实，绝对二次曲线像的对偶是对偶绝对二次曲面 这些关系式完全类似于针孔摄像机的自标定方程，因此，矩阵Ki，Ki的任何部分知识都可以1 2结构源于运动。 利用定理1，我们可以SfM的线性算法，其如下进行(1)使用至少15个图像点对应，估计F线性地使用（22）。（2）恢复两个投影摄像机可以用来对QQT施加约束，因此在Q上（尽管，对于针孔情况，我们实际上只能恢复“相似性”升级）。 例如如果已知主点位于原点（所以Ki KiT1我兼容的配置F.显然，对于嘈杂的IM-而Ki KiT是对角的），则（26）给出了四个线性方程。2 2年龄对应，来自步骤1）的线性估计将不是一个有效的对极张量：一个简单的解决方案在QQT的元素中对应于零的元素Ki KiT和Ki KiT的条目。足够数量的1 1 2 2是只使用13个主要的元素来恢复C的元素由F.更准确地说，设置后，TC12=C13=C14=1（和规范化F，使f2222=1），在对角线上的元素和C的第一列可以恢复从F使用线性等式。剩余的六个条目由F的六个元素成对约束，导致8个可能的矩阵C。在没有噪音的理想环境中，8种解决方案中的两种将与F的其余两个元素一致（更一般地，我们考虑使“代数残差”最小化的两个解这种方法的初步实施，提出了详细的补充材料，证实了双缝相机的投影配置可以恢复从图像对应。还可以设计13点算法，其从最少量的数据（即图像之间的13点对应）中恢复投影矩阵（24）和对应的张量F 满足（22）的13个对应的线性张量集合是一个二维线性空间，并且为成为有效的对极张量而施加约束会导致一个代数方程组。 根据[10，注释14]，该系统具有F的28个复数解，其转化为56个矩阵C=（cij）。使用计算机代数系统Macaulay[4]的实验证实了这些理论结果。自校准。任何基于对极张量的重建都将受到投影模糊性的影响。另一方面，使用第3节的结果，可以制定自校准策略。假设我们已经恢复了双缝投影A i，A i（i=1，. . .，n，而且我们知道，views允许我们估计QQT，并且从奇异值分解我们可以恢复Q直到相似性变换。我们参考补充材料进行一些合成数据的实验。5. 讨论在本文的第一部分中，我们描述了可以与一阶同余相关联的光学系统，并且通过测量它们与某些视网膜平面相交的坐标来记录线。该设置非常通用，但不包括重要的成像设备系列，例如（非中心）折反射相机或具有光学畸变的相机。在这些例子中，可见光线被镜面或光学透镜反射或折射这些情况可以通过注意镜子或透镜作用于（初级）视觉光线的线同余L，将其映射到（次级）光线的新同余L′一个完全通用的系统由一系列这样的步骤组成，然后是最终的地图，其中光线与视网膜平面相交。文[18]中的部分结果讨论了代数曲面上反射α（1，β）-同余的效果，但还没有用线同余有效地描述反射和折射当然，追求这一研究方向，并将本演示文稿中提出的方法扩展到完全通用的环境，将是非常有意义的致谢。 这项工作得到了ERC资助VideoWorld的部分支持，1 2实际上是（平行的）有限双缝相机。 我们的目标是找到一个法国，Inria国际主席，Inria CMU asso，引用的团队GAYA，ONR MURI N 000141010934，美国国家科学基金会（DMS-1419018）和柏林爱因斯坦基金会1946引用[1] G. 巴托格计算机视觉和计算几何中的经典问题。博士论文大学'南希二世，2011年。一、三、五[2] G. Batog，X. Goaoc和J.庞塞线性相机的可容许线性映射模型。CVPR，2010。一、二、三、四、五、七[3] D. Feldman，T. Pajdla和D.韦恩希尔关于交叉缝投影的对极几何。 计算机视觉，2003年。诉讼第九届IEEE国际会议，第988-995页。IEEE，2003年。四、五、六、七[4] D. R. Grayson和M. E.斯蒂尔曼Macaulay2，一个代数几何研究软件系统。可在http://www.math.uiuc.edu/Macaulay2/ 上 获得。8[5] M. Grossberg和S。纳亚尔raxel成像模型和基于射线的标定。IJCV，61（2）：119-137，2005. 1[6] R. Gupta和R.I. 哈特利线性推扫相机。IEEE Transactionson Pattern Analysis and Machine Intelligence，19（9）：963-975，1997。一、二、四、七[7] R. Hartley和A.齐瑟曼。计算机视觉中的多视图几何。剑桥大学出版社，2003年。4[8] Y. Hu，V. Tao，and A.克罗伊托鲁了解ratio- nal函数模型： 方法 和应 用。 国际 摄影 测量 和遥 感档 案，20（6），2004年。3[21] P. Sturm，S.Ramalingam，J.Tardif，S.Gasparini和J.吧台。几何计算机视觉中使用的摄像机模型和基本概念。Foundations and Trends in Computer Graphics andVision，6（1-2）：1-183，2011。一、二、四、六[22] W. Triggs 自动校准和绝对二次曲面。在CVPR，第609-614页，波多黎各圣胡安，1997年6月。4[23] D. Weinshall，M. S.李，T.布罗德斯基M. 特拉伊科维奇，以及D.费尔德曼使用双中心相机生成新视图。欧洲计算机视觉会议，第614- 628页Springer，2002年。二、四[24] J.Ye和J. Yu.非针孔相机中的光线几何：一个调查。TheVisual Computer，30（1）：93-112，2014. 2[25] J. Yu和L.麦克米兰 一般的线性相机。 在procECCV，2004年。一、二[26] A. Zomet，D.费尔德曼，S。Peleg和D.韦恩希尔莫萨辛新观点：交叉狭缝投影PAMI，25（6）：741-754，2003. 一、二、四、五[9] E. 库默在代数Strahlensysteme上，把第一个和第二个命令放在上面。 啊K.普鲁斯阿卡德聪明Berlin，pages 1-120，1866. 一、二、三[10] S. Lin和B.斯特姆费尔斯4× 4-矩阵主子式之间的多项式关系Journal of Algebra，322（11）：4121-4131，2009.七、八[11] S. Maybank和O.福格拉斯运动摄像机的自标定理论IJCV，8（2）：123-151，1992. 4[12] T.帕杰拉双缝照相机的几何形状。技术报告2002-2，Chezch技术大学，2002年。一、二、四[13] T.帕杰拉倾斜摄像机的立体声。IJCV，47（1）：161一、二[14] P. D. Poi.具有一维焦点轨迹的直线的同余。PortugaliaeMathematica，61：329-338，2004. 一、二、三[15] M. 波勒费斯湖 Van Gool，M. Vergauwen、F. Verbiest，K. Cornelis，J. Tops和R.科赫 用手持摄像机进行视觉建模。IJCV，59：207-232，2004. 4[16] J. 庞塞什么是相机？ 在计算机视觉和模式识别，2009年。CVPR 2009。IEE