没有合适的资源?快使用搜索试试~ 我知道了~
15797旋转对称反射镜折反射相机中直线投影的统一模型佩德罗·米拉尔多三菱电机研究实验室(MERL)miraldo@merl.com查默斯理工大学jose.chalmers.se摘要线是最常用的计算机视觉特征之一具有旋转对称镜的折反射相机是全向成像设备,捕获高达360度的视场。这些被用于从机器人到全景视觉的许多应用中。尽管已知某些特定配置,但对于一般中心和非中心折反射相机,线投影的建模从未完全解决。我们首先采用一些一般的点反射假设,并推导出一个线反射约束。然后,该约束用于接下来,我们将我们的模型与以前的方法进行比较,表明我们的一般方法输出与以前的特定配置系统相同的多项式次数。我们运行几个实验使用合成和真实世界的数据,验证我们的线投影模型。最后,我们展示了我们的方法的应用程序的绝对相机构成的问题。1. 介绍折反射相机是将普通反射镜与透视相机相结合的成像设备,[41]。这些系统是用来获得高达360度的视野与一个单一的图像,并适用于从机器人到医学成像的应用范围。理论上,折反射相机的特定情况可以通过中心透视模型[3]1来建模。然而,这种建模需要使用特定的镜子,并且相机完美地对准并且在关于镜子位置的特定距离处因此,即使在理论上是可能的,如[53]中所论证的,折反射相机系统也是非中心相机。由于它们的非线性失真,折反射系统中的点和线投影建模比透视相机中的要复杂研究人员1只有两种组合的镜子设置和透视相机位置是可能的。表1显示了这两种情况。做了很大的努力,以获得一个统一的模型投影点,首先只为中心系统,[4,18],并为一般配置,中心和非中心,[1,2]。另一方面,尽管对于某些特定配置(例如,[1,4,7,8],从未提出过线投影的统一模型线投影已用于许多计算机视觉应用中,例如:i)相机校准[15,28,36,46]; ii)对极几何[5,25,31,50,52]; iii)运动恢复结构和姿态估计[12,20,26,37,43,47]; iv)和3D重建[10,19,35,38]。在所有这些例子中,我们假设使用中央系统。为了使用折反射系统开发类似的应用,我们需要导出直线的相应投影。几篇论文[35,56]发表了关于使用对极几何的非中心折反射相机的自校准然而,作者假设中心近似计算核线,即。通过中心相机模型对3D线的投影的近似Onthe other hand, imaging models for representing anycamera (cen- tral and non-central) have been proposed; see[24, 40, 49]. [51,59]列出了非中央摄像机与中央摄像机兼容的优点。例如,当使用非中心相机时,环境的单个图像足以重新覆盖线的3D参数,例如,,[11,17,29,54])。本文首次提出了具有旋转对称反射镜的普通折反射相机、有中心系统和无中心系统的三维直线投影的统一模型。在选项卡中。1中,我们给出了多项式的次数,以前专门推导的方法和一些结果,从我们的推导。接下来,我们介绍相关的工作。Secs.图3和图4定义了问题,并导出了所提出的统一模型。第5节介绍了实验和Sec. 6、总结论文。2. 相关工作本节介绍了在中央和非中央系统的全向摄像机中建模点和线投影的相关工作。15798k′ 2c2`2kk′ 23c2`2k32c2`4k2´系统设置曲线上一个?A球面任意A圆锥轴向A椭圆轴A“2 k,B“”2 c k,C“”c 2k`k333第六椭圆形在焦点处,即, r 0 0 c sT A“2 k,B“”2 c k,C“”c 2k`k是2 [4、18]3c2`2k3c2`2k32c2`4k23 3c2k3C2双曲面轴向A3 3k'22 2k第六在焦点处,即, r 0 0 c sTA“”2,B“2 c,C“c k”c2是2 [4、18]3k²3k′ 23 3k'2 2k表1.我们展示了一个小的一组特定的配置,代表本文中推导出的隐式方程的程度对以前的技术时,有一个。我们注意到,以前的方法只考虑特定的相机配置的镜子参数和相机的位置。表中的参数k是表示中央折反射相机的一般反射镜参数,如[3]中所定义†表示这些多项式次数不是在[7,8]中直接导出点和中央系统:这已被广泛研究的透视相机[25,31]。对于[3]中导出的条件,[18]提出了中心全向相机的统一投影模型。此方法使用两个投影管道。它首先包括将点投影 一种改变的透视投影模型。[33]调整了该模型,并考虑了灵活校准技术的平面网格。关于全向系统的图像形成的其他众所周知的作品考虑投影近似,例如[16,48]。[55]这是另一个有趣的工作。一个点被投影到图像中的一条线上,使其与模型无关,不受失真的影响。线路和中央系统:透视摄像机的线投影定义明确;见[25,31]。我们还发现他们的中央折反射系统的建模。[18]这是第一个探讨这个问题的工作。作者遵循用于投影3D点的相同的两个投影策略。 在[4]中,作者进一步探讨了这一直线投影问题.给出了一些相关性质及其在摄像机标定中的应用。其他一些作者专注于线投影拟合;例如参见[6,9,32]。表1列出了目前的主要解决办法。点和非中心系统:解决非中心折反射相机的图像形成的第一个作品之一是[53],其中作者在建模中使用焦散。大多数作者使用多项式(隐式方程)来表示这些3D点投影在镜子。[1]首先提出了一个6次多项式方程来表示轴向非中心折反射照相机(照相机与反射镜的对称轴对准)中3D点的投影本文将文献[2]中的工作推广到一般的摄像机位置,得到了一个8次多项式方程.在[21他们注意到这个问题不能用封闭形式的操作,并专注于定义有效的迭代技术。直线和非中心折反射:非中心折反射相机的线图像的解析解仅针对两个相机位置/反射镜配置进行分析。在最新的作品中建模点的3D投影,以前的作者依赖于建模这些投影使用多项式形式的隐式方程。[1]提出了一种解决线到具有球面镜的非中心折反射相机作者得到一个四次多项式来表示图像中的曲线。文[7,8]提出了圆锥形非中心折反射相机的线投影模型及其拟合。对于该模型,作者假设一个轴系,得到一个四次多项式来表示镜面中的曲线。其他作者承认这种线投影的[14]使用广义线性相机模型研究3D线条的投影Yang等人。 [57]使用近似投影拟合几条线,该近似投影使用一组基函数和查找表。其他作者对不同的非中心系统给出了解析解;见[27,34,44,58]。与以前的工作不同,本文提供了一个通用的分析模型,在整个图像空间的三维投影线。我们的解决方案可用于对具有任何旋转对称反射镜和相机位置的系统进行建模,即,中央和非中央成像设备。3. 问题定义如在先前的折反射成像工作中,[1,4,7,8,18],我们使用旋转对称的反射镜,由表示,pmq镜型相机位置镜像参数中心?程度一般情况任何轴A不不66––15799线坐标镜框映射到的行坐标qsIrpur,vrqpur,vrqPSO p qP我“俄.西»菲IpqPSO p qPP RSp qIpqp q p q p qp qp q«ff“p q–Cp q图像中的线条pu,vq»ufi»urfi1 1图1. 投影模型:输入是世界上的一条线(qw和方向dw)。第一步通过应用刚性变换R w 3和c w R 3(分别为镜子的旋转和世界坐标系位置)将线参数变换到镜子 的 参 考 坐 标系。接下来,我们将3D线从(a) 反射平面(b) 斯涅耳反射定律将世界转化为标准化的图像空间。最后一步应用两个投影平面之间的标准直射;Hmx y zT是镜面上的一点。根据(1),镜像点m处的法向量由下式给出:npmq“n p m q“r x y Az` B { 2 s T.(二)采用透视投影方程(见[25]),镜子表面上一点的图像由下式u-1其中KR3 3表示相机固有函数。 u,v是像素坐标中的图像点R3和cR3分别是相机及其中心相对于镜子参考系的旋转。与[1]中一样,不失一般性,考虑到其对称性,可以旋转反射镜为了表示直线,我们使用点qPR3和方向sPR3;直线上的任何一点满足ppλq“q ` λ s,对任意λ PR.(四)考虑到文中某些多项式的高次,我们使用κ j。 表示第i个多项式,第j个总次数为2。我们通过描述我们的问题来结束本节问题1(线投影)。具有旋转对称反射镜的一般折反射相机中的线投影由隐式方程(多项式形式)u,v给出,其中系数指定为3D的函数线、透视摄影机和镜像参数。4. 折反射相机图2. 投影约束:在左侧,我们显示了由直线上的每个点、其在镜子上的反射点和透视相机中心定义的平面约束。在右边,我们展示了Snell的反射约束。图像中的红色曲线表示投影到镜子中的线。考虑一条3D直线pλ,表示在镜像坐标系中,如(4)所示。本节提出了线投影u,v的参数表示;即,解决了问题1。 我们首先在第二节中定义一些基本的投影约束。4.1.代数线反射约束,我们用来模拟线投影是来自第二节。四点二。第4.3节给出了归一化图像坐标中投影曲线的参数化。最后,标准直射变换的应用所涉及的问题见第二节。4.4(图中的仿射变换H)1)。4.1. 投影约束我们使用折反射成像的两个基本性质来导出线投影约束(将在以下小节中提出),参见[2,21]:定义1. 直线上的一点ppλq,它在镜子上的反射点mpλq,以及透视相机的投影中心c,定义了一个平面pλ q(见图2)。2(a));及定义2. 在图1中分别给出了入射和反射光线dp,mλ(从pλ到mλ)和dm,cλ(从mλ到c)。2(b),必须满足斯涅耳反射定律。我们从定义1的平面约束开始。利用kλmλµm,µR在3D平面中,与镜子的对称轴相交于µ“”1,我们写道:kpλq“r00p1′Aqz′B{2sT.(5)现在,叠加mpλq,kpλq,c和ppλq,使得图1显示了用于catadiop的投影模型。tric相机如在[1,4]中,不失一般性,我们假设世界参考系与MTmpλqppλqkpλqc1 1 11、(6)镜像(即,,Rw I和cw0)。然后,本节将重点讨论绘制线坐标。2导出的多项式系数可从https://github.com/pmiraldo/line-projection-catadioptric下载。因为所有这些点都在同一平面上,所以获得约束; M的行列式必须为零,1m,λdetM0。通过扩展M的行列式,我们描述了以下引理:ppλqλqkpλqmpλ qCppλ qkpλqmpλqdm,cpλ q相机 C行于世15800.pqpC p qp qp qκrx,ysκrx,ys0RpqCp q“»rfiRrr rrsRrRκrur,vr,zs18κrur,vr,zs20151613“22 2324232526引理1(平面反射约束)。验证定义1的线ppλq上的3D点提供约束C1pm,λqCpm,λq“κ 1 r x,ys λz ` κ 1 r x,ys z ` κ 1 r x,ysλ ` κ 1 r x,ys。定理1(线反射约束)。线反射约束由具有坐标x、y和z的反射镜中的点给出,验证代数约束Clrpmq11 2 34(七)Clrpmq“κ r x,y s z ` κ r x,y s。(十三)现在我们来看看定义2。 以斯内尔河为例-利用弯曲定律和dp,mλdp,mλ0的事实,经过简化,我们得到xn pm q,n pm qy rdp,m pλ qsxdm,c pλ q ′2xdm,cpλq,npmqy rdp,mpλqsxnpmq其中,rasx是将虽然不需要将3D线投影定义到图像中,但是Thm. 1可用于表示镜子中的3D线反射曲线:备注1(镜面上的3D反射曲线)。取镜像约束上的点,则线反射约束lrm 0在Thm中。1,且z lrm0,我们定义叉积,即,a_b另外通过定义,我们有»A B x2`y2`Cfi »z2fi23-0 κ 15 r x,y s κ 16 r x,ys fl - z fl“0. ( 十四)1dm,cpλq“m p λ q <$c和d p,m p λ q“p p λ q <$m p λ q。(九)将(9)代入(8),我们得到三个代数约束3,并定义以下引理:引理2(反射定律约束)。定义2生成以下三个代数约束:2 3l o o o o 1 o o o 5ooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooN有了这个,我们定义一个约束x,ydetN0,其是6次多项式方程,将反射曲线参数化为x和y的函数。为了获得用于在镜子上建模3D曲线的相应z,我们求解3 4Ci`1pm,λq“κ 3 ` 2 i rx,y,z s λ ` κ 4 ` 2 i r x,y,z s,i“1,2,3.接下来,我们定义线反射约束,它将用于对3D线投影进行建模。4.2. 线反射约束直线投影不依赖于直线上的点的深度,即,,λ.为了定义线反射约束,我们使用引理1和引理2来得到仅作为x、y和z的函数的约束。我们首先从引理1中取2m,λ0,并将其作为λ的函数求解:(13),对于已知的tx,yu.结合我们的线反射约束,镜像方程,和透视投影模型,我们得到的双变量多项式,隐式参数化的3D线在图像平面上的投影曲线。这些推导在以下小节中给出。4.3. 建模线投影在这里,我们使用镜子1 1λ24.κ1rx,ysz`κ1rx,ys(十一)u–现在,采用引理2,我们将(11 )中的λ替换为(10),并将所得方程预乘以(11)的分母。我们得到Cri`1pmq241其由(3)获得而没有最后的直射步骤;即,而不应用变换H(参见图1)。 请注意,从相机中删除了EQUA-Ci`1pmq“κ 1 1 r x,y,zs κ 11 ` i r x,y,z s,i“1,2,3. (十二)我们注意到,(12)包含2次和4次的两个多项式因子,其中前者仅取决于镜子和相机 这些低次多项式(见(3))通过考虑的叉积 u v1T两边都有该运算提供了两个线性独立的方程,可用于将x和y写成u、v和z的函数:因此,因子被认为是系统奇异性,并且不被考虑,使得Ci`1pmq为4次多项式。通过替换,可以进一步减小Cri`1pmq的阶数z2x2y2Bz。这样做会将所有3个约束2x19,k1rur,vrs和y221岁k1rur,vrs(十六)(12)线性相关。 一个,我们描述如下-下定理:rrur,vr,zs(十)(十七)将(16)插入到C1 rpmq和C1rpmq管道中158013从(8)中,只有两个是线性无关的。Crlrr1580223rr r sq{rr r sNPR3krur,vrskrur,vrs0IrprrqIrprrqIrprrqp qRr rRr rRr rp q»菲302223»κ2rur,vrsκ2rur,vrsκ2rur,vrsfi»z2fi242526» fi»r fi1要使(19)式为真,N的行列式必须为零。其中,在Crlrrr,vr,zs中,我们已经用“pκ2rrr,vrsz”替换了z2系统参数二十四二十二κ2u,v κ2u,v现在,为了得到图像空间中的直线,我们希望从约束中删除z。取(17)、(18)和zCrlrr,vr,zs“0,我们建立了以下代数方程:问题: -0 κ 5 r u r,v r s κ 5 r u r,v r s fl - z fl-0。(十九)5 5l o o o 2 o o o 5ooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooThen, by computing det N , after some simplifications, weget a polynomial of maximum degree 6, which we use todescribe the following Theorem:定理2(归一化平面上的投影曲线)。3D线的归一化平面上的投影曲线由下式给出:Ipu,vq其中,r eIpu,vq是最大维数为6的多项式。关于Ipu,vq的阶,我们定义如下:以下备注:备注2. 对于某些特定的系统配置,u,v的程度较低。例如,对于球形和锥形系统,u,v的次数是4。 同样的情况也发生在中央的情况下,得到2度曲线。这些减少是通过忽略u,v中的因子而获得的,这些因子仅与系统相关。一些特定的配置和相应的多项式次数总结在表1中。1 .一、它验证了以前的结果。MATLAB 脚 本 和 我 们 所 有 的 派 生 都 在https://github.com/pmiraldo/line-projection-catadioptric 上公开。4.4. 论直射变换如图 1,归一化平面和图像平面之间的共线表示为uu-vfl“lKoomRoon-vrfl.(二十一)1H1表2. 模拟系统:反射镜参数A、B和C,以及相机相对于反射镜c2和c3的位 置,用于生成合成数据(参见图3和图4的结果)。上面的三行显示了三个不能用以前的模型建模的系统示例定理3(图像上的投影曲线)。由点q和方向s定义的3D线的投影、以c为中心的具有旋转R的透视相机、内部校准矩阵K和二次镜像矩阵m定义为:Ipu,vq其中,reIpu,vq是最大维数为6的多项式5. 实验提出了折反射相机线投影的第一个统一模型。因此,我们开始这些实验结果,给出了一些线投影的一般配置,镜子,和相机的位置设置,验证了理论的贡献。此外,我们考虑的情况下,发生的具体配置的小错位,以显示使用我们的统一模型比以前的具体的优势。读者可以使用上述链接中的Matlab第5.2给出了一些真实数据的结果第5.3节显示了我们的方法在绝对姿态估计和AR问题中的应用。5.1. 线投影我们从验证合成实验开始,与先前的模型进行比较。 使用Matlab,我们假设K是上三角矩阵,从(21)的第三个等式,我们得到:你的使用选项卡中的参数模拟系统。 2和750 0 600K400fl和R并且替换(21)的前两个方程中的k,得到enpur,vrq和pu,vq之间的关系为ur290 0 1ˆ(二十四)(二十二)一BCc2c3椭圆01002 35抛物0.50802 40一般-1.2-1.4-23.210 30双曲面中心-0.414350 35椭圆中心0.14-4.97.00 35轴位锥-1000 2515803rrr与pκru,vsq相乘后,我们得到以下结果κ1ru,vs31图像大小为1200 800。 然后,我们将结果应用于Thm. 3、玫瑰。 1,以获得投影曲线在vκ1ru,vs,其中两个分数的乘子129都是一样的变量u和v在(20)中被替换,1 629结果:镜像和镜像。验证:我们采用Tab的前三个系统。 2,这是以前的技术不能实现的系统的示例15804““(a) 椭圆系统(b) 抛物系统(c) 通用后视镜和摄像头位置图3. 验证:我们展示了所提出的统一线投影建模在三个折反射系统的图像和反射镜中的应用。在左边,我们展示了相机系统,3D线条和镜子中的反射曲线(Rectangle.)。1)。在右边,我们显示了3D线到图像中的投影(Thm. (3)第三章。我们考虑两组三条3D平行线,以及橙色和绿色曲线中每个系统各自的投影。我们表明,该曲线与[2]中的3D点的投影相匹配,这些点在图像中用紫色点标识。3D图形仅显示了一片反射镜及其各自的投影曲线。我们在图像中没有这个约束,因此,每条3D线最多有两条曲线我们注意到,这是三个系统的例子,以前的技术不能模型的镜子和相机的位置参数。模型,并使用我们的统一模型。结果示于图3中。每个系统中使用两组三条平行的3D线。为了验证我们的模型,我们从3D线条中采样少量点,并使用[2]将它们投影到图像中我们看到这些3D点的图像位于Thm的投影曲线上。3、验证我们的结果。与以前的建模比较除了验证实验,我们还展示了我们的模型如何用于表示当前技术可以(a) 双曲面中心(b) 椭圆中心(c) 轴位锥图4. 精确与近似模型:先前的模型考虑严格的相机放置相对于镜子。在实践中,我们不能保证这会发生。该图评估了在计算具有小偏差的线投影时,考虑我们的统一模型与先前的特定模型我们使用Tab的最后三个raws中列出的三种情况。2,偏差为5%;即对应于具有设置C20的系统。05C3.绿色曲线表示提出的模型,红色曲线表示使用先前方法的近似值。正如我们所看到的,在某些情况下,红色曲线明显远离位于我们统一模型顶部的正确点投影(使用[2或者在特定的距离上。为了测试这些偏差的重要性以及使用所提出的统一模型的优点,我们使用四个系统4中的三个进行了测试,其中特定模型在文献中导出。即中心壳体[4,18]和轴向锥体[7,8])。设置列在选项卡的最后三行中。 二、然后,我们考虑小错位。具体来说,我们考虑的情况下,透视相机偏离完美的系统要求的位置。图4示出了y轴上的未对准相对于相机到反射镜的距离 仅 为 5% 的 结 果 ( 而 不 是 c 2 0 , 我 们 有 c 2 0 。05c3)。此外,我们还进行了一项实验,在只是近似。如引言所述不可能有一个与轴[4]在球面情况下,我们总是可以对齐相机以得到c2“0。15805Ip q“Ip q系统失准1% 5% 10% 15%双曲面中心2.6 12.5 26.4 41.3中央椭圆3.6 16.7 36.2 64.9轴锥11.2 58.0 119.1 181.7表3. 未对准:通过考虑相机未对准和先前建模,从3D点的投影到近似投影的距离的平均值(以像素为单位)。考虑了均匀分布在环境中的总共300个点,并考虑了它们的投影线。世界事件与一组不同的3D线。我们将未对准从1%变化到15%,并计算对应于点的3D投影(精确投影)与由先前特定模型5近似的相应线投影之间的距离的像素平均误差,即,设置c20并使用完美的系统和以前的模型。以像素为单位的误差显示在选项卡中。3 .第三章。该表的结论是,使用先前模型所需的轻微未对准系统的近似可能会显著恶化结果。另一方面,我们的统一模型总是给出完美的拟合。5.2. 真实数据我们使用具有市售双曲面镜和FLIR Flea 3(型号FL3-U3- 13 E4 C-C,分辨率为1280 × 1024)的非中心折反射相机。透视相机之前已经校准过,镜子的制造商给出了它的参数。我们使用[45]来得到镜子和相机之间的变换。四个图像被用来评估我们的统一模型。首先,我们运行边缘检测来提取线投影的候选像素。我们使用直接RANSAC循环计算3D线,其中,对于每次迭代:1. 我们对一组四个像素进行采样,这些像素是一条线的图像的候选者;2. 计算与第1中获得的四个像素中的每一个相对应的四条逆投影射线;3. 使用[54]6,我们计算通过第2项的四条线逆投影射线的3D线。这条3D线将是从第1中的四个点获得的3D线坐标的假设;4. 使用由第3项估计的3D线,我们计算其投影Ipu,vq“0,使用Thm。3个;5为了计算该距离,我们使用Matlab的pdist2在线图像投影(离散化)上找到最近的图像点。6在未来的工作中,我们将探索使用我们的隐式参数化以表示对应于线图像的逆投影的表面5. 我们使用u,v0和com来进行内点计数- 计算到被列为潜在线图像的图像中的剩余像素的距离。具有小于定义阈值的距离的那些被认为是内点。该距 离 的 计 算 方 法 为 Sec 。 5.1 , paragraph-graph“Comparisonswithpreviousmodelings.”我们重复该过程一定次数的迭代,并且最终的3D线估计由获得最大数量的内点的假设给出。然后,我们再次将我们的3D投影线建模应用于所得到的3D线模型。通过多次运行先前定义的RANSAC循环(并从先前运行中移除内点),我们可以提取多条3D线。图5(a)显示了用u,v0拟合多条直线的结果。同样的技术被应用于棋盘在不同位置的新图像。在本例中,我们应用角点检测,选择棋盘中的角点,分别定义棋盘结果示于图5(b)。本节显示,我们的统一成像模型获得了3D线的正确投影,并且与[54]结合,我们的模型可用于拟合多个线图像。我们使用基于RANSAC的线拟合进行了额外的实验,即合成数据,评估不同的噪声水平,特定的相机系统,以及RANSAC 2D与3D. 由于篇幅所限,我们将这些实验作为补充材料发送。请注意,这些结果可以使用检测到的内点使用非线性优化来细化,我们将其留给未来的工作。5.3. 应用于姿态估计和AR我们提出了一个简单的应用程序的摄像机定位问题和增强现实(AR)进一步评估我们的方法。我们使用一个非中心的折反射相机与球面镜,校准所述的第一小节。在地板上放置四条绿色3D直线,我们考虑以下过程:1. 我们运行一个颜色过滤器来获得图像中的绿色像素2. 四个投影曲线估计使用我们的基于RANSAC的拟合方法在前面的部分中描述。图6(a)示出了拟合曲线;3. 计算投影曲线的交点;4. 使用四个相交点中的三个及其各自在世界上的坐标,我们使用最小数据[13,30,39,42]计算相机姿态,得到相机姿态的四个解决方案;以及5. 我们通过选择最小化第四点的重新投影误差的姿势来获得正确的变换15806(a) 通过边缘检测给出的3D直线的潜在图像的结果(b) 棋盘中三维直线图像的角点检测结果图5.使用非中心双曲折反射摄影机的线投影和拟合技术。在外部和内部采集图像。红色或蓝色曲线表示投影曲线,而绿色点是用于拟合每条曲线的内点。(a) 我们展示了表示球面折反射相机中的3D投影线的曲线绿色点是线图像的图像点候选。(b) 我们使用第二节中基于RANSAC的方法估计3D线。 5.2,计算它们的交点,以及相机的姿态。使用估计的姿势,我们提供了一个简单的增强现实应用程序。图6. (a)示出了利用球面反射折射照相机获取的两个图像、地板上的四条绿色3D直线以及相应的四线图像。(b)示出了增强现实应用。Four parallelepiped objects are correctly projected into the image.为了评估我们的结果,我们在世界上定义了四个矩形paral- lelepipeds和投影到图像中使用我们的模型,他们的边缘。 结果示于图第6(b)段。我们的结论是,平行六面体是正确的投影。6. 讨论本文首次提出了折反射相机三维线投影的统一模型。我们从描述线反射约束开始。然后,推导出镜面上的反射曲线,得到图像上的投影曲线.我们用合成的真实数据和不同类型的折反射相机系统进行了几次实验。对于未来的工作,我们计划i)使用线投影导出用于折反射相机校准的统一方法,ii)添加几何约束以改进RANSAC。基于直线拟合,以获得更好的3D和2D估计。确认这项工作得到了LARSyS-FCT项目UIDB/50009/2020的支持,由欧洲区域发展基金,在智能增长运营计划下,项目POIR.01.01.01-00-0102/20,标题为“零售店创新自主移动机器人的开发”,由瑞典研究院(资助2018-05375),瑞典战略研究基金会(智能机器人的语义映射和视觉导航),以 及 Wallenberg AI 、 自 动 化 系 统 和 软 件 计 划(WASP)。我们感谢评审员和区域主席提供的宝贵反馈。15807引用[1] AmitAgrawal,YuichiTaguchi和SrikumarRamalingam。轴向非中心折射和折反射照相机的解析正投影。在欧洲会议中计算机可视化(ECCV),第129-143页,2010年。一、二、三[2] AmitAgrawal,YuichiTaguchi和SrikumarRamalingam。除了Alhazen的问题:无中心二次反射镜折反射相机的解析投影模型。在IEEE Conf. ComputerVision and Pattern Recognition(CVPR),第2993-3000页,2011中。一、二、三、六[3] Simon Baker和Shree K.纳亚尔单视点折反射成像理论。Int’l J. Computer Vision (IJCV)一、二[4] Joao P. Barreto和Helder Araujo。中心折反射成像的几何学问题 在IEEE会议计算机视觉和模式识别(CVPR),第2卷,第422-427页,2001年。一、二、三、六[5] Joao P. Barreto和Kostas Daniillo。使用韦罗内塞映射的中心投影系统的对极几何在IEEE Conf. Computer Visionand Pattern Recognition ( CVPR) , 第1 卷 , 第1258-1265页,2006中。1[6] Jean Charles Bazin , Cedric Demonceaux , and PascalVasseur. 快 速 中 心 折 反 射 谱 线 提 取 。 在 IberianConference on Pattern Recognition and Image Analysis(IbPRIA)中,第25-32页,2007年。2[7] J. J. J. Lopez-Nicolas和J.J.格雷罗锥镜折反射系统中的线像。在IEEE Int'l Conf.模式识别(ICPR),第2083-2088页,2014年。一、二、六[8] Jesus Raven-Cameo,Gonzalo Lopez-Nicolas,and Jose J.格雷罗具有旋转对称性的非中心屈光相机计算机视觉和图像理解(CVIU),167:134一、二、六[9] J. J.C. Cameo,Luis Puig,and J.J.格雷罗用于三维定位和图像校正的超折反射线图像Robotics and AutonomousSystems(RAS),60(6):7552[10] 罗兰德·本斯霍滕和本·科罗斯全方位视觉系统的鲁棒场景 重 建 。 IEEE Trans. Robotics and Automation ( T-RA),19(2):351-357,2002. 1[11] 卡廖蒂和西蒙·加斯帕里尼。从单一二维影像定位三维空间直线。在IEEE Conf. Computer Vision and PatternRecognition(CVPR),第1129-1134页,2005中。1[12] David Caruso,Jakob Engel,and Daniel Cremers.全方位摄像头的大范围直接猛击。在IEEE/RSJ Int'l Conf.智能机器人和系统(IROS),第141-148页,2015年。1[13] 陈楚松和张文燕。广义视觉传感器的位姿恢复 IEEETrans.Pattern Analysis and Machine Intelligence ( T-PAMI),26(7):848-861,2004. 7[14] 丁媛媛,于静怡,彼得·斯特姆。使用曲线图像恢复镜面 。 在 IEEE Conf. Computer Vision and PatternRecognition(CVPR),第2326-2333页,2009中。2[15] O. D. Faugeras,Q. T. Luong和S. J·梅班克摄像机自标定:理论与实验。 在欧洲会议中计算机视觉(ECCV),第321-334页,1992年。1[16] Andrew W. 菲茨吉本 多视图几何形状和透镜畸变的同时线性估计。在IEEE Conf. Computer Vision and PatternRecognition(CVPR),第1卷,第I-I页,2001中。2[17] 西蒙娜·加斯帕里尼和卡廖蒂。单折反射图像的线定位。Int’l J. Computer Vision (IJCV)1[18] Christopher Geyer和Kostas Daniilidis中央全景系统的统一理 论及 其实 际意 义。 在欧洲 会议 中计 算机 视觉(ECCV),第445-461页,2000年。一、二、六[19] 拉贾N Ghanem,Charulatha Ramanathan,Ping Jia,andYoram Rudy. 使用荧光透视、对极几何和立体视觉进行心脏表面重建和ECG电极定位:应用于心脏电活动的无创 成 像。 IEEE Trans. Medical Imaging ( T-MI ) ,22(10):1307-1318,2003。1[20] 作者:Joshua Gluckman,Shree K. Nayar,and Keith J.Thoresz。实时全向和全景立体声。DARPA图像理解研讨会,第299-303页,1998年1[21] 努诺·贡萨尔维斯在二次曲面上光线反射到已知目标的反射点 OSA选项Lett. ,35(2):100-102,2010. 二、三[22] Nuno Goncalves和Ana Catarina Nogueira通过二次反射镜的投影变得更快。 在IEEE Int'l Conf.计算机视觉研讨会,第2141-2148页2[23] Nuno Goncalves , Ana Catarina Nogueira , and AndreLages Miguel.球面镜非中心折流相机的前向投影模型。Robotica,35(6):1378-1396,2017。2[24] Michael D. Grossberg和Shree K.纳亚尔一种通用成像模型及其参数求取方法。在IEEE Int'l Conf.计算机视觉(ICCV),第2卷,第108- 115页,2001年。1[25] Richard Hartley和Andrew Zisserman。计算机视觉中的多视几何学。剑桥大学出版社,2004年第2版。一、二、三[26] 理查德岛哈特利 为八点算法辩护。模式分析与机器智能(T-PAMI),19(6):580-593,1997。1[27] 黄飞鸿同心圆中的对极几何。技术报告,CMP,捷克技术大学-CMP-2000-07,2000年。2[28] 星秉康。折反射自校准。在IEEE Conf. Computer Visionand Pattern Recognit
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- zigbee-cluster-library-specification
- JSBSim Reference Manual
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功