没有合适的资源?快使用搜索试试~ 我知道了~
水面和水下场景同时三维重建
水面和水下场景的同时三维重建钱一鸣1、郑银强2、龚明伦3[0000−0001−5820−5381]、杨怡红1[0000−0002−7194−3327]1加拿大阿尔伯塔大学网址:yqian3@ualberta.ca,yang@cs.ualberta.ca2日本国立信息学研究所yqzheng@nii.ac.jp3纽芬兰纪念大学加拿大gong@cs.mun.ca抽象。 本文提出了第一种方法,同时重新覆盖的三维形状的波浪水面和水下运动场景。构建了一种便携式相机阵列系统,该系统从水面以上的多个视点捕获场景。使用光流方法估计这些相机之间的对应关系,并将其用于推断水面和水下场景的我们假设在水界面上只存在一个折射环在此假设下,对表面粗糙度的两个估计是一致的:一个来自Snell的使用合成和真实数据的实验结果表明,所提出的方法的有效性关键词:三维重建·水面·水下成像1介绍考虑通过水面观看水下场景的成像场景由于水面处的光折射,常规的基于陆地的3D重建技术不能直接应用于恢复水下场景。当水面是波浪形的并且因此不断地改变光折射路径时,该问题变得甚至更具挑战性。然而,捕鱼鸟能够在飞越水面时捕获水下的鱼,这表明可以在水面存在的情况下估计水下物体的 深 度 。在本文中,我们提出了一种新的方法来模仿捕鱼鸟由于几个原因,这个问题具有挑战性首先,水下场景的捕获图像由于光通过水的折射而失真。在传统的基于三角剖分的三维重建方案下,跟踪多线性光路需要水面的三维几何形状不幸的是,重建3D流体表面是一个甚至更复杂的问题。2Y. Qian等人由于其透明特性,更难解决问题[23]。其次,水界面是动态的,并且水下场景也可以是移动的。因此,需要实时数据捕获。除了生物学动机[19](例如,上面的捕鱼鸟的例子),由于在计算机图形学[14]、海洋学[17]和遥感[37]中的应用,重建水下场景和重建水面的问题都吸引了很多关注。这两个问题通常在计算机视觉中单独解决。 一方面,大多数以前的作品通过假设场景和成像传感器之间的界面是平坦的来重建水下场景[7,4,12]。 另一方面,用于恢复动态水面的现有方法通常假设水下场景是已知的平面图案,为此通常使用棋盘[24,10]。最近,Zhang et al. [43]首次尝试使用散焦深度同时解决这两个问题。然而,他们的方法假设水下场景是静止的,并且具有平坦水面的水下场景的图像是可用的。 由于水面平坦或水下场景平坦的假设,上述方法都不能直接应用于解决波浪水面和自然水下动态场景的联合恢复问题。事实上,对上述问题缺乏任何现有的解决办法是我们工作的动力。在本文中,我们建议采用多种观点来解决这样的问题。特别是,我们构建了一个便携式摄像机阵列捕获的图像的水下场景扭曲的波浪状的水面。我们的物理设置不需要任何精确的定位,因此易于使用。按照传统的多视图重建框架,在陆地上的对象,我们首先估计不同的意见之间的对应关系。然后,基于视图间的对应关系,我们施加一个正常的一致性约束在所有的相机视图。 假设光在穿过水面时仅折射一次。我们提出了一个基于折射的优化方案,工作在逐帧4的方式,使我们能够处理的水面和水下场景的动态性质。 更具体地说,我们的方法是能够返回的3D位置和法线的动态水面,并同时移动的水下场景的3D点。令人鼓舞的合成和真实数据的实验结果。2相关工作流体表面重建。 动态三维流体表面的重建是一个困难的问题,因为大多数流体是透明的,并表现出一个视图相关的外观。因此,传统的基于朗伯的形状恢复方法不起作用。在文献中,该问题通常通过在流体表面下放置已知的平坦图案来解决 单个相机[17,26]或多个相机[24,10,30]用于捕获平面图案的失真版本。然后通过分析所捕获的3D重建。4帧是指所有相机在同一时间点拍摄的图片。水面及水下场景的三维重建3图像和原始图案。此外,几种方法[44,42,38],而不是使用平板,建议利用主动照明流体形状采集。 在这些方法中通常需要精确定位的设备,例如Bokode [42]和光场探针[38]。相比之下,我们的捕获系统只使用相机,因此很容易构建。更重要的是,所有上述方法仅关注流体表面,而所提出的方法也可以恢复水下场景水下场景重建。 许多作品通过假设水面是平坦的和静态的来恢复3D水下场景。例如,几种基于陆地的3D重建模型,包括立体[12],运动恢复结构[7,32],光度立体[27],已经扩展用于此任务,这通常是通过在其方法中明确考虑平坦界面处的光折射来实现的。通过校准[12]或参数化[32]预先测量平坦水面的位置Asano等人[4]利用吸水特性恢复水下物体的深度。然而,假设光线垂直于平坦的水面。相比之下,在我们的新方法中,水面可以是波浪状的,并且与水下场景一起进行估计。存在以获得波浪表面下的水下物体的3D结构为目标的现有方法 Alterman等人[3]提出了一种波浪水域立体三角剖分随机方法。然而,他们的方法只能产生物体3D位置的似然函数。动态水面也没有估计。最近,Zhang et al. [43]在单目视图中处理这样的任务,并且使用折射失真和散焦的共同分析来恢复水面和水下场景。如第1.他们的方法在实际应用中受到限制首先,为了恢复水下场景的形状,需要通过平坦水面捕获的未失真图像。然而,这样的图像在现实生活中很难获得,如果不是不可能的话。其次,在它们的实现中,它们的相机的图像平面必须与平坦的水面平行,这是不切实际的。相比之下,我们的基于相机阵列的设置可以随意定位,并且易于实现。第三,对于水面,他们的方法只能返回每个表面点的正常信息。 然后使用表面积分获得最终形状,已知在没有精确边界条件的情况下容易出错。相比之下,我们的方法绕过表面整合,共同估计的3D位置和法线的水面。此外,文献[3]和[43]中的方法都是假设静止的水下场景,而本文中的水面和水下场景都可以是动态的因此,我们提出的方法适用于更一般的情况。我们的工作也涉及到光折射的其他研究,例如。环境抠图[8,29],折射失真下的图像恢复[11,36],形状重建透明物体[21,39,16,35,28]和气流[40,18]的,以及水相机校准[33,2,41]。4Y. Qian等人我3多视图采集设置照相机2照相机1摄像机3(a)(b)第(1)款Fig. 1.使用相机阵列(a)和2D(b)中所示的对应成像模型的采集设置。(a)中的评估相机仅用于精度评估,并且不用于3D形状恢复。如图1(a),为了捕捉水下场景,我们建立了一个小规模的,3 × 3的相机阵列(在红框中突出显示)放置在水面上方。摄像机被同步并捕获视频序列。 为了清楚起见,在下文中,我们将阵列中的中心相机称为参考视图,并且将其他相机称为侧视图。 与传统的基于多视图三角剖分的陆基3D重建框架类似,水面和水下场景的3D形状都表示在参考视图中。 注意,被称为评估相机的附加相机也被用于以新颖的视图捕获水下场景,该新颖的视图是在我们的真实实验中进行准确度评估,并在第二节中详细介绍5.2.图1(b)还图示了2D中的成像模型。我们将相机1设置为参考相机,并且将相机k∈Π设置为侧相机,其中Π是{2, 3,···}。对于相机1中的每个像素(x1,y1),对应的相机光线e1我我我在水面点Si处被折射。 然后,折射光线r1与水下场景在点P1处相交。 水下场景点P1也由侧相机通过相同的水面但在不同的界面位置处观察到。我们的方法建立在跨多个视图的对应关系具体地,我们计算参考相机和每个侧相机之间的光流场。以侧相机2为例,对于我我在摄像机1中,我们估计摄像机2中Pi的对应投影(x2,y2)我我通过应用变分光流估计方法[6]。假设摄像机阵列的内、外参数预先标定,并在捕获过程中固定,可以很容易地计算出相应的摄像机评价相机水下场景相机阵列(2,(200(3,21a1,3不2S13空气水水下场景水面及水下场景的三维重建5我我我射线e1的射线e2。查找对应关系的相同过程适用于我我其它侧视图和每个单个帧被类似地处理在上述步骤之后,我们获得水下场景的视图间对应关系的序列下面,我们提出了一种新的重建方法,解决了以下问题:鉴于摄像机光线的密集对应{e1ek,k ∈ Π},如何恢复水下场景的点集P,以及动态水面的深度和法线?4多视图重建方法我们解决这个问题,使用基于优化的计划,规定了正常的一致性约束。 几项现有工作[24,30]已经使用这种约束用于水面重建。在这里,我们表明,基于类似形式的正常的一致性,我们可以同时重建动态的水和水下表面,使用从相机阵列捕获的多视图数据。关键在于,在每个水面点处,使用其相邻点估计的法线应该与基于光折射定律获得的法线一致。4.1参考视图如第在图3中,我们用深度图D表示水面,用3D点集P表示水下场景,两者都在参考视图中。具体地说,如图1所示在图1(b)中,对于相机1中的每个像素,我们具有四个未知数:点Si的深度Di和点Pi的3D坐标。给定相机光线el,当假设深度假设Di时,我们可以计算Si的3D坐标。同时,连接假设的点Pi和点Si给出折射光线方向r1。然后,可以基于Snell定律计算Si的法线在本文中,并表示为1。在这里,上标1在1中表示1是我我我使用相机1的光线e1估计考虑法线a1,摄影机光线e1我我我和折射光线r1是共面的,如斯涅尔定律所述因此,我们可以e x将e1作为e1和r1的线性组合,即,e. a1=Ψ(ηae1−ηfr1),其中我我ηa和ηf是空气和流体的真实指数。Wefixηa=1且dηf=1。33个不符合我们的要求。Ψ()是对向量归一化的操作进行细化的另一方面,可以通过分析其附近点的结构来获得3D点的法线[31]。具体地,假设水面在空间上是光滑的,在每个点Si处,我们从其邻域拟合局部多项式表面,然后基于拟合的表面估计其法线在实践中,对于3D点(x,y,z),我们假设其z分量可以由其他两个分量的二次函数表示:z(x,y)=w1x2+w2y2+w3xy+w4x+w5y+w6,(1)6Y. Qian等人我我我我我我我我我我其中w1,w2. . . ,w6是未知参数。 堆叠S i的相邻点的集合N i的所有二次方程得到 :2 2x1y1x1y1x1y11···w1w2z1:A(Ni)w(Ni)= z(Ni)22×=,(2)xmymxmymxmym1···:w6zm:其中A( Ni ) 是a|Ni|从Ni开始的×6矩阵计 算 , 以及|Ni|的 大小。z(Ni)isa|Ni|Dimensionvector. 在得到该二次曲面中的点(x,y,z)的法线W(Ni)之后,该二次曲面中的点(x,y,z)的法线被估计为归一化的两个向量的叉积:[1,0,z(x,y)]和[0,1,z(x,y)]。插入xS1的3D坐标,我们获得其法线bl,其被称为本文研究了二次到目前为止,给定摄像机1的摄像机光线集e1,我们在每个水面点处得到两种类型的正常值,如果假设的深度D和点集P是正确的,则它们应该是一致的。因此,我们将正态一致性误差定义为:E1(D,P,e1)=a1−b12(三)i i i i2在射线E1处。接下来,我们展示了如何使用它们的相机射线集{ek,k∈Π}、从深度假设D估计的点集S和假设点集P来测量侧视图处的正态一致性项。4.2侧视图我们以侧面摄像机2进行说明,并以类似的方式分析其他侧视图如图在图1(b)中,点Pi由相机2通过水面点Ti观察。同样,我们有斯内尔正常的a2,在Ti处的二次法线b2。为了经由斯涅耳定律计算斯涅耳法线a2我我需要折射光线R2e2在Sec中预先获得3.第三章。考虑我我给出点假设Pi,r2如果Ti的位置是知道的因此,估计正常a2的问题被简化为以下问题:定位射线e2和e3之间的一阶交点与水面点集S。类似的问题已经在射线追踪中研究[1]。实际上我们首先通过创建摄像机1的2D像素的Delaunay三角剖分来生成S的三角网格。然后,我们应用基于包围体层次的光线跟踪算法[20]来定位e 2相交的三角形。使用该相交三角形的相邻点,我们拟合局部二次曲面,如第2节所述4.1,并且Ti的最终3D坐标通过标准射线-多项式相交过程获得。同时,拟合的二次曲面给出了点Ti的二次法线b2。总之,给定每个侧面相机k的每个射线ek,我们获得两个法线ak和bk。它们之间的一致性导致正态一致性误差:我我E k(D,P,ek)=ak−bk2,k ∈ Π。(四)i i i i2水面及水下场景的三维重建7我4.3求解方法在这里,我们首先讨论的可行性恢复水面和水下场景使用正常的一致性在多个视图。组合误差项Eq. (3)在参考视图和Eq.(4)在侧视图中,我们有:Ek(D,P,ek)= 0,对于每个i∈Ω和k∈Φ,(5)我我其中,Ω 是相机1的所有像素的集合,并且Φ ={1} ∪ Π是相机1的集合。Leti¯=|Ω|和dk¯=|Φ|通过尺寸和Φ的大小,可以精确地确定。 由于每个摄像机光线e1可以在所有侧视图中找到有效的对应关系,因此我们在i on s处得到总共i¯×k¯equ。 此外,重新计算时,在Camera1的一个顶点处有4个未知数,因此有4个未知数。因此,为了使解决方案可行,我们必须有一个i¯×k¯≥i¯×4,这意味着至少需要4个摄像头实际上,一些相机射线(例如, 在角像素处的那些像素)的由于遮挡或视场,参考视图不能在所有侧视图中定位可靠的对应关系。实际上,我们需要四个以上的摄像头。直接求解Eq.(5) 由于在计算斯涅耳和二次法线时涉及复杂的操作,因此这种方法是不切实际的。因此,我们将重构问题转换为最小化以下目标函数:Σ ΣminΣEk(D,P,ek)+λFi(D,el),(6)D、 P我i∈Ωk ∈Φ我我i∈Ω其中第一项强制所提出的正规一致性约束。 第二项确保水面的空间平滑度。特别是,我们设置Fi(D,e1)=A(Ni)w(Ni)−z(Ni)2,(7)我其使用水面点Si的邻域Ni来测量局部二次曲面拟合误差。添加这样的多项式正则化项有助于增加我们的多视图公式的鲁棒性,如我们的实验中所示,在第二节。5.1.还请注意,该平滑度项仅针对相机1定义,因为我们在该视图中表示我们的3D形状λ是平衡两项的参数虽然可能倾向于加强针对以下计算的水下表面点P的空间平滑度:2水下场景间断图二.水下场景点不连续。如紫色箭头所示,红色点与绿色点交错,尽管红色和绿色射线各自从相邻像素发射。不同的像素,它不是强加在我们的方法,为以下原因。儿子如图如图2所示,当光路在水面发生折射时,水下场景点之间的邻域关系可以与相机1中观察到的像素之间的邻域关系不同。因此,我们认为,空气水照相机18Y. Qian等人我我们不能简单地强制为相邻照相机射线计算的3D水下表面点也是相邻的。优化. 计算方程中的正态一致性误差。(6) 涉及一些不可逆的操作,例如向量归一化,使得难以导出分析导数。为了处理这样的问题,我们使用具有数值微分的L-BFGS方法[46]进行优化。然而,计算数值导数在计算上是昂贵的,特别是对于大规模的问题。 我们精心优化我们的实现共享共同的中间变量在不同像素的导数计算。此外,求解Eq. (6)不幸的是,这是一个非凸问题;因此,有可能陷入局部极小值。在这里,我们采用了折射表面重建中常用的从粗到细的优化程序[30,28,34]。具体地,我们首先对在Sec中获取的对应进行3至原决议的1/然后,我们使用粗分辨率下的结果来初始化最终尺度的优化。注意,Eq. (6)是单个时间实例的多视图数据。虽然可以通过将序列中的所有帧连接到等式(1)中来同时处理它们(6)因此,将产生具有高计算复杂度的大系统。相反,我们独立地处理每一帧,并使用上一帧的结果初始化当前帧。这样的单镜头方法有效地降低了在运行时间和存储器消耗方面的计算成本,并且更重要的是,可以处理移动的水下场景。还值得注意的是,即使当水下场景是严格静态的,我们恢复的点集P对于不同的帧也可能不同这是因为每个点P1可以被解释为折射光线r1和水下场景之间的交叉点,如图2所示第1段(b)分段。 当水面流动时,由于Si重新定位,折射光线方向改变,从而改变交点Pi。我们的逐帧公式自然地处理点集P的这种变化的表示。5实验所提出的方法进行了测试合成和实际捕获的数据。 这里我们提供一些实现细节。在计算参考视图和侧视图的二次范数时,我们将邻域大小设置为5× 5。参数λ在合成数据中固定为2个单位,在合成数据中固定为0个单位。1毫米在真实的实验。在Eq.(6)在粗尺度下,L-BFGS迭代的最大次数固定为2000和200分别用于合成数据和真实场景,并且在两种情况下在全分辨率下都被设置为20线性最小二乘系统Eq.(2)通过使用特征值的正规方程求解由于不同像素处的Snell和二次法向计算是独立的,因此我们在C++中实现我们的算法,其中使用OpenMP [9]优化的可并行化步骤,在具有3.2GHz Intel Core i7 CPU和32GBRAM的8核PC水面及水下场景的三维重建95.1合成数据我们使用射线追踪方法[20]来生成用于评估的合成数据具体而言,两种情况很相似:AsticSt√nfordBunnyobsreservedthrougha正弦波:z(x,y,t)= 2 + 0。1cos(π(t +50)(x − 1)2+(y − 0. (5)2/80),以及D√rago的一个移动的Stan表示had2 - 0。1 cos(π(t + 60)(x + 0. 05)2+(y + 0. 05)2/75)。Dragon对象移动沿着一条匀速为0的直线。01单位每帧。因为不同的大小的两个对象,我们把兔子和龙对象的顶部上的平面背景定位在z = 3。5和z= 3。8,分别。使用3× 3相机阵列捕获合成场景将参考相机放置在原点处,并且将阵列系统中的相邻相机之间的基线设置为0.3 乙腈-0. 2分别用于兔子和龙场景。表1.合成兔子场景和龙场景的重建错误。在这里,对于每个场景,我们通过考虑所有帧来列出平均误差。场景D的RMSE(单位)1的MAD(◦)b1的MAD(◦)P的MED(单位)兔子0的情况。0060的情况。760的情况。770的情况。01龙0的情况。0020的情况。360的情况。370的情况。01我们从定量评估所提出的方法。 由于我们的方法可以返回水面的深度和法线,以及水下场景的3D点集,我们采用以下措施进行精度评估:地面真实(GT)深度与估计深度D之间的均方根误差(RMSE),GT法线与恢复的Snell法线之间的平均角差(MAD)a1,真实法线之间的MAD和计算的二次法线b1,以及水下场景的重建点集P与GT点集之间的平均欧氏距离(MED)。表1通过对所有帧进行平均来示出我们的重建值得注意的是,Snell法线的平均MAD和二次法线的平均MAD对于两个场景是非常相似的,这与我们的法线一致性约束相一致。图3直观地示出了几个示例帧的重建结果完整的序列可以在补充材料中找到 相比GT,我们的方法准确地恢复动态水面和水下场景。我们还可以观察到,虽然Bunny案例中的水下场景在模拟中是静态定位的,但在不同的帧处获得不同的点云(参见图12中的红框)3(c)),呼应我们对水下点的不同表示P。此外,与逐帧重建方案,我们的方法成功地捕捉到水下龙对象的运动。简而言之,准确的结果,获得使用不同的水的波动,不同的水下物体(静态或移动),和数据采集设置,这表明我们的方法的鲁棒性所产生的两个场景。10Y. Qian等人(a) 水深(b) 水面(c) 水下点集图三.在兔子场景(左两列)和龙场景(右两列)的两个示例帧上与GT的视觉比较。在每个子图中,我们分别在顶行和底行显示GT和我们的结果。(a)显示了GT水面深度和估计的深度。(b)显示了使用GT法线贴图着色的GT水面,以及使用二次法线着色的计算水面此处未显示Snell法线,因为它们与二次法线相似。(c)显示了水下场景的GT点集和恢复的GT点集,其中每个点都用其z轴坐标着色。红色框突出显示了两个不同帧的水下点云的明显不同区域;详细信息请参见文本#10-32.221.81.601234560.440.420.40.380.3601234560.440.420.40.380.3601234560.0110.01050.010123456图4.第一章作为平衡参数λ的函数的不同误差测量。D的RMSE1的MADb1的MADP的MED水面及水下场景的三维重建111的MAD0.015 64 0.150.0140.00520.120.0504689数量的相机04689数量的相机04689数量的相机04689数量的相机图五、不同的误差测量作为所使用的相机的数量的函数然后,我们调整等式中的权重λ(6)以验证多项式平滑项Eq.(七)、在这里,我们使用龙场景进行说明。 如图4、当λ= 0时,该方法仅依赖于正态一致性先验显式地应用具有适当设置λ= 2的平滑项相对于其他选择有利地执行。所有错误度量。图图5进一步示出了我们在使用不同数量的相机下的重建精度。 使用更多数量的摄像机可以获得更高的精度。5.2真实数据为了从多个视点捕捉真实场景,我们构建了一个相机阵列系统,如图所示第1(a)段。 10台PointGrey Flea2摄像机安装在三个金属框架上,用于观察装有水的玻璃罐的底部。摄像机通过两个PCI-E Firewire适配器连接到PC,这使我们能够使用PointGrey提供的软件进行同步。我们使用图中红框1(a)用于多视图3D重建,而第10个相机,即评估相机,仅用于精度评估。我们使用棋盘[45]校准相机的内部和外部参数 相邻摄像机之间的基线约为75 mm,摄像机阵列与水箱底部之间的距离约为55 cm。所有摄像头都以30fps的速度拍摄视频,分辨率为516×388。平坦有纹理的背景被粘到水箱的底部,这是为了便于光流估计为了在真实数据上验证我们的方法,我们首先捕获一个简单的场景:放置在坦克底部的平面纹理平面,称为场景1。通过在图案的一个角附近连续滴落的水滴来扰动水面如图6(a),我们的方法不仅忠实地恢复四分之一环形波纹传播的角落滴水,但也准确地返回三维水下平面没有任何先验知识的平面结构。 为了准确度评估,我们还使用RANSAC[13]为每个帧的重建水下点集拟合平面。 重建点与拟合平面之间的MED为0。44mm,在所有帧上取平均值值得注意的是,这里没有执行像平滑这样的后处理步骤。两个非平面的水下场景,然后用来测试我们的方法:(i)一个玩具老虎,是由强大的水湍流,(ii)一个移动的手在一个纹理手套。我们将这两个场景分别称为场景2和场景3在这两种情况下,为了产生水波,我们随机地扰动水面D的RMSEb1的MADP的MED12Y. Qian等人(a) 场景1(b) 场景2(c) 场景3图六、我们捕获的场景的四个示例帧的重建结果在每个子图中,我们示出了参考相机的捕获图像(顶部)、用二次法线着色的水面的点云(中间)、用z轴坐标着色的水下场景的点云注意,捕获图像中的运动模糊(绿框)可能影响重构结果(红框)。水面及水下场景的三维重建13场景第一场第二场第三场光流估计(每帧分钟数)0. 743D重建(每帧分钟)2. 550的情况。七四零。77二、50 2.52在水箱的一端图图6(b,c)示出了场景2和场景3上的几个示例结果,并且可以在补充材料中找到完整的视频我们的方法成功地恢复了老虎对象和移动的手的3D形状,以及快速发展的水面。图7.第一次会议。在场景3的两个示例帧(顶部和底部)上查看合成从左到右,其示出了使用评估相机捕获的图像、合成图像以及它们之间的绝对差值图可以在捕获的图像中观察到镜面反射(红色框)和运动模糊(绿色框)的效果这些影响无法综合,导致相应地区差异较大新视图合成。 由于在我们的问题中获得GT形状是困难的,我们利用新的视图合成的应用程序来检查重建质量。具体地说,如图1所示在图1(a)中,我们在附加的校准视图处观察场景,即 评价相机 在每一帧中,给定水下场景的3D点集,我们通过恢复的水面将每个场景点投影到评估相机的图像平面。 这里这样的前向投影是非线性的,因为水面处的光弯曲,这是通过类似于[5,22,25]的迭代投影方法实现的;详细算法参见补充材料。然后,使用双线性插值获得在评估相机处的最终合成图像。图7显示合成的图像和捕获的图像看起来非常相似,这验证了我们的方法的准确性以场景2和场景3为例,通过将合成图像与捕获图像进行比较,平均峰值信噪比分别为30dB和31dB运行时间。 对于我们的实际捕获数据,每个场景包含100帧,每个帧包含119,808个水面点和119,808个水下场景点。处理每个完整序列大约需要5.5小时,如表2所示表2.三个真实场景的平均运行时间。14Y. Qian等人6结论本文提出了一种新的三维重建方法:通过动态水面恢复水下场景。我们的方法利用多个视点,通过构建一个便携式相机阵列。在获取不同视图之间的对应关系之后,可以通过在法向一致性约束下最小化目标函数来估计未知的水面和水下场景我们的方法是使用合成和真实的数据进行验证。据我们所知,这是第一种可以处理动态水面和动态水下场景的方法,而以前的工作[43]使用单个视图,无法处理移动的水下场景。我们的方法在几个假设下工作,这些假设也常用于折射形状的最先进作品首先,我们假设介质(即,在我们的情况下是水)是透明和均匀的,因此光从水到空气正好折射一次。其次,假定水面是局部光滑的,因此可以基于局部邻域可靠地估计每个表面点的二次法线。第三,假设水下场景是纹理的,以便可以准确地估计跨视图的光流场。 在现实世界场景中可能违反上述假设。例如,像气泡、破碎波、光散射的水现象可能导致沿着给定光路的多个光弯曲事件。 7可以影响对应匹配和后续重建的准确性,如图中的红框所突出显示的。6(c).虽然有前途的重建性能证明在这篇文章中,每一个,我们的方法只是一个初步的尝试,以解决这样一个具有挑战性的问题。 所得到的结果是不完美的,特别是在表面的边界区域,如图所示。六、这是因为与其他区域相比,这些区域被较少的视图覆盖为了解决这个问题,我们计划建立一个更大的相机阵列或使用光场相机进行视频捕获。此外,遮挡是多视图设置中的已知限制,因为遮挡区域中的对应匹配不可靠。我们计划在不久的将来在我们的模型中容纳最后,我们的工作受到了捕鱼鸟定位水下鱼类的能力的启发我们的解决方案需要4个或更多的摄像头,而捕鱼鸟只需要两只眼睛。 这将是有趣的进一步探索额外的限制或线索,鸟类使用,使这成为可能。我们的假设包括鸟类对鱼的大小有先验知识,并且只估计鱼的粗略深度[3]。在这些附加假设条件下,是否能够估计水下场景的深度,值得进一步研究。致谢。 我们感谢NSERC,Alberta Innovates和阿尔伯塔大学的财政支持。Yinqiang Zheng通过2017年合作研究计划(Core 13)获得ACT-I,JST和Microsoft Research Asia的支持水面及水下场景的三维重建15引用1. Adamson,A.,Alexa,M.:光线跟踪点集曲面。In:Shape Modeling In-ternational,2003. pp. 272 -279 03The Dog(2003)2. 阿格拉瓦尔,A.,Ramalingam,S.,田口Y. Chari,V.:多层平板折射几何理 论 。 In : Computer Vision and Pattern Recognition ( CVPR ) , 2012IEEEConferenceon. pp. 3346-3353 IEEE(2012)3. Alterman,M.,Schechner,Y. Y.,Swirski,Y.:随机屈光不正的三角测量In : Computational Photography ( ICCP ) , 2013 IEEE International Con-fe-nceon. pp. 1-10 IEEE(2013)4. 浅野,Y.,郑宇,Nishino,K. Sato,I.:水的形状:用于深度恢复的双谱光吸收。欧洲计算机视觉会议pp. 63502TheDog(2016)5. Belden,J.:具有折射界面的多相机系统的校准Experiments in fluids 54(2),1463(2013)6. Brox,T.,Bruhn,A.,Papenberg,N.Weickert,J.:基于翘曲理论的高精度光流估计在:欧洲计算机视觉会议pp. 25(200 4)7. Chang,Y.J.,陈T:已知垂直方向折射平面下场景的多视点三维重建In:Computer Vision(ICCV),2011 IEEEInter nati o nalCo nfere nceo n.pp.351IEEE(2011)8. Chuang,Y.Y.,Zongker,D.E.,Hindorff,J.,Curless,B.,Salesin,D.H.,Szeliski,R.:环境抠图扩展:实现更高的准确性和实时捕获。第27届计算机图形学和交互式技术年会论文集。pp. 121ACMPRS/ADDiso n-WesleyP u bl is hi ngCo.(2000年)9. 达古姆湖Menon,R.:Openmp:一个用于共享内存编程的工业标准api。IEEEcomputati onalscienceandengineringg5(1),4610. 丁,Y.,Li,F.,Ji,Y.,Yu,J.:使用相机阵列的动态流体表面采集。在:计算机视觉(ICCV),2011年IEEE国际会议上。pp. 2478-2485 IEEE(2011)11. Efros,A.,伊斯勒,V.,施,J.,Visontai,M.:透过水看。In:Advances inNeuralI in Ner mati o nProces.pp. 39312. 费雷拉河Costeira,J.P.,Santos,J.A.:水下场景的立体重建。伊比利亚模式识别和图像分析会议。pp. 10202TheDog(2005)13. Fischler,文学硕士,Bolles,R.C.:随机样本一致性:模型拟合的范例与 图 像 分 析 和 自 动 制 图 的 应 用 In : Readings incomm puttervisio n ,pp.72602TheDog(1987)14. Gregson,J.,伊尔克岛Thuerey,N. Heidrich,W.:从捕获到模拟:连接流体中的正问题和逆问题。ACM Transactions on Graphics(TOG)33(4),139(2014)15. Guennebaud,G.,雅各布湾等:本征v3。http://eigen.tuxfamily.org(2010)16. Han,K.,黄启坚,Liu,M.:透明物体密集重建的固定视点方法。在:Proceedings of the IEEE Conference on Computer VisionandPatternRecognition中。pp. 400117. Jüahne,B., Klinke,J., Waas,S. :我正在制作一个新的视频:一个关键的视频。J.O.S.A.11(8),219718. Ji,Y.,是的,J.,Yu,J.:用光路近似法重建气流IEEE计算机视觉和模式识别会议论文集pp. 250716Y. Qian等人19. Katzir,G.,插入器,编号:礁鹭攻击水下猎物,白鹭。J〇unal〇fC〇mpartivePhysi 〇 gyA160⑷,51720. Kay , T.L. Kajiya , J.T. : 光 线 跟 踪 复 杂 场 景 。 在 : ACM SIGGRAPHcomputtergraphics中。 vol. 第20页。 269-278 ACM(1986)21. 金,J.,列舍图斯基岛Ghosh,A.:使用单视图透射成像获取轴对称透明物体。第30届IEEE计算机视觉与模式识别会议(CVPR)(2017)22. 库 德 拉 湖 Frischmann , F. , Yossef , O.E. , Kollmannsberger , S. ,Yosibash,Z.,Rank,E.:在折射中圆形运动下管状几何形状的基于图像的网格生成。Machi neVisi n andA ppl ic ati ns29(5),719- 733(2018年7月https://doi.org/10.1007/s00138-018-0921-323. Kutulakos,K.N.,Steger,E.:通过光脉冲形成的折射和镜面3D形状的理论。InternalJour nalofComuterVison76(1),1324. 新 泽 西 州 莫 里 斯 Kutulakos , K.N. : 动 态 折 射 立 体 。 IEEE TransactionsonPatternanalysandmachinei n e intelligence33(8),151825. Mulsow,C.:灵活的多媒体捆绑方式。国际建筑。照片。关于我们 是的。 Inf. Sci38,47226. 村濑,H.:使用折射和运动的非刚性透明物体的表面形状重建。IEEE模式分析和机器智能汇刊14(10),104527. Murez,Z.,Treibitz,T.,Ramamoorthi河克里格曼,D.J.:散射介质中的 光 度 立 体 IEEETransactionsonPatternAnalysisandMachineIntelligence39(9),188028. Qian,Y.,Gong,M.,洪洋,Y.:具有位置法线一致性的透明物体三维重建。在:ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition中。pp. 436929. Qian,Y.,Gong,M.,Yang Y.H.:基于频率的压缩感知环境抠图。In:Proceedings of the IEEE International Conference on ComputterVision. pp. 353230. Qian,Y.,Gong,M.,Yang Y.H.:基于全局优化的动态流体表面立体三 维 重 建 In : Proceedings of the IEEE Conference onComputerVisionandPatternRe cognition.pp. 126931. Rusu,R.B.:人类生活环境中日常操作的语义3D对象映射博士论文,计算机科学系,Technische Uni- versitaet Muenchen,德国(2009年10月)32. Saito,H.,Kawamura,H.,Nakajima,M.:基于运动立体的水下物体三维形貌测量。在:工业电子、控制和仪器仪表,1995年。1995年IEEEIECON 第 21 届 国 际 会 议 论 文 集 。 vol. 第 2 页 。 1231-1235 02The Dog(1995)33. Sedlazeck,A.,Koch,R.:水下立体摄像机壳体参数的标定。 In:B MVC.pp. 1-11 02TheDog(2011)34. Shan,Q.,Agarwal,S.,Curless,B.:来自单个和多个图像的折射高度场。In:Computer Vision and Pattern Recognition(CVPR),2012 IEEE C〇nferenceon. pp. 286- 293. IEEE(201 2)35. 田中K. Mukaigawa,Y.,Kubo,H.,Matsushita,Y.,Yagi,Y.:从飞行时间 失 真 恢 复 透 明 形 状 。 在 : Proceedings of the IEEE Conference onC 〇mputerVisisinandPattermRec 〇 gnitin中。pp. 438736. 田,Y.,Narasimhan,S.G.:透视水:使用基于模型的跟踪的图像恢复在:计算机视觉,2009年IEEE第12届国际会议上。2303-02The Dog(2009)水面及水下场景的三维重建1737. Westaway,R.M.,Lane,S.N
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- zigbee-cluster-library-specification
- JSBSim Reference Manual
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功