基于体视的流体表面三维重建的方法以及其在动态流体表面的应用

1基于体视的动态流体表面三维重建的阿尔伯塔大学yqian3@ualberta.ca龚明伦纽芬兰纪念大学gong@cs.mun.ca阿尔伯塔大学yang@cs.ualberta.ca摘要动态流体表面的三维重建是计算机视觉领域中一个开放而富有挑战性的问题。与先前独立重建每个表面点并且经常返回噪声深度图的方法不同，我们提出了一种新的基于全局优化的方法，该方法同时恢复所有3D点的深度和法线。使用传统的折射立体设置，我们捕获一个预先生成的随机图案的波浪外观，然后通过跟踪图案来估计捕获的图像与已知背景之间的对应关系假设光通过流体界面仅折射一次，我们最小化目标函数，该目标函数包括交叉视图法向一致性约束和单视图法向一致性约束。关键思想是，基于斯涅尔定律从一个视图的光折射所需的法线不仅应与第二视图的法线一致，而且还应与从局部3D几何体估计的法线一致此外，设计了一种有效的我们报告的合成和真实数据的实验结果表明，所提出的方法是准确的，并显示优于传统的立体为基础的方法。1. 介绍动态流体表面的三维重建问题已经引起了计算机视觉[19]、海洋学[14]和计算机图形学[8]等领域的广泛关注有效的解决方案可以使许多应用受益，例如。基于物理的流体模拟[10]和流体成像[2]。这个问题之所以具有挑战性，有几个原因。首先，与玻璃和水晶类似，大多数流体是透明的，没有自己的颜色。它们从周围的背景中获得颜色。因此，传统的基于颜色的立体匹配不能用于这种视图相关的表面。第二，追踪光的路径-由于折射中固有的非线性，流体表面重建中涉及的非线性是不平凡的更糟糕的是，光的折射不仅取决于三维形状，而且还取决于介质折射率，这通常是未知的。第三，与静态透明物体相比，精确重建波浪形流体表面甚至更难，因为需要实时捕获。在计算机视觉中，该问题通常通过折射形状来解决。通常，已知的背景被放置在流体表面下方，并且通过分析像素点对应关系来执行3D重建。也就是说，对于每个像素，获取光源在背景中的对应位置。然而，已知来自像素点对应的形状具有模糊性：3D表面点可以位于沿着穿过像素的照相机光线的任何位置。最近的方法解决了沿两个方向的歧义。一些方法[29，31，34]，而不是使用像素点对应，获取射线-射线对应，即。从背景发射的入射光线和到达照相机的出射光线，使用特殊的装置（例如，Bokode [31]，光场探针[29]）。或者，许多方法[7，19]提出采用立体/多相机来捕获流体表面，其基本上利用横视图法线一致性约束：使用从不同视图获取的像素点对应关系计算的法线应该是一致的。然而，对于上述两组，一个共同的限制是，它们只产生可靠的法线，但有噪声的深度。然后通过法向积分获得流体表面为了获得积分的边界条件，他们要么假设表面在边界处是平坦的[7，31]，要么使用噪声深度估计边界[19，29]。为了克服上述局限性，我们提出了一种基于全局优化的方法来重建一个动态的，均匀的和透明的流体表面，从该表面的镜面反射被假定为可以忽略不计。我们的方法是基于像素点对应。通过假设光仅被重定向一次通过流体表面，我们首先使用两个透视相机来捕捉一个运行的失真，12691270dom图案通过波浪形表面。因此，我们的采集系统很容易实现，不需要特殊的光学。与传统的基于立体的方法[19]相比，所提出的方法可以获得准确、一致的深度和法线，而无需易于出错的表面积分步骤。具体来说，而不是做一个逐点重建，我们制定了一个全局优化功能，它不仅利用跨视图正常consideration，但也单视图正常一致性约束。通过这样做，我们联合重建深度和法线。我们的方法解决了现有的方法的基本限制，表面集成没有准确的边界条件。此外，设计了一种新的重构误差度量，用于液体折射率的搜索，得到了令人鼓舞的结果。2. 相关工作基于单视图的方法首先由Murase [20]在计算机视觉中引入，其中表面法线通过用正交相机通过波浪状的水捕获平坦背景的视频来恢复。为了消除像素点对应关系中的模糊性，早期的努力集中在提出额外的约束，例如。流体序列的统计近似假设[20]，已知平均流体高度[14]。最近，Shanet al. [25]通过在正投影下同时求解所有表面点来改进Murase的方法。然而，它们的实现需要每个帧的长曝光时间（约0.5通过将表面建模为三次B样条，Liuet al. [18]介绍了一种用于使用像素点对应来重建反射镜对象和透明表面的参数解决方案射线-射线对应的方法，以避免单视图设置下的像素点对应的模糊性通过在大透镜的焦距处放置彩色屏幕，Zhang和Cox [34]将背景的每个2D源点与正交投影下的光线方向相关联。然后在得到像素点对应之后容易地获得入射光线。Ye等人[31]通过使用透视摄像机建立类似的设置。Wetzstein等人[29]用光场探针获取射线-射线对应关系[28]。具体来说，他们用小透镜阵列代替大透镜。然后将颜色图案放置在阵列下，其使用不同的颜色通道对位置和角度对应进行编码。所有上述基于射线-射线对应的方法都依赖于特殊的光学系统，这引入了许多实际问题，例如：校准背景点的光线方向[15]并使设置防水[31]。此外，正如他们的论文[29，31]中所报道的，通过相交入射和出射光线获得的表面位置不如通过斯涅耳定律获得此外，一个表面-需要积分算法从法线信息获得3D形状。另一组方法利用多个视点来解决该问题。Morris和Kutulakos [19]首先提出使用立体相机系统来捕获动态流体表面。通过在流体表面下放置棋盘，他们的方法可以根据像素点对应关系估计深度和法线。在他们的立体声设置之后，我们的方法不仅继承了易于实现的优点（例如，（1）除了交叉视图法向一致性外，本文还提出了一种新的单视图法向一致性方法，该方法考虑了局部曲面几何的影响;（2）与他们的方法不同，我们采用了一种全局优化方案，可以同时恢复所有表面点，从而提高了深度和法线的精度;（3）由于深度和法线是在不同的步骤中计算的，因此基于深度图的网格拟合所获得的表面和通过正态积分估计的表面不能保证一致性。通常，它们的法线比相应的深度更精确。因此，需要从法线进行额外的曲面积分相比之下，我们同时重建深度和法线，这是准确的，最重要的是，是相互一致的;（4）我们定义了一个新的误差度量来恢复未知的折射率，而不需要像他们的方法中那样计算像素点对应的复数逆。值得注意的是，折射立体公式已经扩展到使用相机阵列[7]，其中流体表面通过镜面雕刻重建。然而，上面讨论的[19]的主要局限性仍然没有解决。3D流体表面也可以基于光反射来恢复[17，32]。此外，我们的工作也与重建静态透明物体[11，16，22，26，37]和动态气流[3，15，30]的问题密切相关。感兴趣的读者可以参考这一领域的调查[12，133. 该方法3.1. 对应获取与匹配我们的方法基于透明流体表面如何折射光线来计算其3D形状。具体地说，对于每一个像素点，都需要相应背景点的位置，即像素点对应 如图在图1（a）中，我们将预先生成的图案放置在坦克的底部，并分别用相机1和相机2从两个不同的视点捕获场景。对于每个相机，我们首先捕获没有水的图案作为参考图像B。摄像机同步拍摄1271（一）（b）第（1）款摄像机2的对应匹配以并行方式工作。相同的过程应用于不同的帧。到目前为止，我们已经获得了像素点对应的液体运动序列从两个相机。接下来，我们提出了一种新的重建框架，解决了以下问题：给定两个视图每帧的像素点对应函数P1（）和P2（），如何恢复动态曲面的深度和法线，以及折射率？图1. 采集设置（a）和相应的折射立体几何结构（b）。请注意，左图中的摄像机3仅用于精度评估，在3D重建期间不使用。添加水后的动态表面请注意，在我们的真实实验中，使用额外的四点二。图1（b）图示了2D中的采集设置。考虑两个透视相机集中在O1和O2观察折射表面对一个平面的背景。例如，以摄像机1为例，对于摄像机1中的每个像素（xi，yi），源自参考平面上的对应点P1（i）的光在表面点Si处被折射。令I1（xi，yi，t）为折射失真图案的第t个这里，目标是针对每个像素（xi，yi）估计光源点P1（i）。我们先来-3.2. 基于立体的重建我们的方法制定了一个全局优化框架，强制执行两种形式的正常一致性约束。具体地，对于每个3D点，基于来自两个不同视点的光折射估计的法线应该是一致的。另一方面，它们也需要同意基于单视图局部形状几何估计的法线。3.2.1正常定义的这里我们首先解释上面提到的不同类型法线的定义。类似于基于颜色的立体匹配，我们将相机1设置为主相机，并且流体表面由相机1的范围内的深度1图D如图1（b），对于与相机1的像素（x，y）相关联的第i个表面点S，令d为其应用由粗到细的变分框架[5]来计算i我我我I1和B1之间的光流（ui，vi）。然后，很容易地计算出点P1（i）的前向投影（x′，y′假设深度。然后可以通过首先假设相机的参数是已知的来计算S1的3D坐标给定像素点对应P（i），我们得到我I1as（xi+ui，yi+vi）.假设两个物体之间的相对姿态摄像机和参考平面预先校准并在采集期间固定，通过将射线O1P1（i）与参考平面相交来估计P1显示模式的选择对于精确的对应匹配和随后的3D重建至关重要。传统方法[7，19]使用棋盘图案并跟踪特征角。通过插值得到非角点像素的对应关系。然而，这些方法都假定液面的第一帧是近似平坦的，这通常是不切实际的，因此可以得到可靠的初始对应场。相反，受单次激发结构光中随机图案的成功应用的启发[9]，我们选择由伯努利分布[27]如图所示。9.第九条。与常规棋盘不同，伯努利随机模式包含较少的重复结构，这有助于在局部窗口中搜索对应时减少歧义。此外，与基于颜色的图案相比，二元随机图案扩展了棋盘在处理光吸收、色散、色差等方面的优势[6，29]。通过连接P1（i）和Si来确定光线方向ri。然后Si的法线可以基于斯涅耳定律来计算我们把这个法线称为LeftSnell法线，记为n1（i）.斯涅尔也就是说，n1（i）=（ηlri−ηaei）/ηlri−ηaei，其中ηl和ηa分别表示液体和空气的折射率。我们在实验中设定ηa= 1讨论了如何处理折射率未知的流体表面节中三点三另一方面，通过连接Si和O2，我们得到射线ej和正向投影（xj ，yj）。 同样，由于对应源函数P2（j）是事先得到的，我们也可以在给定光线rj和ej的情况下，根据Snell定律计算Si的另一个法线。我们把这个法线称为RightSnell法线，记为n2（i）。 类似地，n2（i）可以通过n2（i）=（ηlrj−ηaej）/ηlrj−ηaej估计。1在本文中，深度被定义为3D点与相机中心之间沿z轴的距离。112（′，���y′）（年，年）2（j，yj）摄像机3照相机1照相机2J（一）空气液体图案J参考平面P1（i）1272此外，3D点的法线可以从其局部形状几何结构计算。也就是说，从Si的相邻点的3D位置，我们可以拟合切线飞机则Si是由非-切平面的错误特别地，我们通过主成分分析（PCA）[24]估计该正态，其被称为PCA正态，并由np（i）表示。其基本思想是分析协方差矩阵的特征向量和特征值，查询点更具体地，点Si处的协方差矩阵M被定义为：图2. 光线追踪几何估计基于形状的光流场。[19]前一种方法[19]认为，M=1Σ（Sk−Si）（Sk−Si）、（1）仅查看误差项E12α、β、γ和λ是平衡不同|N（i）|k∈N（i）其中N（i）表示像素i的局部邻域，并且|N（i）的大小。|the size of N (i). 因此，PCA法线np（i）是M的具有最小特征值的特征向量3.2.2目标函数为此，我们得到三个不同的正常估计计算从不同的来源为每个表面点Si。理想情况下，这三个估计值应该相同。因此，每对法线之间的差异可用于定义法线一致性误差。即：E12（i）= 1−n1（i）·n2（i），（2）E1p（i）= 1−n1（i）·np（i），（3）E2p（i）= 1−n2（i）·np（i），（4）其中E12测量交叉视图正常一致性误差，这是[19]中使用的误差。E1p和E2p是我们新的单视图正态一致性误差。此外，假设流体表面是分段平滑的，我们将第i点处的深度平滑度项定义为：届请注意，方程式（6）定义为w.r.t.一帧有可能通过将它们包括在等式中来求解来自所有帧的所有点的深度图。（6）同时，这产生了计算上昂贵的大型系统。与此相反，我们独立求解每一帧，并使用上一帧的结果来初始化当前帧，这不仅大大减少了运行时间和内存消耗，而且保持了时间一致性。另外，由于涉及计算三个法线的复杂操作，因此难以解析地导出等式（1）的导数（六）、为了解决这个问题，以前的方法[19]采用黄金分割搜索[21]进行逐像素1D优化，当未知数的数量很大时，这是计算密集型的，因此，该方法不适用于我们的全局目标函数。相反，在我们的实现中，我们使用L-BFGS-B [36]方法来优化Eq.（6）数值微分法。3.3. 优化深度和折射率如第3.2.1，计算LeftSnell和RightSenll法线都需要流体的折射率。给定不同的折射率假设，求解Eq.（6）返回不同的深度图。因此，额外的步骤EsoΣ（i）=（dik∈G（i）-dk）2，（5）在索引未知的情况下，需要使用该方法来获得所需的3D模型。按照以前的方法[19，22，25]，这里我们使用蛮力搜索方法。也就是说，我们更-其中G（i）是在我们的实现中包含像素i的底部和右侧像素的邻域像素集对上述误差项求和并考虑所有表面点，我们得到以下全局最小化问题：Σ选择可能的索引假设，基于新的重建误差度量评估相应的模型，并选择具有最小残差的索引。我们提出的重建误差度量的主要思想一方面，就像-mindi∈Di∈N1（αE1p（i）+β E2p（i）+γE12（i）+λEso（i）），（六）1（年，年）（′，y′）′空气液体′′参考平面1273我在Sec.3.1，对于相机1中的第i个像素，我们可以使用基于图像的方法计算流体图像I1和参考图像B1之间的位移矢量（ui，vi），其中，X1表示包含感兴趣区域中的所有表面点的像素集合。因此，Eq.（6）耦合交叉视图和单视图法向一致性约束以同时优化所有点的深度提示[5]。另一方面，由于流体表面的3D形状被重建，因此流场也可以使用基于形状的线索来获得。如图2，对于第i个像素（xi，yi），我们沿着每个相机射线e′追踪并定位1274我我KK它与流体表面的相交处。 折射光线r′√50）（x-1）2+（y − 0. （5）2/80）。在实践中，这两个凸轮-然后通过Snell定律得到。 最后，像素坐标-通过投影回照相机获得nate（x′，y′）纪元被放置在（0，0，0）和（0. 05，0，0）。的参考平面在z= 2处。五、 通过绘制伯努利图-我我沿方向V’居中，并且基于形状的位移-元素向量计算为（u′，v′）=（x′−xi，y′−yi）。在参考平面上，我们开始渲染没有流体的参考图像B然后扭曲的IM-我我我我理想地，基于图像的流（IBF）矢量（u i，v i）和基于图像的流（IBF）矢量（ui，vi）可以是相同的。基于形状的流（SBF）矢量（u′，v′）应该相同。使用光线跟踪器模拟具有波浪表面的年龄如图2所示。对应函数为我我类似的分析可以应用于相机2。 所以我们设计一个新的误差度量如下：.EPE（k）=（uk-u′）2+（vk-v′）2，k∈2，（七）其基于用于评估光流结果的流行端点误差（EPE）[4]。表示第c个相机的像素集合。值得注意的是，所提出的误差度量Eq. [7]与[19]中所用的不同。它们的误差度量要求计算对应函数P1（）和P2（）的逆，不幸的是，当多个像素接收来自同一点的贡献时，这可能不是一般可逆的。相比之下，我们的度量标准没有这样的问题。在实践中，实施由粗到细的优化过程以搜索最佳深度图和最佳折射率两者。我们首先将获得的对应函数P1（）和P2（）下采样到原始分辨率的1/4然后，对于给定范围内的每个指数假设，我们优化Eq。（6）并基于Eq.（7）在粗分辨率下。选择给出最小重构误差的索引值最终的形状重建使用全对应函数和最佳的索引。4. 实验所提出的方法进行评估合成和捕获的数据。 参数设置α=β= 1，γ= 1000，λ= 100（单位）用于合成数据，α=β= 1，γ= 20，λ= 0。005（mm）的材料用于实际实验。在粗到精最小化期间，对于第一帧的下采样和全分辨率，L-BFGS-B优化的最大迭代次数分别固定为200和20对于剩余帧，迭代次数减半。 我们使用方程中的5×5和3×3局部邻域N（）。（1）分别在低分辨率和全分辨率下。考虑计算不同点的法线n1，n2，np可以是每-独立形成。我们实现了我们的算法employming并行在MATLAB R2016a上的8核PC与3.2GHz的英特尔酷睿i7CPU和24GB RAM。4.1. 合成数据我们首先在合成的正弦波上验证我们的方法：z（x，y，t）= 2 + 0. 1 cos（π（t+通过执行对应匹配算法获得，在Sec. 第3.1条所提出的方法使用以下两个措施进行评估：地面实况深度和计算深度之间的均方根误差（RMSE），以及真实法线和恢复的LeftSnell法线之间的平均角度误差（AAE）在这里，LeftSnell法线可以通过现有方法[19]和我们的方法生成，用于公平比较。在我们的公式中只使用了PCA和RightSnell法线，基于这两种法线的评估结果与这里给出的结果相似;参见补充材料[1]。为了验证所提出的约束的有效性，我们首先评估算法，从方程中删除不同的条款。（六）、在每种情况下使用的目标函数列在图中。3（e）。情况1仅包括横视图项E12，并且对应于在先前方法[19]中使用的横视图项。添加空间平滑项（情况2）可以有效地减少误差，因此，平滑项用于与[19]的所有其他比较。情况3相当于单视图解决方案，其中仅使用来自摄像机1的对应信息。情况4使用E1p和E2p，而我们的方法结合了所有三个正常的一致性约束方程。（2，3，4）在目标函数Eq.（6）并产生最小的误差。此外，Fig.3还显示了我们的方法随时间的鲁棒性和时间一致性。图4比较了传统的基于立体的方法[19] 和我们的一起为了公平比较，使用我们的方法生成的像素点对应。结果表明，在增加光滑性约束的情况下，它们的法向图估计与我们的法向图估计相似。然而，他们的估计深度是嘈杂的，而我们的是光滑的。更重要的是，我们的方法同时恢复深度和法线，这两者都是准确和一致的。除了得到三维流体表面，我们的方法可以恢复流体的折射率。在这里，我们测试的可靠性的折射率估计。通过在模拟中设置不同的折射率，我们使用我们的光线跟踪器渲染扭曲的图像与流体。如图对于每个地面实况指数设置，我们重新构建3D形状并计算平均EPE Eq.（7）在[1. 25，1。[85]以0为增量。05. EPE曲线显示出最小值，12750.090.080.070.060.050.0432.521.50.080.070.060.050.040.032.521.51（1）y12（2）y12+o0.030.020.010帧ID(a) 指数η 1= 1。3310.50帧ID(b) 指数η 1= 1。330.020.010帧ID(c) 指数η 1= 1。550.50帧ID(d) 指数η 1= 1。55（3）α1p+o（4）α1p+ β2p+o(5) 我们(e) 传奇图3.不同的误差测量值作为合成波的帧id的函数（a）和（b）示出了当折射率η1= 1。33用于波浪模拟。（c）和（d）示出了ηl= 1时的误差曲线。55用于波浪模拟。(a) [19]第十九话：一个人的世界图4.当η l = 1时，对[ 19 ]中的方法和我们的方法进行了直观的比较。33用于模拟。从上到下，它显示了LeftSnell法线贴图、深度贴图和使用LeftSnell法线着色的点云。请参阅补充材料[1]的完整视频序列以及捕获的图像。516×388相机1和2用于3D重建和折射率估计，而相机1和2用于3D重建和折射率估计。3仅用于准确度评估。我们使用普通打印机在A4大小的纸上打印二元随机图案。然后将图案层压成防水的。由薄的层压塑料层引起的折射效应可以忽略不计。图案附着在水箱底部。另一种可行但更昂贵的解决方案是使用防水平板电脑来显示图案。在加水之前，我们使用棋盘[35]校准相机和图案之间的相对姿态。在图6中，显示了三个捕获的水波，完整的序列可以在补充视频中找到[1]。波浪1和波浪2都是通过随机扰动水箱一端的水面而产生的，并且都表现出大的水波动和快速的演变。采用两种不同块大小的Bernoulli随机模式来评估算法对模式变化的鲁棒性;参见图7。波3是由图案一侧附近的水滴滴落而产生的小波纹情况。我们的方法可以忠实地恢复传播的环形结构所产生的真实指数：1.33真实指数：1.55真实指数：1.73.532.521.510.501.251.31.351.41.451.51.551.61.651.71.751.81.85假设折射率真实指数：1.33真实指数：1.55真实指数：1.743.532.521.510.501.251.31.351.41.451.51.551.61.651.71.751.81.85假设折射率水滴新视图合成。为了评估重建质量，我们首先使用重建的表面形状来合成相机3处的视图，并将其与相机观察到的图像进行视觉比较。特别是，我们首先使用观察到的图像计算相机3处的IBF场图5.平均EPE当量（7）作为合成数据的折射率假设的函数。垂直虚线指示真实索引。左右图分别示出了第0帧和第45帧上的折射率估计。其他测试框架的评价可参见补充材料[1]。接近真实折射率，这表明新的误差度量Eq.（7）能有效地估计折射率。4.2. 真实动态水面为了捕捉真实的流体表面，我们建立了一个系统，如图所示第1（a）段。三台同步Point Grey Flea2摄像机用于以30fps的分辨率捕获视频I3和参考图像B3，如第2节所述。第3.1条 然后，我们使用第2节中讨论的光线跟踪方法从重建的3D表面3.3如图所示。二、 我们现在可以使用IBF或SBF扭曲B3以分别获得合成图像IBF（B3）和SBF（B3）2。通过将采集的图像I3与IBF（B3）和SBF（B3）进行比较，可以分别定性地评价像素点对应的准确性和三维重建的质量。如图7，我们的方法可以忠实地合成相机3处的观测，而[19]的结果看起来很不一样。对比还显示，2这里我们使用斜体IBF（）和SBF（）来表示分别使用IBF和SBF计算合成图像深度的RMSE平均EPE左斯内尔正常的AAE1713192531374349556167737985919717131925313743495561677379859197平均EPE深度的RMSE17131925313743495561677379859197左斯内尔正常的AAE171319253137434955616773798591971276图6.Wave 1（顶部）、Wave 2（中间）和Wave 3（底部）的相邻帧的点云这表明我们的结果在视觉上是时间相干的。在本文中，一个点云绘制的基础上，其相应的深度图和着色与LeftSnell法线。（a）IBF（B3）（b）SBF（B3）[19]（c）我们的SBF（B3）（d）捕获图像I3（e）合成图7.使用Wave 1（顶部）和Wave 2（底部）的示例帧查看合成可以在捕获的图像（d）中观察到由反射/焦散（红色框）和运动模糊效果（绿色框）引起的阴影效果在（e）中，我们使用如图1所示的光线跟踪方法将重建的3D表面合成到新的场景上。二、100（1）y12一致性约束可以帮助改进重建10（2）y12+o（3）α1p+o真实数据的准确性。 由于地面实况表面是不同的，10.1帧ID（4）α1p+β2p+o(5) 我们为了获得真实的波，我们在这里使用EPE方法-当然，Eq.（7）如上所述在相机3处计算的IBF和SBF之间。如果适当地估计IBF并且精确地重建表面形状，则两个流场应该是一致的。 请注意，这里我们不...图8.使用Wave 1对不同约束条件上图绘制了作为帧ID的函数的平均为了更好地可视化，10基对数标度用于垂直轴。下表显示了相应的平均值和标准差（stdev）。在所有框架中的EPE。1）水表面可能反射环境光并且可能产生焦散，焦散导致合成视图和捕获图像之间的强度差异;以及2）水面移动得非常快，这在所捕获的图像中引起运动模糊，并且在合成视图中不产生。约束的有效性。我们的下一个实验旨在定量地验证新颖的单视图是否消除I3和SBF（B3）之间的强度差，因为我们想忽略上面讨论的阴影差，并适当地评估表面重建误差3。如图在图8中，所提出的方法实现了最小的平均EPE，这表明从两个视图（相机1和2）重构的3D形状与从附加视图（相机3）获取的像素点对应性最一致。比较[19]。图9直观地比较了我们的方法和传统方法[19]在真实波上由于全局公式化，我们的深度和法线都与观察到的图像失真一致我们3我们还通过比较二进制化的I3和补充材料中的SBF（B3）[1]。相机3的平均EPE情况1234我们是说18.905.960.680.860.50标准差6.482.010.360.480.17171319253137434955616773798591971277(a) 捕获的图像I1（b）点云[19]（c）我们的点云（d）深度图[19]（e）我们的深度图图9.[19]和我们的方法之间的视觉比较，用于Wave 1（顶部）和Wave 2（底部）的示例帧注意，这里我们还在[19]的算法中施加了一个平滑项，即。案例2，公平比较。0.80.70.60.50.40.30.21.25一点二七1.291.311.331.351.371.391.41假设折射率图10. 平均EPE当量（7）作为真实数据的折射率假设的函数。垂直虚线表示水的折射率，即。1.一、三十三岁。法线也与获得的点云一致。相比之下，他们的法线图看起来与我们的相似，但他们的深度图是嘈杂的，这与他们论文中报告的结果一致。折射率估计。根据以前的工作[19]，我们计算平均EPE方程。（7）在[1. 25，1。[41]以0为增量。02.图中两条曲线的最小值10个都接近折射率水的指数，即1.一、三十三岁。5. 结论我们通过提出一个新的基于全局优化的框架来重新审视动态折射立体[19]的问题首先，我们制定了一个目标函数，它耦合了传统的交叉视图法向一致性约束和新的单视图法向一致性先验，考虑到局部表面几何。通过同时求解所有曲面点，我们获得了精确和一致的深度和法线。最重要的是，我们的方法成功地避免了以前的方法，需要使用表面积分没有准确的边界条件的基本限制。此外，我们开发了一种新的误差度量，它可以可靠地估计液体的折射值得注意的是，我们重建的流体表面对于新视图合成的应用是高度精确的，这在现有方法中无法我们的方法在几个常见的假设下工作，就像以前的基于折射的方法一样：（i）流体是均匀的和干净的，光通过该流体被不规则地折射一次，（i i）可以精确地获取像素点对应，以及（iii）流体波足够平滑。然而，现实世界的流体现象，其中包括，例如。气泡、散射、破碎波是通过不止一次地弯曲光而产生的，因此可能违反上述假设。此外，生长出的表面光滑的假设，我们还假设，在一个3D点的法线可以可靠地估计与其相邻样本的PCA。我们计划在以下方面改进我们的方法首先，基于光流的对应匹配算法不能处理模式消除/分离[20] 造成的严重扭曲。在未来，我们计划研究两种替代解决方案：单次模式编码[9]技术和具有高速采集速率的时间环境匹配方法[6，23]其次，我们将确定存在唯一解的条件，以及可能产生的模糊曲面类型[19]。第三，我们也有兴趣通过恢复自然场景中的流体表面来消除平坦背景约束[33]。致谢。我们感谢NSERC，AITF和阿尔伯塔大学的财政支持。高度赞赏匿名评论者和地区主席的建设性意见我们感谢先生。王健先生的讨论是有益的.史蒂夫·萨特芬先生李贺为实验助理。引用[1] 补充 材料.http://webdocs.cs。ualberta.ca/http：//www.example.com 五、六、七[2] R. J.阿德里安。实验用粒子成像技术讲流体力学流体力学年鉴，23（1）：261-304，1991年。1波1Wave 2平均EPE1278[3] B.艾奇逊岛Ihrke，W. Heidrich，A. Tevs，D. 布拉德利M. Magnor和H.- P. Seidel非定常气流的时间分辨三维捕获 。 ACMTransactions on Graphics （ TOG ） ， 第 132页。ACM，2008年。2[4] S. Baker、D. Scharstein，J.刘易斯，S。罗斯，M。J.Black和R. 塞利斯基光流数据库和评价方法International Journalof Computer Vision，92（1）：15[5] T. Brox，A. Bruhn，N. Papenberg和J. Weickert高AC-基于翘曲理论的精确光流估计欧洲计算机视觉会议，第25Springer，2004. 三、四[6] Y.-- Y. 庄 D. E. 宗克， J. Hindorff，B. 没有卷发D. H. Salesin和R.塞利斯基环境铺垫延伸：实现更高的准确性和实时捕获。 第27届计算机图形和交互技术年会论文集，第121-130页。ACM出版社/Addison-Wesley出版公司2000. 三、八[7] Y. 丁氏F.Li，Y.Ji和J.Yu. 动态流体表面ac-使用照相机阵列的捕获。在IEEE计算机视觉国际会议论文集，第2478- 2485页IEEE，2011年。一、二、三、四[8] D. Enright，S. Marschner和R. Fedkiw. 动画和绘 制 复 杂 的 水 面 。 在 ACM Transactions on Graphics（TOG），第21卷，第736ACM，2002年。1[9] J.耿。 结构光3D表面成像：一个教程。广告vances in Optics and Photonics ， 3 （ 2 ） ： 128-160 ，2011。三、八[10] J. 格雷格森岛Ihrke，N.Thuerey和W.海德里希从捕获到模 拟 ： 连 接 流 体 中 的 正 问 题 和 反 问 题 。 ACMTransactions on Graphics（TOG），33（4）：139，2014。1[11] K.汉，K.- Y. K. Wong和M.刘某 一个固定的视角，透明物体的密集重建方法。在IEEE计算机视觉和模式识别会议论文集，第4001-4008页，2015年。2[12] I. Ihrke，K. N. Kutulakos，H. 伦施湾 马格诺，以及W. 海德里希透明和镜面反射物体重建。计算机图形论坛，第29卷，第2400Wiley Online Library，2010。2[13] I. Ihrke，K. N. Kutulakos，H. P. Lensch，M. 马格诺，以及W.海德里希透明和镜面物体重建的最新技术。在欧洲2008年明星-Citeseer，2008年。2[14] B. Jahne，J. Klin k e和S. 等等。短影像学海洋风浪：批判性的理论评论JOSA A，11（8）：2197-2209，1994. 一、二[15] Y. Ji，J.Ye和J.Yu. 利用光重建气流路径近似IEEE计算机视觉和模式识别会议论文集，第2507- 2514页，2013年2[16] K. N. Kutulakos和E.斯蒂格折射理论和通过光路三角测量形成镜面3D形状。国际计算机视觉杂志，第13-29页，2008年。2[17] C. Li，D. 接电话T Saunders，D. Cosker，D. 马歇尔P. Hall，and P.威利斯从单视点视频进行水面建模。IEEETransactionsonVisualizationandComputerGraphics，19（7）：1242-1251，2013。2[18] M.柳河，巴西-地Hartley和M.萨尔茨曼镜面重建从一个单一的图像结构IEEE Transactions on Pattern Analysisand Machine Intelligence，37（4）：760-773，2015。2[19] N. J. Morris和K.N. 库图拉科斯动态折射立体。IEEE Transactions on Pattern Analysis and MachineIntelligence，33（8）：1518-1531，2011。一二三四五六七八[20] H. 村濑非刚体曲面形状重建使用折射和运动的透明对象。IEEE Transactions onPattern Analysis and Machine Intelligence，14（10）：1045-1052，1992. 二、八[21] W. H. Press，S. A. Teukolsky，W. T. Vetterling和B. P.弗兰纳里C语言中的数字配方，第2卷。剑桥大学出版社，1996。4[22] Y. Qian，M. Gong和Y.洪洋。 3d重建透明对象与位置法线一致性。在IEEE计算机视觉和模式识别会议的Proceedings，第4369-4377页二、四[23] Y. Qian，M. Gong和Y.- H.杨 基于频率的EN-通过压缩感测来测量消光。在IEEE计算机视觉国际会议论文集，第3532-3540页，2015年。8[24] R. B. 鲁苏面向日常生活的语义3D对象地图操纵人类生活环境。2009年10月，德国慕尼黑工业大学计算机科学系博士。4[25] Q. Shan，S.Agarwal和B.没有卷发折射高度场从单个和多个图像。在IEEE计算机视觉和模式识别会议论文集，第286-293页IEEE，2012。二、四[26] K.田中角，澳-地Mukaigawa，H. Kubo，Y.松下，以及Y.八木从飞行时间失真中恢复透明形状。在IEEE计算机视觉和模式识别会议论文集，第4387-4395页2[27] J. 诉乌斯本斯基数学概率导论技术报告，1937年。3[28] G.韦茨施泰因河Raskar和W.海德里希手持纹影摄影与光场探头。IEEEInternational Conference on ComputationalPhotography（ICCP），第1-8页。IEEE，2011年。2[29] G. Wetzstein，D.Roodnick，W.Heidrich和R.拉斯卡再-光场畸变的分形形状。 在IEEE计算机视觉国际会议论文集，第1180-1186页。IEEE，2011年。一、二、三[30] T.薛，M. Rubinstein，N. Wadhwa，A. Levin，F. 杜兰德和W. T.弗里曼。折射摆动测量流体的深度和速度从视频。欧洲计算机视觉会议，第767-782页。Springer，2014. 2[31] J. 叶，Y。Ji，F.Li和J.Yu. 角域反射动态3D流体表面。在IEEE计算机视觉和模式识别会议论文集，第310-317页。IEEE，2012。一、二[32] M. Yu和H.权 流体表面重构镜面反射模型Computer Animation and Virtual Worlds，24（5）：497-510，2013. 2[33] M. Zhang，X.林，M。Gupta，J. Suo，and Q.戴. 恢复-通过变形和离焦分析，研究了波动流体下的场景几何欧洲计算机视觉会议，第234-250页。Springer，2014. 8[34] X. Zhang和C.S. 考克斯测量二维1279波浪形水面的光学结构：一种表面梯度探测器。流体实验，17（4）：2251、2[35] Z. 张 某 一 种 灵 活 的 摄 像 机 标 定 新 技 术 。 IEEETransactionsonPatternAnalysisandMachineIntelligence，22（11）：1330-1334，200