偏振多视图立体：用光度信息改善特征缺陷的3D重建

1偏振多视点立体崔兆鹏1顾金伟2石博欣3谭平1杨考茨21西蒙弗雷泽大学2NVIDIA研究3国立AIST摘要多视点立体依赖于特征对应进行3D重建，因此在处理无特征场景时存在根本性缺陷在本文中，我们提出了polarimetric多视图立体，它结合了每像素的pho-tometric信息从偏振和核线约束从多个视图的三维重建。极化揭示了表面法线信息，因此有助于将深度传播到无特征区域。偏振多视图立体是完全被动的，并且可以在不受控制的照明下应用于户外，因为数据捕获可以简单地用偏振器或偏振相机来完成不同于以往的工作，从偏振的形状仅限于扩散偏振或镜面偏振，我们提出了一种新的偏振成像模型，可以处理现实世界中的物体与混合极化。本文证明了由偏振估计地表方位角时存在两类模糊性，并利用图优化和等深等值线追踪方法解决了这两该步骤显著改善了初始深度图估计，其随后被融合在一起以用于完整的3D重建。大量的实验结果表明，高质量的3D重建和更好的性能比国 家 的 最 先 进 的 多 视 图 立 体 方 法 ， 特 别 是 对 fea-tureless 3D对象，如瓷砖，办公室的白色墙壁，并在户外高反射汽车。1. 介绍多视图立体从多个图像重建密集的3D模型。它在计算机视觉中得到了深入的研究[34，35，10，11]，在计算机图形学，机器人，计算机辅助设计和人机交互中有着广泛的应用多视图立体依赖于寻找具有对极约束的特征对应，因此它在处理无特征对象时存在根本性缺陷，因为不能可靠地找到对应。为了处理无特征区域，一种方法是将多视图和光度提示结合起来，无论是来自照片测量立体[41，12，29]还是结构光[26]。然而，这些方法需要主动/受控照明[11]第十一话图1：偏振多视图立体利用偏振图像中的每像素光度信息，显著提高具有挑战性的场景（如高光和无特征区域）的3D重建质量。更多详细信息和结果请参见图4和图9并且不能在户外操作。另一种方法是使用阴影恢复形状[40，18，28]来细化3D几何形状，这需要了解照明（捕获或估计），并且通常限于朗伯表面或具有均匀反射率的表面。在本文中，我们提出了一种新的方法称为偏振测量多视图立体，利用每像素的偏振信息密集的三维重建。极化IM-年龄提供关于大范围材料的表面法线的信息（例如，镜面、漫射、玻璃、金属、电介质）[22，14，3，25]，其是用于无特征区域的3D深度恢复的附加约束。偏振多视角立体是一种完全被动的方法，可以应用于户外各种各样的物体，具有不受控制的照明。偏振图像可以用偏振相机[1，9，31，33]或旋转偏振器[38]在单次拍摄中捕获，这使得这种方法与使用普通相机一样以前已经研究了偏振用于3D重建。最近的两项工作包括Polarized 3D [16]，它需要RGB-D传感器，因此仅限于室内，[36]这是一个假设均匀的光照和需要照明的地方。1558估计方位角偏振器1559估计（这本身就是一个具有挑战性的问题）。此外，几乎所有的现有工作都假设纯漫偏振反射（例如，[3]）或纯镜面偏振反射（例如，[23]）-据我们所知，所提出的偏振多视图立体方法是第一个被动的方法，可以处理混合偏振的非均匀散射，而不需要照明估计。具体地说，在本文中，我们证明了偏振图像可以确定的方位角的表面法线与两种类型的模糊度-π-模糊度和π/2-模糊度。由于方位角对表面形状提供了强的几何约束，因此我们的关键思想是同时解决方位角估计中的这些模糊性，并使用方位角将从具有足够特征的稀疏点估计的深度传播我们解决了π/2模糊与图形优化和绕过π模糊与等深度轮廓跟踪。该步骤显著地改进了从经典多视图立体估计的初始深度图，其随后被融合在一起以用于完整的3D重建。我们对具有挑战性的场景进行了广泛的实验，以我们的方法实现了高质量的3D重建，并优于最先进的多视图立体方法。2. 相关工作无纹理表面的多视图立体多视图立体（MVS）[34，35，10，11]依赖于在多个图像中找到3D重建的特征对应。为了处理无特征的对象，一种方法是在3 D形状上强制先验（例如，平滑度）进行鲁棒对应匹配[4，11，13]。另一种方法是组合多视图立体和光度提示，即，密集的表面法线估计无论是从光度立体[12，29，41，26]或从形状从-shading [40，18，28].前者需要主动/受控照明，不能在户外操作，后者需要照明知识（捕获[28]或估计[40，18]），通常限于朗伯表面或具有均匀反射率的表面。所提出的偏振多视图立体使用来自偏振的照片度量线索，并且是一种完全被动的方法。它不需要估计照明，并且通常适用于具有空间变化反射特性的非朗伯表面基于偏振的三维重建反射光的偏振特性揭示了物体表面的信息法线（即，方位角和天顶角），因此可用于3D重建。关于从偏振形成形状的现有工作有三类。仅偏振方法使用几何先验，例如边界上的表面法线和对象的凸性来约束形状估计[24，3，25]。这种启发式约束限制了应用程序平滑对象，没有可见的遮挡边界。光偏振方法结合来自阴影恢复形状[20，36]或光度立体[8，27]的光度提示来解决表面法线估计的模糊性这些方法通常对材料或照明做出强有力的假设（例如，均匀照明[36]，受控照明，已知光方向[20]）。除了阴影，多光谱测量被证明是有效的形状和折射率估计[14，15]。地理极化方法将来自多视图立体或低成本深度传感器的粗略深度估计与极化线索相结合。双视图立体约束已被用于镜面和透明表面建模[32，21]以及对应匹配[2]。空间雕刻[22，23]或RGB-D传感器[16]已被用于获得初始3D形状，从中解决了偏振形状的模糊性。与这些先前的工作相比，我们的方法在照明和适用对象方面具有最一般的我们的方法是完全被动的，可以在户外不受控制的照明下工作，而不是主动照明[16]，漫射照明[40，18]或远距离照明[26，12，29，41]。该方法适用于具有混合偏振漫反射和镜面反射以及非均匀反射的各种物体，而不是仅限于漫反射[3，40，18，26，12，29]或仅镜面反射[23]，或者仅限于具有均匀反射的物体[36]。3. 混合偏振反射来自表面的反射光的偏振由表面材料的偏振BRDF确定[19，5，7]。对于大多数曲面，如图2所示，反射光包括三个分量：（1）偏振镜面反射（即，（2）偏振漫反射（由于次表面散射和折射），以及（3）非偏振漫反射（由于微刻面粗糙表面反射）。正如我们在附录中使用Muller微积分[6，30]所示，偏振镜面反射和偏振漫反射的相位角（在方程（3）中定义）相差π/ 2，因为空气-表面界面之间存在额外的折射。当通过偏振器在非偏振照明下对表面成像时，图像强度（即，场景辐射）随偏振器的角度φpol正弦变化。更具体地说，对于偏振漫反射[16，36，37]，1560空气对象Max2min入射光偏振镜面反射非偏振漫反射偏振漫反射图2：混合极化的表面反射图。带箭头的圆圈表示极化状态：圆形圆圈来自偏振的图3：混合偏振的一个实际例子。左图：在捕获的图像中，花瓶表面反射出右：估计的相位角（在等式中定义）3）从偏振显示了由于混合偏振而产生的棋盘图案，即，偏振漫反射在黑色方块中占主导地位，I dp+ I dpI dp−Idp偏振镜面反射在白色正方形中占主导地位Idp （ φpol）= max最 小 + 最 大mincos （2（φpol−φ）），2 2（一）其中，θ是表面法线的方位角，I dp和I dp是观测到的强度的最大值和最小值。 对于偏振镜面反射，我们有一个类似的方程，相位差为π/2 [22]：属性和表面几何形状，这进一步使问题复杂化。本文的一个重要发现是，在非偏振照明下，对于物体表面上的任何一点，无论偏振光谱的相对比例如何偏振反射和偏振漫反射是，ISP+IspISP-IspπIsp（φpol）=maxmin+maxmincos（2（φpol−φpol +2 22（二）非偏振漫反射仅对DC分量有贡献，因此可以包含在两个方程中。等式（1）和（2）提供了许多偏振形状方法的基础，因为通过捕获具有多个偏振角φpol的图像，可以潜在地估计表面法线的方位角φ pol怎么-以往，如图所示，有两种类型的模糊性，在解决））。在该点处测量的辐射率总是正弦地变化，并且对于方位角esti，只能存在两种类型的模糊度-与偏振图像匹配 命题1给出了详细的描述。请参阅附录中的证明。1.提案在非偏振照明下，通过偏振角为φpol的线偏振器从反射表面测量的场景辐射为：为。 第一种类型称为π-歧义，因为π和π+π满足方程。第二个叫I（φ））=Imax+Imin+Imax−Imincos（2（φpol2 2Pol−φ）），（三）π/2-模糊性，因为现实世界的对象都有偏振镜面反射和偏振漫反射，I=Isp+Idp。 π-模糊度相对更容易解决。先前的工作使用RGB-D传感器[16]或照明方向[36]的粗略深度等线索来解决这个问题其中Imax和Imin是最大和最小测量辐射率。φ被定义为相位角，其与方位角θ的关系.如果偏振漫反射占主导地位φ=。歧义π/2模糊性，由于混合极化，在反思中，解决问题更具挑战性。ϕ−π否则（四）如前所述，许多现有方法简化了π/2模糊性，通过假设或者仅存在极化漫反射（例如，[3]）或仅偏振镜面反射（例如，[22]）。然而，这种假设对于现实世界的对象是不切实际的[37]。图3显示了一个花瓶的例子由于清漆的镜面反射，花瓶表面反射出棋盘格如果我们使用等式（1）来计算方位角，我们可以看到出现棋盘图案。这是因为对于白色方块中的像素，偏振镜面反射占主导地位，而对于黑色方块中的像素，偏振漫反射占主导地位。对于真实世界的物体，镜面反射和漫反射的混合，即Isp和Idp，也随材质而1561命题1表明，解决π/2模糊性变成了任何给定视图的每个像素的二进制标记问题，这取决于该像素处的反射是由镜面反射还是漫反射主导这个结论启发了我们在下一节中解决偏振多视角立体的方法4. 偏振多视点立体图4总结了所提出的偏振多视图立体算法。输入是在多个视点处捕获的偏振图像，无论是用偏振相机[1，9，31，33]还是用旋转角度为100 °的线性偏振器。1562…22视图1视图N运动结构...深度估计（Depth Estimation）来自多个视点的偏振图像…相位角估计（每视图）解决π/2-歧义深度传播优化深度融合图4：所提出的偏振多视图立体算法的流程图。详情请参阅第4.多个角度（≥3）。在我们所有的实验中，每次观看七个图像[39]第三十九话和多视图立体[11]方法用于首先恢复D（fp）=g（φp+π，φp）/A如果fp=0g（φp，φp）/A ，如果fp=1、（6）相机位置以及纹理良好区域的初始3D形状。另一方面，我们从相应的偏振图像中计算每个视图的相位角图φ，从中我们解决模糊性以估计方位角φ，从而恢复无特征区域的深度。最后，来自多个视图的深度图被融合在一起，以恢复类似于[11]的完整3D形状。其中φp是从p0计算的像素p处的相位角对于放大的图像，φp是从初始3D形状估计的其方位角，并且g（φp，φq）是计算两个角度φp和φq之间的距离的函数，考虑π的循环，（2）Q = Q（|φ p− φ q+ π|、|φ p− φ q|、|φ p− φ q−π|）的情况下，（七）A=g（φp+π，πp）+g（φp，πp）用于归一化。4.1. 加工和预处理集合P2+由深度一致性检查确定[11]。我们每个视图取一个图像来计算相机姿态使用VisualSFM [39]，并使用最近启用GPU的多视图立体方法[11]重建初始3D形状。我们还利用最小二乘法从等式（3）计算每个视图的相位角图φ为了使用从偏振估计的相位角φ对于无纹理区域中的像素（即，没有从初始多视图立体步骤恢复的一致深度），我们只能依赖于数据项的统计先验假设P−=P/P+是没有可靠深度的像素的集合，对于像素p∈ P−，我们有.对于3D重建，我们需要解决每个视图的π-模糊度和π/2-模糊度在第4.3节中，我们D（fp）=ρ p如果fp= 0，（8）1− ρ p ，如果fp= 1解释我们实际上可以通过等深度轮廓跟踪来绕过π-模糊。在下一节中，我们将介绍解决π/2模糊度的方法。4.2. 解决π/2模糊度如前所述，基于命题1，解决π/2模糊性可以被公式化为图优化中的二进制ΣΣE（{fp}）=D（fp）+λ V（fp，fq），（5）p∈Pp，q ∈N其中0<ρp1是在像素处它是偏振的，漫反射占主导地位。 ρp可以根据目标场景或观察/照明条件的先验知识来设置。对于本文中的所有实验，我们简单地设置ρ p=0。4如果I p<0. 1，且ρ p= 0。其中Ip是像素p处的强度（最大值1.0）。此设置假定场景中的黑色对象更可能是镜面反射为主的。平滑项V（fp，fq）被设计为鼓励相邻像素具有相似的方位角，其中fp是像素p处的二进制标记，指示是否偏振漫反射占主导地位（fp= 1），或者V（f，f）=.g（φp，φq）/B，如果fp=fq，（9）pQg（φ +π，φ）/B如果f f偏振镜面反射占主导地位（fp= 0），在此像素，λ= 1，P是所有像素的集合，N是所有相邻像素对的集合数据项D（fp）定义如下。对于纹理良好的区域中的像素（即，在初始化时具有一致的深度 假设P+是具有从初始恢复的可靠深度的像素集合在消歧过程中，我们使用这些像素来指导消歧。对于像素p∈ P+，我们有p2q p q其中B=g（φp，φq）+g（φp+π，φp）用于归一化。我们用树重新加权的信念传播来解决这个二进制标记问题[17]。图5显示了五个示例的结果。如图所示，我们的算法可以有效地从估计的相位角中解决π/2模糊度，并在偏振镜面反射占主导地位的区域（例如，瓷砖的中间，塑料气球的左上角，花瓶的主体，黑色的墙壁和地毯，1563办公室和汽车的侧窗1564+2→+→−π π→+的- 歧义/2-歧义(a) 带方位角的TILEVASEBALLOONCORNERCAR图5：方位角的π/2上图：捕捉到的图像。中间：根据偏振计算的相位角图下图：解π/2模糊度后的方位角4.3. 深度传播：解算π/2模糊度后，在从极坐标估计的方位角之间仅存在π模糊度，3D物体的真实方位角为了解决π-模糊性，先前的工作需要深度[16]或照明方向[36]。在本节中，我们示出了在不解决π模糊度的情况下，估计的方位角仍然可以用于改进深度估计。注意，即使具有π模糊度，方位角也确定等深度轮廓，即，与图像平面具有相同距离的点。如图6（a）的中间所示，在相机图像平面上，表面法线的方位角指向与等深度轮廓（如橙色虚线圆所示）垂直的方向（如红色箭头所示）。即使π-模糊度未解决（如图所示），(b) 等值线追踪实例图6：（a）方位角中的π-模糊度不影响等深等值线追踪。(b)BALLOON等深等值线追踪实例。追踪后深度不可靠。为了进一步优化所有像素的深度，我们采用与[26]类似的方法通过最小化深度图d（x，y）来求解E p（d（x，y））+ γE d（d（x，y））+|d（x，y）|、（10）（x，y）∈P其中，Ep（d）是从方位角导出的约束，Ed（d）是阻止（x，y）∈ P+的深度更新，是深度图的拉普拉斯算子，并且γ= 0。1在我们的实验具体来说，根据方位角的定义角，我们有tan（λ）=λ d/λ d，即，伊 x在图6（a）的右上角），我们仍然可以跟踪等深度轮廓垂直于方位角方向。因此，为了使用方位角（具有π- π），并且因此sin（x，y） d（x，y+ 1）−d（x，y）=，（11）cos（x，y）d（x+1，y）−d（x，y）不确定性）对于深度估计，我们从具有从初始化估计的可靠深度的一组稀疏点跟踪等深度轮廓（即，p∈P+）。这将把深度从稀疏点传播到无特征区域。工作经验[41]还利用了跟踪等深度轮廓的想法，在光度立体的上下文中进行3D重建。E p（d（x，y））= |sin（x，y）（d（x+1，y）− d（x，y））-cos（x，y）（d（x，y +1）− d（x，y））|. （12）对于点（x，y）∈ P+，它有可靠的初始深度估计d（x，y），和Ed（d.（x，y））是不鼓励深度更新|如果（x，y）∈ P+|if (x, y) ∈ P+更具体地说，如图6（b）所示，为了跟踪等深度轮廓，我们从P+Ed（d（x，y））=.0否则（十三）（即，具有可靠的深度）作为种子点并跟踪它们两个方向垂直于方位角，d（x，y）是com p。用3×3的二维卷积求解，112 1角θp：d→+=[cos（θp+2），sin（λ p+（2）D=Lapacian滤波器122 −12212 1. 所有这些都是线性约束，[ cos（πp−π），sin（πp−π）]。我们使用0.5的步长从而可以有效2、线性规划。pixel用于跟踪。由于深度追踪不精确对于不连续性，一旦两个相邻像素之间的方位角的变化大于阈值（对于所有实验为π/6在许多情况下，跟踪可以传播P−中大多数像素的深1565度。然而，对于具有大的无特征区域或复杂几何形状的场景，仍可能有像素剩余5. 实验结果5.1. 模拟数据评价三种合成形状，SPHERE、ROOF（具有两个平面）和BUNNY，用于定量评估和与[36]的比较。方位角和天顶1566GroundTruthSmith et al. [36]我们的(a) 3D视图(b) SPHERE（左）和ROOF（右）的2D横截面视图(c) [36]（左）和我们的（右）的深度误差（mm）B UNNY图7：定量评价和与[36]合成实施例的比较。角度是从地面真实形状计算的，具有加性高斯噪声（σ方位角= 6°，σ天顶角= 3°）。为[36]我们进一步提供地面实况照明方向和非偏振强度。对于S PHERE和R OOF，我们从400 ×400的图像中随机选择50个像素（小于0. 04%）具有噪声深度（即，ground truth depth加上1%高斯噪声）作为种子点进行跟踪，对于BUNNY，我们从800×800图像中随机选择1000个像素，因为它的几何细节。[36]和我们的方法的估计结果如图7所示。 图7（a）以新颖的视图可视化恢复的形状。图7（b）（c）显示了[36]和我们的方法的深度误差。对于所有三个例子，我们的方法比[36]重建更准确的深度。我们还进行了噪声分析（请参阅补充文件）。我们发现[36]中积分的线性约束似乎对噪声敏感，而我们的方法由于等深度轮廓跟踪而更加鲁棒。5.2. 真实数据的结果我们在自然室内和室外照明下拍摄了五个场景-VASE（36视图），TILE（10视图），[16]第十六话 Smith等[36]我们的图8：与Polar-ized 3D [16]和Smith等人的深度估计比较。[36]第30段。BALLOON（24视图），CORNER（6视图）和CAR（36视图）。 所有图像均使用具有50mm镜头的Cannon EOS7D相机拍摄。我们在相机镜头前安装了一个Hoya线性偏振器。对于每个视图，在偏振器角度间隔开的情况下捕获七个图像相隔30度除了CORNER，我们从背景中分割出前景物体。示例图像并且从VisualSFM恢复的摄像机姿态在图9的最左列中示出。深 度 图 估 计 的 比 较 我 们 比 较 了 两 种 最 近 的 方 法 -Polarized 3D [16]，其需要来自RGB-D传感器的粗略深度，以及Smith等人。[36]这需要照明估计。另外，这两种方法都不能处理混合偏振.为了进行公平的比较，我们手动屏蔽了图像中的特殊区域。对于Polarized3D[16]，我们使用来自MVS的初始深度图作为粗略的深度输入。TILE和BALLOON数据集的结果见图8。如图所示，Polarized3D [16]在估计深度中显示了一些伪影，主要是由于初始MVS深度在无纹理区域中有噪声。利用可靠深度输入（例如，从RGBD传感器，如[16]所示），它可以实现高精度。此外，混合偏振的对象仍然影响其性能，即使我们已经掩盖了镜面高光区域。Smith等[36]对于TILE具有高质量，因为可以针对该数据准确地估计方位角和天顶角。然而，他们对BALLOON的结果更差，因为考虑到复杂的纹理，估计的方位角和天顶角是有噪声的我们的方法在这两个例子中表现出优越的性能。多视图立体比较最后，我们使用两种最先进的MVS方法- MVE [10]和Gipuma [11]显示了我们最终重建的3D模型为了公平比较，我们给出了所有方法深度融合后的结果。完整的结果如图9所示。对于VASE和BALLOON，MVE [10]成功地重建了整个形状，但重建点15672由于镜面反射高光引起的不同视图之间的强度不一致，云是非常嘈杂的Gipuma [11]无法重建花瓶颈部附近或气球白色部分周围的无纹理区域在TILE的中间部分以及CORNER的白色和黑色壁中可以观察到类似的伪影，其中MVE [10]和Gipuma [11]都显示出大孔。我们的方法为所有这些示例生成更完整和更平滑的结果。室外数据CAR更具挑战性，因为车身几乎是纯白色，具有很强的镜面反射性。MVE [10]产生了合理的重建，但有许多离群值。Gipuma [11]只能重建汽车的骨架我们提出的方法实现了最完整和准确的汽车3D重建，这要归功于从偏振和深度传播估计的相位角。尽管如此，这三种方法都不能恢复车窗，因为这些部分是透明的-这是进一步研究的一个有趣方向。我们显示了与扫描的地面真实形状的额外比较，并分析了在屏幕上的运行时间。附录：命题1的证明本文简要地给出了基于Muller演算[6]的方程（1）、（2）和命题1的证明由于篇幅所限，请参阅补充资料以获取完整的证明。光的偏振态可以用4×1斯托克斯矢量S= [S0，S1，S2，S3]表示，其中S0是光的能量[6]。光-物质交叉的影响（例如，反射、透射、偏振器）到偏振态的关系用4×4的Muller矩阵M表示，其将Stokes矢量从S更新为MS。如图2所示，在反射光中偏振镜面反射来自空气-物体表面，由Ssp表示。偏振漫反射来自于从去偏振的次表面散射光到空气的折射，由Sdp表示。这两种成分都将由照相机经由线偏振器测量。设Si是照明的斯托克斯矢量，Mpol（θ）是角度θ处的线偏振器的穆勒矩阵，MR和MT分别表示菲涅耳反射和透射的穆勒矩阵。我们有特里。Ssp =Mpol （θ）MRSi，Sdp =Mpol （θ）MTSd，（14）6. 结论和讨论我们提出了偏振多视角立体，一个完全被动的，新颖的方法，密集的三维recruitment。偏振多视图立体显示其强度，特别是对于无特征区域和非朗伯表面，其中它传播从纹理良好的区域估计的深度到由从偏振图像估计的方位角引导的无特征区域。大量的实验结果表明，高质量的三维重建和更好的性能比国家的最先进的多视图立体方法。此外，我们还提出了一种新的偏振成像模型，可以处理现实世界中的物体与混合偏振。证明了极化图像方位角估计这些理论结果对进一步研究偏振形状效应有一定的参考价值。所提出的偏振多视图立体具有其局限性。首先，它仍然需要一些具有可靠深度的点作为深度传播的种子。其次，我们目前的算法不能恢复透明的物体，尽管一些信息被恢复从偏振图像。我们计划在未来研究这些方向。确认这项研究得到了NVIDIA、加拿大NSERC DiscoveryGrant 31-611664 、 Discovery Encoder- tor Supplement31-611663以及新能源和工业技术发展组织（NEDO）委托的一个项目的部分支持。其中Sd是表面下去偏振散射光对于非偏振照明，Si=Li[1，0，0，0]。由于随机次表面散射，Sd也是非偏振的，Sd=Ld[1，0，0，0]。 MR和MT是菲涅耳方程的Muller-Stokes矩阵[6]。 对于Mpol（θ），我们注意到θ与线偏振器的偏振角φ pol和表面法线的方位角θ有关，公式为θ = φ pol+ π− θ。 根据定义，偏振镜面反射和偏振镜面反射的测量辐射率漫反射是I sp（φ pol）= Ssp（0），I dp（φ pol）= Sdp（0）。（十五）从上述两个方程，连同在[6]中定义的Muller矩阵（MR，MT，Mpol（θ）），我们可以导出方程（1）（2）。Isp和Idp之间的π/2相位差是由正弦项的+/−符号引起的cos（2（φpol−φ））。如图2所示，许多现实世界的对象都具有偏振镜面反射和偏振漫反射以及非偏振漫反射。I（φpol）=Id+Idp（φpol）+Isp（φpol），（16）其中Id是不随偏振角φpol变化的非偏振漫反射。通过在方程（16）中插入方程（1）和方程（2），我们可以导出命题1中的方程。π-模糊度很容易看到，因为I的周期（φpol是π，因为cos（2（φpol−π）。出现π/2模糊度，因为Idp和Isp的相对量未知，这可能会翻转方程（16）中正弦项cos（2（φpol-1））的+/-符号1568（a）样本图像（b）MVE [10]（c）Gipuma [11]（d）我们的图9：与最先进的MVS方法[10，11]进行完全重建的比较。从上到下依次为：VASE（36个视图）、TILE（10个视图）、BALLOON（24个视图）、CORNER（6个视图）和CAR（36个视图）。1569引用[1] 4D 技术偏光摄像头。http：//www.4dtechnology.com/products/polarimeters/polarcam/. 第1、3条[2] G. A. Atkinson和E. R.汉考克使用偏振的多视图表面重建。国际计算机视觉会议论文集，2005年。2[3] G. A. Atkinson和E. R.汉考克从漫射极化恢复表面取向。IEEE Transactions on Image Processing，15（6）：1653-1664，2006。一、二、三[4] M.布莱耶角Rhemann和C.罗瑟 拼配立体声- 立体匹配与倾斜的支持窗口。英国机器视觉会议论文集，2011年。2[5] D. Brayford D，M.Turner和W.T. 休伊特光的偏振散射的物理模型计算机图形学理论与实践。欧洲制图协会，2008年。2[6] E.科莱特极化的现场指南。SPIE，2005年。二、七[7] C. Collin，S.Pattanaik，P.LiKamWa和K.Bouatouch 用于渲染的极化次表面brdf的计算在Graph-ics Interface，2014年。2[8] O. Drbohl a v和R. -Sadra 'ra. 未知光源下光度立体法的无损形状确定计算机视觉国际会议论文集，2001年。2[9] FluxData偏振相机。http://www.fluxdata的网站。com/imaging-polarimeters. 第1、3条[10] S. Fuhrmann，F.Langguth和M.Goesele MVE-多视图重建环境。欧洲图形学与文化遗产研讨会，2014年。一二六七八[11] S. Galliani，K.Lasinger和K.辛德勒表面法向扩散的大规模平行多视点立体视觉 在proc 2015年国际计算机视觉会议。一、二、四、六、七、八[12] C. 她死了，G。Vogiatzis和R.西波拉多视觉摄影立体声。IEEE Transactions on Pattern Analysis and MachineIntelligence，30（3）：548-554，2008。一、二[13] H. 希尔施姆乌勒河基于半全局匹配和互信息的立体处理 IEEE Transactions on Pattern Analysis and MachineIntelligence，30（2）：328-341，2008。2[14] C. P. Huynh，A. Robles-Kelly和E. R.汉考克从单视角偏振图像的形状和折射率恢复。 在proc 计算机视觉和模式识别，2010年。一、二[15] C. P. Huynh，A. Robles-Kelly和E. R.汉考克单视图分光偏 振 图 像 的 形 状 和 折 射 率 。 International Journal ofComputer Vision，101（1）：64，2013.2[16] A. 卡丹比河谷塔马齐扬湾Shi和R.拉斯卡极化3D：高质量的深度感应与极化线索。在proc 2015年国际计算机视觉会议。一二三五六[17] 科尔莫哥洛夫能量最小化的收敛树重加权消息传递。IEEE Transactions on Pattern Analysis and MachineIntelligence，28（10）：15684[18] F. Langguth，K. Sunkavalli，S. Hadap和M. Goesele阴影感知多视图立体。 在proc 2016年欧洲计算机视觉会议。一、二[19] D. A. LeMaster和M.T. 赫尔曼多维成像，章节被动偏振成像。约翰威利父子有限公司2014. 2[20] A. H. Mahmoud，M. T. El-Melegy和A. A.法拉格从偏振和阴影中恢复形状的直接方法 在proc 2012年国际图像处理会议。2[21] D. Miyazaki，M. Kagesawa和K.池内基于一对偏振图像的透明表面建模。IEEE Transactions on Pattern Analysisand Machine Intelligence，26（1）：73-82，2004。2[22] D. Miyazaki，T.Shigetomi，M.巴巴河Furukawa，S.Hiura和N.浅田基于偏振的多视点黑色镜面反射物体表面法线估 计 。 3D 成 像 ， 建 模 ， 处 理 ， 可 视 化 和 传 输（3DIMPVT），2012年。一、二、三[23] D. Miyazaki，T.Shigetomi，M.巴巴河Furukawa，S.Hiura和N.浅田从多视图偏振图像中估计黑色镜面物体的表面法线。光学工程，56（4）：041303，2016. 2[24] D. 宫崎河T. 谭，K.Hara和K.池内基于偏振的单视图逆绘制 在proc 2003年国际计算机视觉会议。2[25] O. Morel，F.梅里奥多角Stolz，和P.GorriaK. 偏振成像应用于镜面金属表面的三维重建 在proc SPIE 5679，机器视觉在工业检测中的应用XIII，2005年。一、二[26] D. Nehab，S. Rusinkiewicz，J. Davis和R. Ramamoorthi有效结合positions和nnormal以获得精确的3d几何图形。ACMTransactionsonGraphics （ Proc.ofACMSIGGRAPH），24（3）：536-543，2005. 一、二、五[27] T. T. 恩戈，H.Nagahara和R.谷口从阴影和偏振的形状和光的方向 在proc 计算机视觉和模式识别，2015年。2[28] G. Oxholm和K.西野多视图形状和反射率从自然照明。在Proc. of Computer Vision and Pattern Recognition，第2155-2162页，2014中。一、二[29] J. 帕克，S。N. Sinha，Y.Matsushita，Y.W. 泰和我S. 奎恩使用平面网格参数化的多视图光度立体。2013年国际计算机视觉会议论文集。一、二[30] N. G.帕克光学代数数学与物理学报，28，1949。2[31] 光子晶格 极化 相机https：//www.photonic-lattice.com/en/products/polarization_camera/pi-110/. 第1、3条[32] S. Rahmann和N.坎特拉基斯利用偏振成像重建镜面。计算机视觉与模式识别，2001年。2[33] 理光偏光相机。https://www.ricoh.com/technology/tech/051_polarization.html。第1、3条[34] S. 塞茨湾Curless，J.Diebel，D.Scharstein和R.塞利斯基多视点立体重建算法的比较与评价计算机视觉与模式识别，2006年。一、二1570[35] B.塞默吉安一种新的多视图曲面重构变分框架。在2014年欧洲计算机视觉会议上。一、二[36] W. A. P. 史密斯河Ramamoorthi和S.托扎根据未校准的单目偏振图像进行线性在2016年欧洲计算机视觉会议上。一二三五六[37] 诉Taamazyan，A.Kadambi和R.拉斯卡混合偏振的形状在arXiv：1605.02066，2016。二、三[38] L. B.沃尔夫偏光视野：一种新的图像感知方法。ImageVision Computing，15（2）：811[39] C.吴从运动到线性时间增量结构。 在proc 2013年国际3D视觉会议。4[40] C.吴湾，澳-地Wilburn，Y. Matsushita和C.希奥博尔特高质量的形状从多视图立体和阴影下的一般照明。计算机视觉与模式识别，2011年。一、二[41] Z. Zhou，Z. Wu和P. Tan.具有空间变化的各向同性材质的多视图光度立体。计算机视觉和模式识别，2013年。一、二、五