偏振Helmholtz立体视觉：基于光偏振态的3D重建方法

5037偏振Helmholtz立体视觉丁玉琪1于吉2周明远2 康星兵3叶金伟1路易斯安那州立大学2DGene美国3Zillow集团摘要Helmholtz立体视觉（HS）利用光传播的互易原理（即，Helmholtz互易性）用于具有任意反射率的表面的3D重建本文提出了偏振Helmholtz立体视（polar-HS），它通过考虑光在相互光路中的偏振态，扩展了经典的HS。利用来自极化的附加相位信息，极化HS仅需要一个互易图像对。我们制定了新的互易性和漫反射/镜面偏振度量约束，以恢复表面深度和法线使用的优化框架。使用硬件原型类型，我们表明，我们的方法产生高品质的3D重建不同类型的表面，范围从漫反射到高度镜面反射。1. 介绍从二维图像重建三维表面是计算机视觉中一个长期存在的不适定问题。现实世界物体复杂的表面反射特性使得该问题极具挑战性。所有现有的方法都限于某些类型的表面反射率。例如，被动技术检查在非紧密聚焦照明下的表面的光学外观（例如，远光源），并且通常假定用于3D重建的光一致性Helmholtz Stereopsis（ HS）[55]是一种3D重建技术，可以恢复具有任意和未知反射率的表面。HS利用了表面反射的对称性;这是通过使用利用交换的照相机和光源位置捕获的互逆图像对（最少三个）来实现的。互易性保证了对应像素处的强度之间的关系仅取决于表面形状，并且与表面反射率无关。在本文中，我们提出了一种新的方法，我们称之为偏振Helmholtz立体（polar-HS），它扩展了经典的HS考虑光的偏振状态的相互路径。研究了入射光和出射光的偏振态光是不受限制的（在这种情况下，原始的亥姆霍兹互易性质不能直接应用）。基于Stokes-Mueller形式主义，我们推导了一个换位互易关系，并制定了用于深度和法线估计的互易我们还利用不同类型的反射下的偏振线索。我们提出了一种新的极化图像分解方法，使我们能够在不同的情况下应用极化约束。通过结合互易性和极化约束，我们的方法可以恢复表面深度和法线只有一个互易对，这大大简化了捕获过程。与假设连续参数深度函数的其他单对HS方法[56，48]不同，polar-HS适用于不连续深度，并且不需要表面几何形状和材料性质的先验。我们验证我们的方法与合成和真实的实验。我们建立了一个真正的极HS采集系统与旋转轮，允许交换相机和光源的位置。我们进行实验的对象具有各种形状和反射率，并在不同的复合场景。结果表明，我们的方法是最先进的。捐款. 我们的主要贡献是推导出了非限制偏振态时的换位互易关系。原始亥姆霍兹互易性对互易光路中光束的偏振态有很强的限制，在实际应用中很难满足。我们推导出的transpositional互易性允许将经典HS扩展到极化的情况。我们提出了一个新的图像分解公式，由三个组件组成：偏振-镜面反射、偏振-漫反射和非偏振-漫反射。分解提供了更准确的偏振角估计，用于正则化表面法线，因为它分离了漫反射和镜面反射（这两种情况下的偏振角有90◦的偏移）。偏振形状方法通常使用总角度，并且作为反射的主要类型。该分解还提供了允许我们在不同类型的反射下应用极化线索的镜面反射图Polar-HS将图像对的最小数量减少到5038我{}∈∈只有一个，没有强加任何表面之前。与其他形状从偏振方法相比，偏振HS不具有角度模糊的问题，并且不需要已知表面的折射率。2. 相关工作我们首先简要回顾基于物理的3D形状恢复方法，然后重点介绍与我们的工作最相关的两类特定方法：基于互易性和基于极化。表1总结了我们的方法（polar-HS）与经典方法的比较。基于物理的形状恢复。基于物理的技术检查在特定照明模式下的表面的光学外观，并且通常假设用于3D重建的光一致性或朗伯反射模型。我们可以根据照明模式将这些技术分类为被动或主动。被动方法使用未知的和非紧密聚焦的照明（例如，远距离光源）。值得注意的示例包括多视图立体[41，42，46]和运动恢复结构[49，1，13]。由于被动方法严重依赖于对象主动技术使用已知的和受控的照明作为探测器;示例包括光度立体[53，9，23]、飞行时间[15，22，35]和结构光[30、20、19、21]。这些方法可以产生密集的3D重建，但通常对由凹面引起的视相关镜面反射和相互反射敏感。所有这些方法由于真实世界表面的复杂反射而具有局限性。Helmholtz立体视觉（HS）。 该方法首先由Zickler等人引入。[55]。这是一种主动的方法，能够恢复具有任意反射率的表面。随后已经取得了许多进展来改进原始HS。Tu和Mendonca[48]通过假设分段线性曲线约束，使用单个对求解veHSZickler等人[56]通过假设C1深度连续性来制定PDE约束，以便在双目设置下执行HS。 Jan ko'etal. [25]介绍了一种通用HS辐射校准方法。Delaunoy等人[17]通过使用变分方法优化整个表面，将HS扩展到全身扫描。Weinmann等人[51]将HS与结构光技术相结合，以提高重建精度。Mori等人[33]介绍了一种基于积分的Helmholtz条件，该条件降低了HS的噪声敏感性。Roubtsova和Guillemaut [39，40]推导出用于HS优化的贝叶斯框架，并使用颜色复用来同时捕获互易对以处理动态场景。我们的方法通过将互易性约束扩展到极化反射并将极化线索用于更准确的3D重建来扩展方法最小编号输入表面假设精度MVS2朗伯中度PS3朗伯高SL>10任意高SFP3介电低HS6任意中度极-HS4任意高表1.偏振Helmholtz立体视觉（polar-HS）与经典3D重建方法的比较。注：MVS-多视图立体; PS-光度立体; SL-结构光; SfP -偏振形状; HS -亥姆霍兹立体视觉。偏振恢复形状（SfP）。这类方法使用极化的程度或角度对表面法线进行建模。通常假定表面的折射率是已知的Miyazaki等[29]Atkinson和Han- cock [4]利用漫极化进行形状估计。Rahmann和Canterakis [38]提出了一种镜面偏振模型，并将其应用于反射表面。SfP方法通常遭受方位角模糊，这可能导致法线估计翻转。为了解决这种模糊性，将额外的形状先验或视觉线索（例如凸性先验[29，31]，边界正常先验[4]，阴影线索[5]，光度线索[18，37]和多光谱测量[24]）与偏振模型相结合。Smith等[44，45]使用SfP来求解表面高度以减轻角度模糊性。许多作品使用SfP来恢复从另一种技术估计的粗糙形状的精细表面细节，例如多视图立体[3，12，54]，光度立体[2，47]，空间雕刻[28]，运动恢复结构[16]或RGB-D传感器[26，27]。Beak等人[7]联合估计偏振反射率和表面几何形状。Ba等人[6]提出了一种数据驱动的方法，该方法利用深度神经网络从偏振图像3. 亥姆霍兹立体视觉亥姆霍兹立体视觉（HS）[55]通过利用表面反射的对称性来工作。它使用几个相互的图像对交换相机和光源的位置来估计表面法线和深度。 设OaR3和ObR3是两个三维位置。互逆像对=Ia，Ib是通过在Oa和Ob处交换照相机和光源来捕获的（即，Ia是用在Oa处的光源和在Ob处的相机捕获的;Ib是用在Ob处的光源和在Oa处的相机捕获的）。给定物体表面上的点，目标是估计其3D位置P和法向量n。设 f （ i ， o ） 为 表 面 点 的 双 向 反 射 分 布 函 数（BRDF）f被计算为5039··||- - ||||- - ||-≥∈∈S{}×个出射辐射率（沿着方向o）与入射辐射率（沿着方向i）的比率亥姆霍兹互易性表明f关于入射和出射方向对称，即， f（i，o）= f（o，i）。 令va=（Oa−P）/Oa−P2和vb=（Ob−P）/Ob−P2是两个o从P到Oa和从P到Ob的单位方向。倒易对中的两个强度图像可以被公式化为Ia=f（va，vb）Eρa（va·n），（1）Ib=f（vb，va）Eρb（vb·n），式中E为光源强度，ρ a= 1/OaP2和ρ b= 1/ObP2为距离衰减因子，van = cos θ a和vbn= cos θ b为角度衰减因子。通过将上述两个等式相除，我们消除了光源强度E 和 表 面 BRDF （ 注 意 f （ va ， vb ） =f （ vb ，va））。因此，我们获得以下关于倒易图像对正则化深度和法线的倒易约束：（Iaρbvb−Ibρava）n=0。（二）给定预校准的相机和光源位置（Oa和Ob），表面位置P和法线η可以用至少三个倒数对来求解。这是因为给定一个估计的P，我们至少需要三个方程来唯一地求解n∈R3。4. 偏振Helmholtz立体视觉我们的偏振亥姆霍兹立体视觉（极化HS）使用线性偏振光源和偏振相机来获取倒易图像对。因此，我们的图像嵌入了光的偏振态。注意原来图1.偏振Helmholtz立体视觉的配置。[S（0），S（1），S（2），S（3）]，其中S（0）指定光的辐射强度（相当于强度图像），S（1）指定水平到垂直线性极化的偏好，S（2）指定45◦到135◦线性极化的偏好，并且S（3）指定从右到左圆极化的偏好。 对斯托克斯矢量值的附加约束是：1）S⑼R+，2）S⑴，S⑵，S⑶[S（0）、S（0）]和3）S（0）2S（1）2+S（2）2+ S（3）2。注意，斯托克斯向量是相对于ref的选择的。参考轴（即，在垂直于光的传播方向的波平面上的二维正交基这里我们假设线性偏振光。我们使用与标准HS相同的配置，不同之处在于光源以斯托克斯矢量Sl线性偏振，并且相机是偏振敏感的，使得它可以测量接收到的光的斯托克斯矢量。图1示出了我们的配置。给定倒易Stokes矢量对=Sa、Sb、Sa用光源测量在Oa和Ob的相机，和Sb与交换的光源和相机位置。类似于标准HS，我们可以用偏振表面反射率以及距离和角度衰减因子将由相机测量的斯托克斯矢量（Sa和Sb）公式化为亥姆霍兹互反原理将其适用性限制在入射光和出射光的相应偏振态[14]（即，当光路反转时，极性-Sa=M（va，vb）Sl ρ a（va·n），Sb=M（vb，va）Sl ρ b（vb·n）.（三）两个光束的偏振状态也应当互换）。它不能直接应用于偏振态的无限制表示。我们推导出的reci- procity关系下的无限制的情况下，并使用它作为一个约束的表面重建（4.1节）。我们引入依赖于表面反射类型的极化约束（即，镜面偏振、漫射偏振和漫射非偏振），并提出了一种新的图像分离方法以使得能够使用偏振约束（第4.2节）。通过结合互易性和极化约束，使用优化框架联合估计表面法线和深度（第4.3节）。4.1. 极化互易性我们使用斯托克斯矢量来描述偏振态。斯托克斯矢量有四个分量：S =矩阵M（Mueller矩阵）表示描述斯托克斯矢量在反射之后如何改变的极化表面反射率现在的问题是：M是否仍然遵循与BRDF相同的倒数关系（即，M（va，vb）=M（vb，va））时，入射光和反射光的斯托克斯矢量在任意（或无约束）参考轴下表示？最初的亥姆霍兹共振原理[50]如下：定理1（亥姆霍兹互易性）。假设在给定方向离开点A的一定量的光J以a偏振，并且在此光中，到达点B的量K以b偏振。然后，当光在相同的路径上返回，并且在b中偏振的光J的量从点B前进时，到达点A的在a中偏振的光的量将等于K。光源相机相机光源OaOaObOb偏振器偏振器法线n偏振器法线n偏振器va五号bva五号bP表面P5040×× ×--关于我们--L⊗S{}lbla全局参考场景本地引用图2.我们将局部参考轴旋转到全局参考，使得定理1可以应用于描述两个路径之间的互易关系。定理1对入射光和出射光的相应偏振态的适用性有限（即，对于路径i，xg=ygi，对于路径o，xg=ygo。 全局参考轴满足定理1的条件，因为它与路径而不是光束相关联。通过将局部参考旋转到全局参考的Mueller矩阵相乘，得到了两个新的Stokes向量Si′和SO′，它们分别用全局参考表示：Si′=Mr （Φi）Si和SO′=Mr （Φo）SO.Φi和Φo分别是由yi和yg以及yo和yg跨越的角度。设M ′是关联Si′和SO′的Mueller矩阵。因此，M′满足定理1中描述的互易关系：M ′（i，o）=M′（o，i）=Mf，导致So′=MfSi′，Si′=MfSo′.（五）通过在等式（1）中用Si和SO（相对地）代替Si ′和SO ′，5、我们有So=Mr−1（Φo）MfMr（Φi） Si，当光路反转时，光的偏振态也应当互换）。在现实中，很难Si=Mr−1（Φi）M（六）fMr（Φo） So.在该受限循环下获得斯托克斯测量使用等式（1）中的S0和S1的定义，4，等式6变得习惯例如，摄影机和光源在局部参考M（i，o）=Mr−1（Φo）MfMr（Φi），（七）斧头当它们的位置交换时，交换它们的斯托克斯参考轴是不切实际的因此，当偏振态的表示不受限制（即，入射光和出射光的偏振我们的互惠关系如下：M（o，i）=Mr−1（Φi）MfMr（Φo）.由 于 旋 转 Mueller 矩 阵 是 标 准 正 交 的 （ 即 ，Mr−1=Mr）且Mf对角对称（即Mf=Mf）[11]，我们可以推导出以下换位形式的互易M（i，o）=（ Mr−1（Φo） MfMr（Φi））引理1.1. 当可逆路径中的两个光束由具有与光束相关联的参考轴的斯托克斯矢量表示时，互易关系可以表示为使两个斯托克斯矢量相关的穆勒矩阵的转置。=Mr−1（Φi）MfMr（Φo）=M（o，i）。（八）证据 考虑具有分别沿方向i和o传播的斯托克斯矢量Si和SO的两个光束。S1和S0都在它们的局部参考轴bi=xi，yi和b0=x0，x0（其中xi，yi和X0，X0是在它们各自的波平面上的两对正交轴）。 设M是使Si和SO相关的Mueller矩阵。我们可以写出以下等式：So= M（i，o）Si，Si= M（o，i）So。（四）由于bi和bo与光束相关联并且在光路反转时切换，因此定理1不能直接应用于描述M（i，o）与M（o，i）之间的互易关系。为了应用定理1，我们定义全局参考基bg=xg，yg，并将两个斯托克斯矢量从其局部参考变换为全局参考（见图12）。2）的情况。 全局参考轴定义为：yg= i×o，Sekera [43]在散射过程中推导出类似于引理1.1的换位互易互惠约束。由于相机和光源的斯托克斯矢量在它们的局部参考轴上被观察到，所以表面反射米勒矩阵M遵循根据引理1.1的转置互易性：M（va，vb）=M（vb，va）.通过将该互易关系代入Eq. 3并且消除M，我们获得以下互易性约束：（S aS g ρ bv−S gS b ρ av）n = 0。（九）其中Sg是Sl的伪逆的转置;是克罗内克积。我们使用Eq。9来估计表面深度（ρa，b和νa，b可从深度导出）和法线η，当给定倒易斯托克斯向量对=Sa，Sb和预校准的光源斯托克斯向量Sl时。更多细节5041L∈LL··LLl00的45O135度S（1）S（2）镜面偏振漫射-非偏振漫极化S（3）S（0）图3.建议的分解。我们首先将偏振相机捕获的图像转换为斯托克斯矢量。然后，我们将斯托克斯矢量分解成三个分量。有关优化算法的详细信息，请参见第4.3节。给定深度估计，我们需要至少三个方程来唯一地求解nR3。标准HS从三个倒数对生成三个方程。在我们的偏振情况下，我们通过改变光源的偏振状态得到一个互易对的两个方程，因为我们的互易约束（Eq.9)取决于光源（而标准HS不依赖于光源）。独立的最大数量状态通常假设镜面反射成分是偏振的，而漫反射成分是非偏振的。然而，如[4]中所示，漫反射还表现出使表面法线规则化的有用的极化特性这里，我们提出了一种新的分解公式，将观察到的斯托克斯向量（S）分成三个分量：镜面偏振（S sp）、漫偏振（S dp）和漫非偏振（S ud）：S=S sp+S dp+ S du。（十）假设我们有两个强度相同但极化角垂直的在不失一般性的情况下，我们假设它们的偏振角为0◦和90◦。 它们的Stokes矢量分别为S0和S90。注意，这些光源还可以设S0为光源为S0时，从表面点反射并由相机观察到的Stokes矢量，S90为S90下观察到的Stokes矢量（Stokes矢量的组成和性质见4.1节）。 这里我们假设S0和S90是线性极化的（即，S0（3）=S90（3）=0）。现在我们展示如何分解S0;S90可以类似地分解。为了表示简单，我们在分解分量（Ssp、Sdp和Sdu）中去掉度的上标由于光源S0和S90具有以下关系：S0（1）+S90（1）= 0，S0（2）+S90（2）= 0。（十一）l l l l我们可以得到的一对方程是两个。这是因为两个点积（即，van和vbn）将涉及法线的项减少到标量。原则上，如果我们只使用互易性约束，我们将需要至少两个互易对（即，4个方程）来求解深度和法线。然而，由于所观察到的偏振态直接与表面几何形状和反射类型相关，因此我们使用偏振控制。由于镜面反射总是完全偏振的，并且其偏振角与光源的偏振角相同，因此我们使用这种关系通过添加S0和S90来抵消Ssp中的偏振参数。 以来Sdu是非偏振的，它只有强度参数：Sdu=[Sdu（0），0，0，0]。中的偏振参数S0+S90则仅与Sdp相关，得到应变（第4.2节），以制定一个额外的独立方程的法线。这意味着我们可以仅使用一个倒数对来估计深度和法线。Sdp（1）=S0（1）+S90（1）2 ，Sdp（2）=S0（2）+S90（2）2 . （ 十二）4.2. 偏振线索我们考虑不同类型的反射光下的偏振约束。我们将所测量的斯托克斯矢量分解成具有不同反射和极化特性的三个分量（即，镜面反射与扩散、极化与非偏振的），然后导出每种反射类型的特定偏振约束。偏振图像分解。已经在基于偏振的镜面反射去除中研究了该问题[52，36，34]。图像通常分解为镜面分量和漫射分量，这取决于偏振。Ssp中的偏振参数计算为Ssp（1）=S0（1）− Sdp（1），Ssp（2）=S0（2）−Sdp（2）。（十三）我们使用斯托克斯矢量约束S（0）2=S（1）2+S（2）2+S（3）2计算S dp和S sp的S（0），因为这两个分量是完全偏振的。最后，我们计算S du的强度为S du（0）= S0（0）− S sp（0）− S dp（0）。（十四）使用公式如图12-14所示，我们可以将反射的斯托克斯矢量分解成三个分量。图3示出了我们的分解的示例。Stokes矢量传感器图像5042联系我们NΣΣ极化约束。镜面偏振反射和漫偏振反射都可以使表面法线规则化根据菲涅耳由表面法线和反射光形成的平面）。当入射光不倾斜于局部表面时发生这种情况。在漫反射情况下，偏振角有90◦相移[4]，这意味着振动方向位于反射平面上。因此，通过将偏振角和表面法线投影到像平面上，我们可以用公式表示漫偏振反射和镜面偏振反射的两个约束：[sin（），−cos（），0]n=0，（15a）[sin（+90◦），−cos（+90◦），0]n=0，（15b）其中= arctan（S dp（2）/S dp（1））/2是漫射情况下的极化角。当量 15a是对漫偏振反射的约束。当量图15b是针对镜面偏振的情况，其偏振角偏移90°。在[44，45]中使用了类似的约束。 但大多数方法直接使用总斯托克斯矢量来计算偏振角。我们的经验表明，我们能够估计一个更准确的偏振角，通过使用扩散偏振分量。为了使用极化约束，我们将Ssp（0）阈值化为指示镜面像素的二进制掩模。我们使用Eq。15b作为镜面像素的附加约束15a的所有其他像素被视为漫射。4.3. 深度和法线估计通过组合互易性和极化约束，我们可以形成表面法线η的线性系统，即，W（d）n=0;这类似于标准HS[55]。系数矩阵W是表面深度d的函数，并且我们求解d和n。我们首先优化深度。 给定真实深度d*，W（d*）的秩应该是2，这样曲面法线n将被唯一确定。如果深度值不正确，则W的秩将大于2。 这表明，如果我们对W应用SVD：W = U ΣV，其中Σ =diag（σ1，σ2，σ3），σ1σ2σ2/σ3的比值在真实深度d* 处将无穷大。因此，我们使用[40]中提出的指数衰减函数作为深度估计的数据项：σ2（ d）恢复的渲染图像正常正常错误15时00图 4. 用 合 成 数 据 进 行 正 态 重 建 。 “White bil- liard” and“spectralon” are the surface其中p和q是邻域中的两个像素; K是防止不连续深度被平滑的截断阈值。深度估计的组合成本函数为：d*= argmin（E数据+λE平滑），（18）D其中λ是平衡重量。在我们的实验中，我们使用λ=0。01.我们使用graph-cut [10]来解决深度作为多标签问题。一旦估计了深度值，我们就可以使用W（d）n=0来求解法线n。 然后，我们通过以下步骤迭代地细化深度和法线：1）对n进行Poisson积分，得到新的深度d′;2）我们使用d′作为等式中的附加指导3）我们使用估计的深度来形成W（d）并再次求解法线我们使用正常的差异，以决定是否细化收敛。在我们的实验中，它通常在两次迭代后收敛。5. 实验我们验证了我们的方法与合成和真实的实验在场景中具有各种形状和反射率。5.1. 合成实验我们使用Mitsuba 2渲染器1来模拟由偏振相机捕获的偏振图像。具体来说，我们使用偏振渲染模式来模拟四个方向。E数据（ d）=exp（− µσ3（d）），（十六）偏振图像：I0、I90、I45和I135（每个分辨率为500× 500）。在偏振呈现模式中，其中μ=0。2 ln（2）[40]。我们还使用平滑项来减少深度估计中的噪声：渲染器将跟踪光的全偏振状态模拟期间。系统配置反映了我们真实的实验设置。 我们使用真实捕获的KAISTEsmooth（d）=（p，q）∈Nmin（dp−dq，K），（17）1https://www.mitsuba-renderer.org00的MAE：45OAOP00的MAE：45OAOPSpectralon白色台球5043模型照片法线图横断面比较11.97度 15.62度1对HS 8.38o球（聚酯）2对15.46度GT地面实况HS（3对）我们的（113.61度1对HS角（纸板）GT2对8.18度我们的（2对）图5.不同材料类型的合成结果我们显示的材料，恢复法线贴图，并恢复形状的横截面的渲染彩色图像zz zzzSNR/dB方法zzzz10203040HS（3对）23.4113.598.056.87Polar-HS（1对）14.718.056.536.27Polar-HS（2对）19.166.432.140.95表2.相对于噪声水平的正常估计的平均角度误差（以度为单位）pBRDF数据集[8]来对偏振表面反射率进行建模。我们测试各种3D模型和表面反射率。图4示出了我们的渲染图像和具有两个倒数对的恢复的法线贴图。我们评估 重 建 与 每 像 素 的 角 度 误 差 和 平 均 角 度 误 差（MAE）。在补充材料中可以找到更多关于法线和曲面重建的结果。材料类型的消融。我们使用KAIST数据集提供的球体对象上的不同的pBRDF来测试我们的性能相对于材料类型。图五个显示了恢复的法线贴图和重新覆盖的形状的横截面。在这里，使用一个倒数对来计算结果。更多材料和两个相互对的结果可以在补充材料中找到。我们可以看到，单对结果对材料类型很敏感，因为某些材料的偏振反射（例如薄荷硅树脂）是弱的，这导致偏振角是高噪声和不可靠的。两对的结果（见补充材料）是更强大的互易性约束单独提供了足够的正则化。噪声水平的消融。我们评估我们的方法相对于不同程度的噪音。在这个实验中，我们使用了一个球体对象与“白色台球”的材料。我们将高斯白噪声添加到渲染的图像中，并使用信噪比（SNR）来量化噪声水平（较小的SNR数字表示较高的噪声水平）。我们使用正态估计的MAE来评估重建。我们测试我们的方法（polar-HS）分别使用一个和两个倒数对，并与标准HS比较，图6.真实场景中正常和形状重建的定量评价。使用三对。结果报告于表2中我们可以看到，我们的一对和两对方法都比三对HS更准确，并且对噪声不太敏感。5.2. 真实实验样机我们实现了一个物理系统，用于捕获的极性HS图像对。我们将偏振相机和微型投影仪安装在自动旋转轮上，以便它们的位置可以精确交换。摄像机和项目都进行了几何校准[32]和无线电测量[25]。有关系统结构的更多详细信息，请参阅补充材料。通过以180°旋转转轮来捕获互惠对。在该对中的每个位置处，我们在0◦和90◦偏振光下捕获两个偏振图像定量评价。我们在两个真实场景上定量评估我们的方法：一个台球（直径59mm）和一个纸板角（角角为110°）。我们比较了我们的方法与一对和两对的法线和曲面重建，以及标准HS与三对的对.场景设置和重建结果如图所示。6.我们报告的MAE恢复法线，并比较恢复的形状的横截面。我们的一对重构结果在斜偏振角（即其中极化约束变得不稳定。然而，我们的两对结果在两个场景中都是高度准确的。定性评价。我们测试我们的方法在各种不同类型的反射率的场景，范围从纯粹的漫反射到高度镜面反射。有些是包含多个曲面类型的复合场景。图7显示了我们的恢复表面。在这里，我们证明了两对结果，因为它们比一对更准确在补充材料中可以找到更多场景和一个相互对的结果。我们可以看到，我们恢复的表面保留了精细的几何细节（例如，雕像上的绷带和侏儒的胡子）。我们的方法也适用于凹场景，不表现出很强的假黄金薄荷硅胶橙色台球假白珍珠MAE：8.68°MAE：13.02°MAE：5.50°MAE：7.35°地面试验假围棋e Pearl假白一个利亚薄荷硅橙碧鲁斯公横截面比较5044SFPSFPSLPSHS我们的（1对）我们的（2对）橙色贝壳石膏雕像植物陶瓷罐子Gnome肥皂碟兔子蛋图7.真实场景的表面重建结果这里的结果是用两个倒数对计算的图8.我们的方法与经典的三维重建方法的比较。我们显示了恢复的法线贴图（第一行），重新照明曲面（第二行），以及曲面的放大视图（第三行）。相互反射（例如，肥皂盒和兔子耳朵）。我们还将我们的方法与经典的3D重建方法进行比较：偏振形状（SfP）[44]、结构光（SL）[30]、光度立体（PS）[53]和标准HS [55]，其中三对。我们在图中显示了橙色场景的视觉比较结果8. 我们的一对和两对结果的总体形状更接近于结构光扫描结果（SL）。我们的方法也能够恢复比SL更多的表面细节。6. 结论与讨论总之，我们通过导出一个新的换位互易关系，将经典的亥姆霍兹立体声扩展到极化情况我们利用极化线索，并减少最小数量的倒数对执行形式HS到一个。我们提出的polar-HS可以恢复各种类型的表面，具有高精度。局限性。虽然我们已经在各种场景上成功地展示了3D重建，但我们的方法处理强相互反射和透明场景的局限性（参见补充材料中的故障示例如果相互反射太强并导致表面上的焦散效应，则我们的方法在发生焦散的区域处失败。对于透明物体，所捕获的图像是透射主导的。然而，我们的方法依赖于分析反射光的表面重建。一种可能的解决方案是将弱反射图像与透射图像分离未来方向。由于我们的一对解在倾斜偏振角处遭受大的误差，因此我们计划利用附加的物理约束（例如，阴影提示或多视图约束）以进行改进。由于我们的polar-HS在理论上仅需要一个互易对，因此可以在不使用旋转轮（例如，在具有偏振复用的双目设置中），这使得我们的解决方案更实用。鸣谢。 该项目得到了NSF奖项CRII-1948524和NRI-2024795的支持。5045引用[1] Gilad Adiv.从噪声流场恢复三维运动和结构的固有模糊性。IEEE Transactions on Pattern Analysis and MachineIntelligence，11（5）：477-489，1989.[2] 加里·A.艾金森偏振光度立体。计算机视觉和图像理解，160：158[3] 加里·A.阿特金森和埃德温R.汉考克基于偏振的多视点曲面重建IEEEInternational Conference Computer Vision（ICCV），2005年。[4] 加里·A.阿特金森和埃德温R.汉考克从漫射极化恢复表面 取 向 IEEE Transaction on Image Processing ， 15（6）：1653[5] 加里·A.阿特金森和埃德温R.汉考克形状估计使用偏振和 阴 影 从 两 个 视 图 。 IEEE Transactions on PatternAnalysis and Machine Intelligence，29（11）：2001[6] Yunhao Ba，Alex Gilbert，Franklin Wang，Jinfa Yang，Rui Chen ， Yiqin Wang ， Lei Yan ， Boxin Shi ， andAchuta Kadambi.两极分化形成的深层形状。在欧洲计算机视觉会议（ECCV），2020年。[7] 作 者 ： Daniel S. Jeon 、 Xin Tong 和 Min H. Kim. 极 化svbrdf和法线的同时获取。ACM图形交易，37（6），12月。2018年。[8] Seung-Hwan Baek ， Tizian Zeltner ， Hyun Jin Ku ，Inseung Hwang，Xin Tong，Wenzel Jakob，and Min H.Kim. 基 于 图 像 的 偏 振 反 射 率 获 取 与 建 模 。 ACMTransactions on Graphics（Proc SIGGRAPH 2020），39（4），2020。[9] Ronen Basri，David Jacobs，and Ira Kemelmacher.普通的 ， 未 知 的 灯 光 。 International Journal of ComputerVision，72：239[10] Yuri Boykov Olga Veksler和Ramin Zabih通过图割的快速近似能量最小化IEEE Transactions on Pattern Analysisand Machine Intelligence，23（11）：1222[11] 苏 布 拉 马 尼 扬 · 钱 德 拉 塞 卡 辐 射 转 移 。 CourierCorporation，2013.[12] Lixiong Chen ， Yinqiang Zheng ， Art Subpa-Asa ， andImari Sato.偏振三视图几何。在欧洲计算机视觉会议（ECCV），2018年。[13] Alessandro Chiuso，Roger Brockett，and Stefano Soatto.运 动 的 最 佳 结 构 ： 局 部 模 糊 性 和 全 局 估 计 。International Journal of Computer Vision，39：195[14] F. Clarke和D.招架亥姆霍兹互易性：其有效性及其在反射测量中应用。照明研究技术，17：1[15] Yan Cui ， Sebastian Schuon ， Derek Chan ， SebastianThrun，and Christian Theobalt.使用Time-of- Flight相机进行3D形状扫描。在IEEE计算机视觉和模式识别会议，2010年。[16] Zhaopeng Cui，Jinwei Gu，Boxin Shi，Ping Tan，andJan Kautz.偏振多视图立体。在IEEE计算机视觉和模式识别会议（CVPR），2017。[17] 我是艾尔·德劳恩，伊曼纽尔·普拉多斯和彼得·N·贝-胡默尔。全三维亥姆霍兹立体视觉算法。2010年亚洲计算机视觉会议（ACCV）[18] 关于dˇrejDrbohl a v和RadimSˇa´ra。从未知光源的光度立体 图 中 明 确 确 定 形 状 。IEEEInternational ConferenceComputer Vision（ICCV），2001。[19] Jinwei Gu、Toshihiro Kobayashi、Mohit Gupta和Shree K.纳亚尔在存在全局照明的情况下用于场景恢复的多路复用照明。在IEEE国际会议计算机视觉（ICCV），2011中。[20] Mohit Gupta 、 Amit Agrawal 、 Ashok Veeraraghavan 和Srinivasa G.纳拉希姆汉结构光三维扫描在全局照明的存在。在IEEE计算机视觉和模式识别会议（CVPR），2011年。[21] Mohit Gupta和Shree K.纳亚尔微相移在IEEE计算机视觉和模式识别会议中，2012年。[22] Felix Heide ， Lei Xiao ， Wolfgang Heidrich ， andMatthias B.胡林漫射镜：使用廉价的飞行时间传感器从漫射间接照明进行3D重建在IEEE计算机视觉和模式识别会议，2014中。[23] Tomoaki Higo ， Yasuyuki Matsushita ， and KatsushiIkeuchi.一致光度立体。在IEEE计算机视觉和模式识别会议中，2010年。[24] Cong Phuoc Huynh、Antonio Robles-Kelly和Edwin R.汉考克从单视图偏振图像恢复形状和折射率。在IEEE计算机视觉和模式识别会议（CVPR），2010年。[25] ZsoltJank o´ 、Ond ˇrejDrbohl av和RadimSˇa´ra。亥姆霍兹立体装置的辐射定标IEEE计算机视觉与模式识别会议，2004年。[26] Achuta Kadambi、Vage Taamazyan、Boxin Shi和RameshRaskar。极化3D：高品质的深度感应与极化线索。在IEEE计算机视觉和模式识别会议，2015年。[27] Achuta Kadambi、Vage Taamazyan、Boxin Shi和RameshRaskar 。 使 用 几 何 约 束 的 极 化 法 线 的 深 度 感 测 。International Journal of Computer Vision，125（1-3）：34[28] Daisuke Miyazaki、Takuya Shigetomi、Masashi Baba、Ryo Furukawa、Shinsaku Hiura和Naoki Asada。基于偏振的多视点黑色镜面物体表面法线估计。在3D成像、建模、处理、可视化传输国际会议上，2012年。[29] 作者：Daisuke Miyazaki，Robby T. Tan，Kenji Hara，and Katsushi Ikeuchi.从单个视图进行基于偏振的逆渲染 。 IEEEInternational Conference Computer Vision（ICCV），2003。[30] 雷蒙德A. Morano，Cengizhan Ozturk，Robert Conn，Stephen Dubin，Stanley Zietz，and Jonathan Nissanov.使用伪随机码的结构光 。IEEE Transactions on PatternAnalysis and Machine Intelligence，20（3）：3225046[31] Olivier Morel、Fabrice Meriaudeau、Christophe Stolz和Patrick Gorria。偏振成像应用于镜面金属表面的3D重建 。 在 SPIE Machine Vision Applications in IndustrialInspection XIII，第5679卷，2005中。[32] 丹尼尔·莫雷诺和加布里埃尔·陶宾。简单、准确、强大的投影仪-摄像机校准。在2012年的3D成像、建模、处理、可视化传输国际会议[33] HironoriMori，RoderickK o¨ hle，andMarkusKamm. 使用亥 姆 霍 兹 立 体 视 觉