偏振视觉SLAM技术应用于非纹理对象的三维图像重建

0使用偏振进行非纹理对象的视觉SLAM 3D重建0韩佳乐，张静梅，赵永强*0西北工业大学自动化学院，中国西安0文章信息0关键词：机器视觉、视觉SLAM、图像纹理、偏振摄像头0摘要0常见的视觉SLAM技术是通过单目和双目摄像头获取场景图像信息，然后处理摄像头传感器数据以获得恢复的地图。然而，这些摄像头传感器对于非纹理场景的敏感度不够，无法恢复地图。很容易导致图像采集的大偏差，并且无法恢复相应的形状。因此，为了解决这些挑战，本文提出了一种使用偏振摄像头获取偏振特征并计算深度信息以实现图像重建的SLAM方法。具体来说，在SLAM过程中，我们使用单目偏振摄像头获取图像序列，并使用偏振获得的每个像素的相位角和法向量来恢复纹理对象的深度，然后融合多视角法向量约束进行3D重建，最后，在深度传播过程中，使用偏振光场信息来约束非纹理区域的传播。我们分别验证了单个和多个对象场景的室内和室外拍摄数据，并将重建结果与现有的DSO、ORB-SLAM和其他算法进行了比较，结果表明我们的视觉SLAM方法在重建非纹理对象的表面形状方面优于现有的常见SLAM方法。01.介绍0VisualSLAM（同时定位与地图构建）[1]指的是机器人或其他移动载体通过自主收集和计算各种传感器数据来获取环境中的场景信息，然后重建环境地图并定位其自身位置和姿态。近年来，SLAM技术受到了广泛关注。SLAM在自动驾驶、军事侦察、微创手术等领域具有巨大的应用价值[2,3]。目前，常见的视觉SLAM算法[4]分为间接方法和直接方法。间接方法首先对测量数据进行预处理，生成中间层，通过稀疏特征点提取和匹配来实现，也可以通过密集的规则光流或提取直线或曲线特征来实现，然后计算地图点坐标或光流方向量等几何量。直接方法跳过预处理步骤，直接使用实际的传感器测量值。间接方法的常见方法有MonoSLAM[5,6]，PTAM[7]，ORB-SLAM[8,9]。MonoSLAM是第一个实时的单目视觉SLAM系统。系统初始化跟踪稀疏特征点，运动建模和预测使用EKF（扩展卡尔曼滤波器）0估计相机姿态，以当前相机状态作为状态量。PTAM首先提出了关键帧机制，即在视频序列中提取几个关键帧，然后处理关键帧，优化并生成轨迹和场景地图。这两种方法都有明显的缺点：场景狭窄，稀疏点容易丢失。ORB-SLAM处理图像的ORB特征，并实时跟踪特征点。每个图像需要计算一次ORB特征，这是耗时的。此外，多线程结构会给CPU带来沉重的负担。还有LSD-SLAM[10]，DSO[11]等。LSD-SLAM直接估计相似变换、尺度感知和关键帧之间的图像匹配算法。这种方法对相机的内部参考和曝光敏感，当相机快速移动时容易导致特征丢失。DSO不考虑几何先验信息，直接优化关键帧附近几帧的光度误差，并考虑光度校准模型，但这种方法没有回环检测。无论是直接还是间接方法，传统的SLAM都有许多局限性。对于场景中的高光泽和非纹理对象，很容易导致表面特征的丢失，因此恢复的地图效果很差。偏振是光波的自然特征，传达了丰富的周围环境的几何特征，如方向和0*通讯作者。电子邮件地址：zhaoyq@nwpu.edu.cn（Z.Yongqiang）。0ScienceDirect提供内容列表0数组0期刊主页：www.elsevier.com/journals/array/2590-0056/open-access-journal0https://doi.org/10.1016/j.array.2021.100066 收稿日期2021年2月12日；接受日期2021年4月11日 在线发表日期2021年4月20日 2590-0056/ ©  2021 ElsevierInc.出版。本是一篇在CC BY许可证下的开放获取文章（http://creativecommons.org/licenses/by/4.0/）。0数组10（2021）100066––––20形状[12]。 偏振相机在CMOS传感器的前面有线偏振器。偏振相机可以同时获取四个偏振角的图像，并在每个视频帧中获得每个像素的表面方位角。将偏振获得的每个像素的光场信息与多视图的偏振约束相结合，可以进行3D重建，并且可以通过偏振算法从每个视频帧中恢复物体的相位角，特别是在没有纹理或高光的区域[13,32]。 偏振已被用于3D重建。早期的方法[14-16]假设物体的表面是光滑的，并且只使用几何先验，例如物体边界的表面法线和物体的凸面来估计形状。一些最近的方法正在从阴影[17,18]或光度立体方法[19-21]中获取形状。这些方法都针对具有特殊材料[17]或限制照明方向[18]的物体。还有一些算法将偏振与其他传感器融合[19,20]，并且偏振成像被用作辅助形成深度图。 这些方法大多需要限制相应的环境和照明条件。有使用单极化图像和多极化图像的立体匹配，以及一些RGB-D传感器[22,26]被融合以获得深度。这些方法在室内和室外有相应的约束，并且通常假设反射均匀，这需要照明估计[23]。 最近，另一种方法[24]使用相位角来估计无特征区域的形状。陈[25]等人提出了一个从三个视图计算偏振约束的理论算法。几乎所有以前的工作都假设单一反射（纯漫反射[14,27-31]或纯镜面反射[23]）。杨等人[38]提出了使用偏振相机的SLAM。总之，视觉SLAM很容易失去高光泽无纹理区域的特征获取，然后形状恢复不足。偏振方位角为表面形状提供了强大的几何约束。对于SLAM过程，偏振传输的几何特征可以提供良好的帮助，然后增强表面无纹理区域的形状恢复。 本文提出的基于偏振3D重建的SLAM系统流程如图1所示。输入是在多个视角拍摄的偏振图像。它主要包括恢复运动中图像的原始结构[32-34]，初始化场景的深度估计，另一方面，通过偏振计算图像特征点的相位角，目标点的表面法线矢量信息受到偏振多视图的约束，然后通过偏振三维重建恢复无纹理区域的形状。最后，通过偏振约束条件优化融合重建地图，然后生成最终的场景地图。最后，通过使用视觉测距计DSO计算移动载体的位置和姿态。本文的主要贡献如下：1）提出了0使用偏振相机传感器获取图像数据，并在SLAM中应用相位角，恢复良好的地图效果；2）我们将环境地图划分为具有或不具有纹理特征的区域，在SLAM中使用偏振3D重建来恢复没有纹理特征的物体的形状，以改善地图恢复；3）使用偏振来获取无纹理区域和全局范围内的表面法线信息的改进算法，然后统一深度传播优化，改进偏振多视图3D重建。02. 偏振3D重建0反射后，如图2所示，反射光变为部分偏振光[13,14,24]。如图2所示，许多表面的反射辐射包括三个部分：（1）偏振镜面反射（即高光），（2）偏振漫反射（次表面散射和折射）和（3）非偏振漫反射（微观粗糙表面反射）。根据菲涅耳原理，反射率会随着入射光的方向而改变，并且通过旋转偏振器来改变反射光的亮度。在无偏振照射下，照射强度I可以表示为与旋转偏振器角度相关的正弦函数，通过线偏振器从反射表面发出的相位角φpol的照射强度如下：0I � φ pol � ¼ I max  þ  I min 2 þ I max  ÷  I min 2 cos � 2 ÷ φ pol  ÷  φ �� (1)0其中I max，Imin为偏振辐射的最大和最小值，φ为相位角。偏振图像提供了每个像素表面法线方向的约束，约束的确切性质取决于所使用的偏振模型。偏振三维重建的关键是通过偏振成像获取反射光的偏振状态，联系物体的几何信息0图1. 偏振3D重建SLAM0图2. 物体表面的混合偏振图0H. Jiale et al. Array 10 (2021) 1000668<2666664135(6)s(3)30表面，然后集成法线向量以获得目标表面的三维形状。反射光的偏振状态可以获得目标法线向量的两个重要参数，即天顶角θ ð u Þ和方位角ϕ ð uÞ。如图3所示，天顶角值的法线向量方向与z轴之间的角度，方位角指的是法线向量投影与x轴之间的角度。根据菲涅耳原理，可以得到折射率和偏振度的定义，可以得到每个点u的漫反射的偏振度ρ d ð uÞ可以用折射率η表示。在透视情况下，透视θ ð u Þ ¼  arccos ½ n ð u Þ  � v ð uÞ� 2 ½ 0 ;  π  = 2 � ; 具体如下[14]：0ρ d ð uÞ ¼0� η  � 1 η0÷ 2 sin 2θ ð u Þ02  þ  2 η 2 � � η  � 1 η0÷ 2 sin 2 θ ð u Þ þ  4 cos θ ð u Þ ÷ ÷ ÷ ÷ ÷ ÷ ÷ ÷÷ ÷ ÷ ÷ ÷ ÷ ÷ ÷ ÷ ÷ ÷ ÷ ÷ ÷ ÷ ÷ ÷ ÷ ÷ ÷ ÷ ÷ η2 ÷  sin 2 θ ð u Þ p (2)0根据测得的偏振度，可以再次估计θ ð uÞ（因此表面法线的自由度），这将把视角余弦联系到一个函数f ð ρ ð u Þ ; ηÞ，该函数取决于测得的偏振度和折射率：0为简化起见，去除了 ρ d 与 (u) 之间的依赖关系。此时，镜面反射的偏振度为0ρ s ð uÞ ¼02 sin 2 θ × u × cos θ × u ÷ ÷ ÷ ÷ ÷ ÷0η 2 ÷  sin 2 θ ð u Þ ÷  η 2 sin 2 θ ð u Þ þ  2 sin 4 θ ð u Þ (4)0相位角φ与方位角ϕ相关，并定义如下：0φ ¼0ϕ � π如果极化漫反射占主导地位0ϕ � π 2如果主要是镜面反射（5）0如图2所示，n代表目标点的法向量，0因此，点的法向量可以表示为：0n ¼0∂f（x；y）∂x0∂f（x；y）∂y0777775¼04P ¼ tan θ cosφ ϕ ¼ tan θsin φ 103. 极化视觉SLAM03.1. 传统视觉SLAM建图0传统视觉SLAM，如ORB-SLAM2，DSO等，使用相机姿态和特征点位置，并使用三角形匹配测量来获得相机的旋转矩阵，并获得每个关键点的信息，对特征点要求很高。如果特征提取不准确或在无纹理视频获取过程中容易丢失，很容易导致地图重建效果好。在无纹理区域，传统视觉SLAM通常使用特征来构建3D模型。也就是说，我们应该首先提取图像特征0从训练图像数据库中，形成局部特征描述子集，并通过聚类算法形成多种类型的视觉词汇，最终形成视觉词典。如图4所示，左图是某一时刻的关键帧，右图是特征获取结果。基于特征的场景识别首先提取图像的特征点，然后对特征点进行分类。对于无纹理区域，估计相邻特征点作为替代。以ORB-SLAM2为例，当跟踪的特征点数少于15时，场景目标将丢失，然后需要估计和重新定位当前帧。如果在5秒内仍然不成功，则场景地图将重新初始化。对于没有纹理的目标，很容易导致这种情况。03.2. 极化信息匹配约束0在多个图像中，极化信息将相互约束。对于物体表面的特征点，我们可以从多个图像中获得表面法向量n。具体算法如下：在两个视图中，同一特征点的两个相位角之间存在几何关系。这两个相位角被定义为0图3. 法向量的示意图。0图4. 法向量的示意图。0cosθ（u）= n（u）�v（u）=f（ρ（u）；η）=0η4（1 - ρ2d）+ 2η22ρ2d + ρd� - 1 + ρ2d + 2ρd� - 4η3ρd √1 -ρ2d p + 10（ρd + 1）2（η4 + 1）+ 2η2（3ρ2d +2ρd� - 1）0H. Jiale et al. Array 10 (2021) 100066 cosðφ1 þ π=2Þsinðφ1 þ π=2Þ0! cosϕ1sinϕ10!(7) cosðφ2 þ π=2Þsinðφ2 þ π=2Þ0! cosϕ2sinϕ20!(8)�RT1a1�⋅ n ¼ 0�RT2a2�⋅ n ¼ 00BBBBaT1 R1aT2 R201CCCC0@nxnynz1A ¼0@0001A(9)�RTk ak�⋅ n ¼ 0，ðk ¼ 1; 2; …; KÞaT1 R1aT2 R2:::aTk Rk0@nxnynz1A ¼0BBBBBBB@00:::01CCCCCCCA¼ 0(10)0BBBBBBBBBBBBBBBBB@aT1R1aT2R2:::aTk Rk1CCCCCCCCCCCCCCCCCA¼ UWVT ¼ U0@w1w201A v1v2v3!(11)(Mx;y ¼ 1If���rTndepthx;y��� � ε and���rTncorrx;y��� � εMx;y ¼ 0else(12)Fig. 5. Relationship between surface normals and reflection planes of twoviewing angles.H. Jiale et al.Array 10 (2021) 10006640如图5所示，作为φ1和φ2，并且表面的法向量被定义为a1和a2，如图5所示。表面法向量与其来自不同视角的相位角之间存在直接相关的约束，即：0a1¼0¼0a2¼0¼0根据上述公式，表面法向量n与向量a1和a2正交。表面法向量n可以通过找到向量a1和a2来获得。从世界坐标系到相机坐标系，通过旋转矩阵R1和R2计算。每个旋转矩阵的转置矩阵是它们的逆矩阵，即：0上述公式表示从两个观察角的相位角估计表面法线的过程。更多角度：0B BB BB BB BB BB BB BB BB B@0CCCCCCCCCCCCCCCCCCA0使用最小二乘法的奇异值分解，我们可以得到0U 为 K � 3 正交矩阵，W 为非负3 � 3对角矩阵，V T 为3 �3正交矩阵，矩阵W的对角项wi是矩阵A的奇异值。由于表面法线与表面之间的关系，矩阵A的秩最多为2，因此至少有一个对角项为0。特征点的表面法线向量n是通过多个角度的相位角的相互约束获得的。然后进行积分以获得初始化的3D形状。03.3. 纹理较少区域的偏振优化0对于没有纹理特征的区域，需要进一步优化。首先，通过偏振获得法线信息。通过先前已知的算法可以获得入射平面方向的相位角φ和入射角θ。为了确定物体表面的法线方向，可以假设物体表面是一个笛卡尔曲面z ¼ f ðx;yÞ，构建物体表面坐标系，并通过计算目标表面的法线向量n来确定表面z ¼ f ðx;yÞ。为了不破坏天顶角，首先使用初始深度图提供目标形状的粗略估计。具体来说，定义二进制掩模为：0ε为平滑度阈值，rT为法线量的导数。深度图在初始化阶段已经平滑处理，因此没有噪音，但是非纹理区域的细节仍然不够精细。这时候使用深度法线信息进行校正。我们采用一个积分方案，将输入深度图（D）和来自校正的偏振法线（ncorr）结合起来，恢复表面的深度坐标。积分的标准方法为0表面法线是泊松方程，写作 r 2  b D  ¼ r T n corr0图6.  深度一致性检查。k vec M �D � Dk22(13)"λM � Ir2s#vec�bD�¼"λvecðM � DÞrTs ncorr#(14)……9 Ep ¼ ��zp � μpj210 else r2 bD ¼ rTNcorr11 Eq ¼sinφrTndepthxzu � cosφrTndepthyzu j2250对于我们的问题，通过使用偏振获得的表面法线信息来限制全局深度；0其中vec表示矢量化运算符，�表示Hadamard乘法。当深度图可靠时，深度保真度被纳入稀疏线性系统中。0I是像素方阵，λ是标量参数，用于调整深度保真度和无纹理区域的权重。在多视图的偏振约束之后，获得的可靠深度被初始化并合并到无纹理稀疏区域中，获得的法向量n可以有效可靠地改善高光泽无纹理区域的形状恢复。03.4. 偏振深度图优化0在SLAM关键帧传播过程中，使用偏振图像和可见光图像相互约束，优化3D重建深度图。本文使用表面法向量n和偏振估计的相位角φ进行深度获取和传播融合。定义能量函数E来将纹理区域的特征信息传递到非纹理区域。0E  =Z0NλEp þ Eq (15)0其中Ep是深度一致性检查后纹理区域的数据项能量函数，Eq是非纹理区域的数据项能量函数，如图4所示。λ是在深度传播过程中的平衡参数，在本实验中取为0.3。首先，可以从0公式（6），像素u¼（ux；uy）的深度zu可以从多视图传播过程中的高斯分布的均值得到[34]。0z u  = � d u f �� u x  �  c x ;  u y  �  c y ;  f �� n (16)0其中f是相机的焦距，（cx；cy）是相机的原点。0Ep  = �� z p  �  μ p j 2 2 (17)0根据文献[34]的方法，从多个视图获得物体的深度，然后定义能量函数Ep，其中μp是通过传播计算的p个点的高斯分布的平均值。无纹理区域的能量函数定义如下：0Eq  = ��� ��� sin φ r T n depth x z u  �  cos φ r T n depth y z u ��� j 2 2 (18)0根据相位角的定义，tanφ ¼ rTn depth x = rTn depthy。通过上述约束统一无纹理区域的能量函数。得到两部分的能量函数，并通过全局积分得到约束项E。在传播过程中，融合不同关键帧的深度图，得到最终重建的地图。算法1总结了本文的算法流程。0算法1 偏振3D重建SLAM0输入：连续K组图像序列fIig i 2 1；2；�；k初始化：1使用VisualSFM初始化图像形状2patchmatch深度一致性检查P þ3计算像素P的相位角fφ1p；φkp；…；φkp g04 计算向量n 5 解决π和π/2的歧义 深度图优化：6 当（P - -）7 如果p 2 P þ 8从相位角fφ1p；φkp；…；φkp g获取像素P的法向量n012全局约束k vec ðM �ðbD � DÞÞk 2213积分得到整体表面形状z 输出：恢复的场景形状z04. 实验分析04.1. 初始化和预处理0在SLAM之前进行初始化和准备，为每个视图拍摄一张图像，使用VisualSFM[32]计算相机的姿态，并重建原始的3D形状。使用深度一致性检测[34]来判断特征是否属于无纹理区域。为了使用从偏振中估计的相位角φ进行地图重建，需要解决每个视图的π和π/2的歧义。本文采用文献[24]的方法来消除歧义。对于π/2的歧义，使用一致性检测来判断目标点是否在纹理丰富的区域以及该点是否被镜面反射或漫反射所主导。使用二进制表示法来解决这个问题。对于π的歧义，可以使用等深度和等高度的轮廓追踪来解决。当解决了π/2的歧义后，从偏振估计的方位角到物体的真实方位角只存在π的歧义。前一种方法需要其他深度信息或照明方向信息，在本文中，选择等深度的ISO轮廓追踪来绕过π的歧义以获得深度图（见图6）。当π的歧义未解决时，垂直于方位角的等深度和等高度的轮廓线也可以得到确认。因此，为了使用带有π歧义的方位角进行深度估计，在初始化阶段，线确认一组可靠深度的稀疏点，然后使用这些稀疏点来跟踪等深度的轮廓线。这将把深度从稀疏点传播到无特征的区域。图7是消除歧义的过程。在我们之前的实验[13]之后，自然物体的折射率在1.2到1.8之间，对本文中的方法影响不大，因此在实验中，选择折射率为η = 1.5。0物体 真实值 测量值0石码头 1.42 1.3451 计算机屏幕 1.6 1.6304 墙壁 1.5 1.472104.2. 实验结果比较0初始化和预处理后，可以使用本文中的极化多视角重建算法重建地图，最终可以使用视觉测距仪DSO获得相机位置。为了验证本文中SLAM地图重建的重建准确性和完整性，进行了三组0H. Jiale等人。阵列10（2021）10006660进行了对比实验和一些场景实验，与当前的极化3D重建方法和当前的视觉SLAM方法进行了比较。本文的实验环境是8G，2.8 GHz Interi7-4500u，操作系统是Ubuntu16.04，算法由C++实现。在实验1中，使用了两种合成形状：光滑和高光泽的球面和两个具有明显角度的平面。我们预设了极化法线向量和其他信息。结果与Smith的方法[18]进行了定量比较，并从512×512图像中随机选择了50个关键点进行跟踪，为方法[18]提供了真实的地面照明方法。两个实验的效果如图8所示。由于我们的SLAM深度融合方法，可以更好地获得多角度的极化信息。可以看出，本文中的方法在高光区域和边缘优化方面明显优于Smith的方法，获得真实角度的误差也更小[18]。由于照明和其他因素的限制，它对噪声更敏感，本文中使用的消歧方法可以在不同的照明条件下使用。在第二个实验中，使用极化相机拍摄室内和室外场景。室外场景是光滑且无纹理的物体，室内场景是平坦的计算机显示器。拍摄了一系列连续的图像帧，包括室外场景的200张图像和室内场景的300张图像，将它们输入到不同的视觉SLAM算法中。使用了本文中的方法和当前的视觉SLAM方法ORB-SLAM2[9]和DSO[11]。效果如图9和10所示。0图9是单个室外物体，图9（a）是原始图像序列，（b）是由ORB-SLAM2恢复的地图，（c）是由DSO恢复的场景地图，（d）是由本方法恢复的结果。如图9所示，显然我们的方法可以明确地恢复目标的3D形状。同时，由于不规则照明的影响，其他方法几乎无法恢复场景的目标形状。0图10（a）是室内物体的原始图像，（b）是由ORB-SLAM2恢复的地图，（c）是由DSO恢复的场景地图，（d）是由本方法恢复的结果。在室内和室外无纹理物体的SLAM过程中，可以看到DSO可以粗略勾勒出具有明显线条的物体的点云，但无法获取具有光滑表面的物体的形状，而ORB-SLAM2在不规则照明条件下无法恢复场景的形状。然而，本方法可以通过极化3D重建获得无纹理表面的形状，因此可以获得更好的重建结果。实验4中有许多种场景，如图11所示。极化相机用于遍历场景，图像序列中有两千张图像。本文中的算法用于优化初始重建结果，然后进行轨迹跟踪。可以看出，本文中的SLAM算法可以完全恢复物体的3D形状。与当前的视觉SLAM相比，它只能产生稀疏的3D点云。与当前的极化3D重建方法和视觉SLAM方法相比，提高了重建的准确性和完整性。此外，我们在不规则室外照明下拍摄了一组数据。0图8.  左图是实际图片，中图是Smith等人的方法[ 18 ]，右图是该方法。0图9.  室外场景的SLAM重组。0图10. 室内单一环境中地图场景的重建结果。0图7.  （a）原始图像，（b）消除π/2歧义后的图像，（c）消除π歧义后的图像。0H. Jiale等人。阵列10（2021）100066––––––––”–––––––70条件。在室外不规则照明条件下，由于光源的不确定性和干扰因素过多，很容易导致目标的丢失。对于图12（b）和（c）中的ORB-SLAM2和DSO，这种情况导致了过程的中断。我们在室外拍摄了一块不规则的石头，总共拍摄了1000张图像。在重建石头后，我们得到了图12（d）中的结果，清楚地显示了石头的轮廓和形状得到了很好的恢复。0重建石头后，我们得到了图12（d）中的结果，清楚地显示了石头的轮廓和形状得到了很好的恢复。0图13将该方法与当前的融合方法Kin- ectFusion [ 37 ]和Gipuma [ 34]进行了比较。在纹理细节方法中，由于极化信息，效果更好。05. 结论0本文提出了一种基于融合极化3D重建的SLAM方法。该方法使用极化相机获取场景图像，首先初始化和重建场景，然后使用极化算法获取图像的相位角，消除π和π/2的歧义，然后使用极化获得的表面方法全局传播到信息约束的无纹理区域，然后融合以获得场景的重建地图。与传统SLAM相比，该方法的优势在于根据极化图像的估计将深度信息从纹理良好的区域传播到无纹理区域，从而大大提高了非特征纹理区域的形状恢复。经过实验比较，它有效地提高了当前视觉SLAM地图重建的准确性。0竞争利益声明0我们声明，我们与其他可能不当影响我们工作的人或组织没有财务和个人关系，对任何可能被解释为影响手稿《使用极化3D重建的非纹理物体视觉SLAM》的立场或审阅的任何产品、服务和/或公司没有任何专业或其他个人利益。0参考文献0[1] Durrant H, Bailey TS. 同时定位与地图构建：第一部分. IEEE Robot Autom Mag 2006;13(2):99 –110.  https://doi.org/10.1109/MRA.2006.1638022 . [2]  本田J，横山H，田岛H等.3D飞机模型对ILS本地化器的影响. 在：IEEE 2016第10届国际复杂、智能和软件密集系统会议; 2016. p.180 – 5 . [3]  华博S，伯仁L，丽玲Y等. 民用飞机3D激光雷达点云的镶嵌研究.在：IEEE国际仪器和测量传感器网络与自动化研讨会; 2013. p. 683 – 6 . [4]  Nister D, Naroditsky O,Bergen J. 视觉测距. 计算机视觉与模式识别 2004;1 . [5]  Davison AJ, Reid I, Molton ND, et al.MonoSLAM：实时单目SLAM. IEEE Trans Pattern Anal Mach Intell 2007;29(6):1052 – 67 . [6]Davison AJ. 实时视觉的主动搜索. 计算机视觉国际会议 2005;1:66 – 73 . [7]  Georg K, Murray DW.小型AR工作空间的并行跟踪和地图构建. 在：IEEE，混合和增强现实国际研讨会; 2007. p. 1 – 10 . [8]Murartal R, Montiel JM, Tard � os JD. ORB-SLAM：多功能准确的单目SLAM系统. IEEE Trans Robot2015;31(5):1147 – 63 . [9]  Murartal R, Tard � os JD.ORB-SLAM2：单目、立体和RGB-D相机的开源SLAM系统. IEEE Trans Robot 2017;33(5):1255 – 62 .[10]  Engel J, Sch € ops T, Cremers D. LSD-SLAM：大规模直接单目SLAM. ” 欧洲计算机视觉会议.2014. p. 834 – 49 . [11]  Engel J, Koltun V, Cremers D. 直接稀疏测距. IEEE Trans Pattern Anal MachIntell 2018;40(3):611 – 25 . [12]  Ragheb H, Hancock ER. 一种用于镜面形状恢复的概率框架. 模式识别2003;36(2):407 – 27 . [13]  Jinglei H, Yongqiang Z, Haimeng Z, et al.基于多光谱极化和机器视觉的高反射无纹理目标的3D重建. 测绘学报 2018;47(6) . [14]  Atkinson GA,Hancock ER. 从漫反射极化中恢复表面方向. IEEE Trans Image Process 2006;15(6):1653 – 64 . [15]Miyazaki D, Tan RT, Hara K, Ikeuchi K. 基于极化的单视图逆渲染. 在：计算机视觉国际会议; 2003. p.983 – 7 . [16]  Morel O, Meriaudeau F, Stolz C, GorriaK P. 应用于金属表面的3D重建的极化成像.在：SPIE 5679,工业检测中的机器视觉应用XIII; 2005 . [17]  Mahmoud AH, El-Melegy MT, Farag AA.从极化和阴影中恢复形状的直接方法. 在：图像处理国际会议; 2012. p. 1762 – 72 . [18]  Smith WAP,Ramamoorthi R, Tozza S. 从未校准的单眼极化图像中线性深度估计. 欧洲计算机视觉会议 2016:109 –25 .0图11。室内复杂环境中地图场景的重建结果。0图12。户外多个对象的SLAM重组。0图13。我们的方法与KinectFusion和Gipuma进行比较。0H. Jiale等人。阵列10（2021）100066–“”–“”––“”––––“”––––“”––––80[19]  Drbohlav O, � S � ara R.从具有未知光源的光度立体中明确确定形状。计算机视觉国际会议2001:581-6。[20]  Ngo TT,Nagahara H, Taniguchi R.“来自阴影和偏振的形状和光方向”，计算机视觉和模式识别。2015年。2310-8页。[21]  AtkinsonGA。“偏振光度立体”，计算机视觉和图像理解。2017。158-67页。[22]  Miyazaki D, Shigetomi T,Baba M, Furukawa R, Hiura S, Asada N.来自多个视点的黑色镜面物体的偏振基表面法线估计。在国际三维成像，建模，处理，可视化和传输会议（3DIMPVT）;2012。104-11页。[23]  Miyazaki D, Shigetomi T, Baba M, Furukawa R, Hiura S,Asada N. 来自多视图偏振图像的黑色镜面物体的表面法线估计。光学工程2016;56(4):041303。[24]Pengcui Z, Jinwei G, Boxin S, Ping T, KautzJ。“偏振多视图立体”，计算机视觉和模式识别。2017。369-78页。[25]  Lixiong C, Yinqiang Z,Subpaasa A, Sato I. 偏振三视图几何。在欧洲计算机视觉会议上;2018。21-37页。[26]  Kadambi A,Taamazyan V, Shi B, Raskarl R.偏振3D：使用偏振线索进行高质量深度感知。计算机视觉国际会议2015:3370-8。[27]  Wu C, WilburnB, Matsushita Y, Theobalt C.一般照明下的高质量多视图立体和阴影。计算机视觉和模式识别2011:969-76。[28]  Langguth F,Sunkavalli K, Hadap S, GoeselleM。“考虑阴影的多视图立体”，欧洲计算机视觉会议。2016。469-85页。[29]  Nehab D,Rusinkiewicz S, Davis J, Ramamolorthi R.有效地结合位置和法线以获得精确的3D几何。ACM TransGraph 2005;24(3):536-43。0[30]  Herln � andez C, Vogiatzis G, Cipolla R. 多视图光度立体。IEEE Trans Pattern Anal Mach Intell2008;30(3):548-54。[31]  Park J, Sinha SN, Matsushita Y, Tai Y-W, Kweon IS.使用平面网格参数化的多视图光度立体。计算机视觉国际会议2013:1161-8。[32]  Wu C, Wilburn B,Matsushita Y, Theobalt C.“多视图立体和一般照明下的高质量形状”计算机视觉和模式识别。2011。[33]  Fuhrlmann S,Langguth F, Goesele M. MVE-多视图重建环境。欧洲图形和文化遗产研讨会;2014。[34]  Gallilani S,Lasinger K, Schindler K.表面法线扩散的大规模并行多视图立体。在计算机视觉国际会议上;2015年。873-81页。[37]Nelwcombe RA, Izadi S, Hilliges O等。KinectFusion:实时密集表面映射和跟踪。2012年瑞士巴塞尔Ismar;Oct。[38]  Ylang Luwei, TanFeitong, Ao Li, Cui Zhaopeng, Furukawa Yasutaka, Tan Ping. 偏振密集单目SLAM。CVPR2018;2:3857-66。0进一步阅读0[35]  Hluynh CP, Robles-Kelly A, Hancock E.从单视图偏振图像中恢复形状和折射率。计算机视觉和模式识别2010: 1229-36。[36]  Hluynh CP,Robles-Kelly A, Hancock E.从单视图光谱偏振图像中恢复形状和折射率。计算机视觉杂志2013;101(1):64-94。0H. Jiale等人。阵列10（2021）100066