透明物体的SLAM方法：输血

6019输血：一种面向透明物体的SLAM方法朱一凡南开大学zhuyifan@mail.nankai.edu.cn邱家雄南开大学qiujiaxiong727@gmail.com博仁<$南开大学rb@nankai.edu.cn摘要最近，RGB-D传感器在同步定位和地图绘制（SLAM）领域变得非常流行。RGB-D SLAM方法严重依赖于输入深度图的准确性。然而，透明物体的折射和反射会导致RGB-D相机的深度输入错误，这使得传统的RGB-D SLAM算法在存在透明物体的情况下无法正确工作。在本文中，我们提出了一种新的SLAM方法称为输血，允许透明对象的存在和恢复的视频输入。我们的方法由两部分组成。透明物体切割迭代最近点（TC-ICP）首先用于恢复相机姿态，从输入中检测和移除透明物体以减少轨迹误差。然后利用透明物体重建技术（TO-Reconstruction）分别对透明物体和不透明物体进行重建。不透明物体用传统方法重建，透明物体用基于视觉壳的方法重建。为了评估我们的算法，我们构建了一个新的RGB-D SLAM数据库，其中包含25个视频序列。每个序列至少有一个透明对象。实验结果表明，我们的方法可以充分工作，在场景中包含透明的物体，而现有的方法不能处理它们。我们的方法显着提高了相机轨迹的准确性和环境重建的质量。1. 介绍如今，由于视觉SLAM在许多其他计算机视觉应用（诸如增强现实、自动驾驶汽车和机器人导航）上的各种用途，对视觉SLAM的兴趣已经显著增加。存在用于SLAM算法的丰富类型的传感器，诸如激光雷达、单目相机、RGB-D相机等[7，3，2]。其中，RGB-D相机被广泛认为是†博仁为通讯作者图1. 使用我们的方法和Elasticfusion[31]重建两个场景的结果。由于透明物体 第一列是没有透明物体的Elasticfusion的重建结果;在第二列中是具有透明对象的Elasticfusion的重建结果;在第三列中是我们的算法利用透明对象的重建结果。这是因为它可以以相对低的成本提供丰富的3D信息源。有很多优秀的SLAM方法将RGB-D作为感知模块[31，24，5，16]。它们可以得到比单目方法更精细的重建结果，并且可以消除尺度漂移问题。然而，它们都是在一个环境中开发的，那里有所有不透明的对象，如图所示。1，当环境包含透明物体时，它们不能正常工作。但是，玻璃材质的透明物体，如瓶子、窗户等，在我们的生活中随处可见，因此研究环境模型中包含透明物体的RGB-D SLAM算法是非常必要的。RGB-D相机通常配备红外线发射和接收器来测量深度，例如微软与不透明物体不同，透明材料不满足立体视觉算法的经典几何光路假设当在-6020图2. 透明物体对深度图的影响。(a)当红外线发射到透明物体时，在其表面上发生(b)和c）是场景的RGB图像和深度图（d）通过将深度图与RGB图像组合的2.5D视图红色圆圈中的区域是透明对象所在的位置。黄色圆圈是受透明影响的区域。绿色圆圈是不透明的物体红外线（IR）被发射到透明物体，在它们的表面上发生反射和折射。如图如图2所示，一些光线在透明物体的表面上反射或在透明物体后面的物体表面上反射。因此，当使用RGB-D相机来获取环境的深度时，由于这些对象而透明对象通常在深度输入中显示为噪声或失真的表面。同时，透明材料后面的对象将由于它们的遮挡而失真，使得RGB-D相机在被透明对象遮挡的区域中产生准确的深度估计具有挑战性。另一方面，RGB-D SLAM方法严重依赖于所获得的环境深度的准确性，其本质上是迭代最近点（ICP）算法。RGB-D SLAM系统通常在跟踪阶段利用ICP算法。ICP算法以深度图为输入，通过三维点配准估计摄像机姿态。不准确的深度将导致ICP算法获得错误的相机姿势。这导致在重建阶段中恢复透明对象的具体形状的另一挑战，因为RGB-D相机不能得到其正确的深度。而且，它们后面的对象的重建也会受到影响，因为透明对象也会扭曲它们的深度。如示于图2、错误的深度破坏了系统的重建结果。在本文中，我们提出了一种新的RGB-D SLAM方法，可以处理包括透明对象的场景。我们的方法可以同时减少跟踪误差和恢复整个场景首先，透明物体切割迭代最近点（TC-ICP）算法被用来估计相机的姿态。TC-ICP可以检测透明物体然后利用透明物体重建算法（TO-Reconstruction）恢复整个场景透明对象重建仅利用RGB图像、遮罩，和相机姿态信息，其可以容易地集成到传统的RGB-D方法中。由于我们的主要任务是使SLAM算法在包含透明对象的场景中充分工作，并且没有专用于此任务的现有数据库为了评估我们的算法，我们构建了一个新的数据库与25个视频序列。在每个序列中，至少有一个透明对象。综上所述，本文的主要贡献是：我们提出了一种新的RGB-D SLAM方法称为输血，它显示了良好的性能，在相机的姿态估计和场景重建的环境中包含透明物体。为了研究包含透明物体环境下的SLAM算法，我们构建了一个新的RGB-D数据库Trans-SLAM2. 相关作品2.1. 视觉SLAMSLAM算法是计算机视觉和机器人领域的一个热门研究课题。它们可以根据它们所携带的传感器大致分为两类。MonoSLAM [6]系统是第一个实时单目重建系统，其使用扩展卡尔曼滤波（EKF）作为后端。后来，PTAM [17]被提出作为并行跟踪和映射的新框架，其可以降低地图更新的计算复杂度。然后LSD-SLAM [8]引入了基于李代数的直接跟踪方法，提高了轨迹精度。然而，单目SLAM方法遭受尺度漂移问题并且难以产生密集重建结果。其他方法是RGB方法。另一个是RGB-D SLAM。Newcombe等人提出了KinectFusion [24]，其通过双边滤波器对原始输入深度图像进行预处理以减少噪声。然后DVO-SLAM [16]将密集视觉里程计与姿势SLAM相结合。ElasticFusion [31]将场景建模为一组··6021图3. 系统概述。我们的系统包括两个主要部分：TC-ICP和TO-重建。TC-ICP的目标是在不受透明物体影响的情况下估计摄像机的姿态，而TO-重建的目标是恢复包含透明物体的环境的正确形状。为适应环闭合而变形的表面与单目方法相比，它们可以重建环境的密集点云图。此外，这些方法可以从输入中获得比例因子，消除了比例漂移问题。但是，所有这些方法仅适用于包含不透明对象的情况。2.2. 透明物体检测自计算机视觉领域出现以来，透明物体检测一直是一个具有挑战性的问题。由于它们的折射和反射性质，它们的外观可以根据背景和照明条件而急剧变化。用于检测透明物体的经典方法主要依赖于特性，例如由于折射而引起的边缘的特殊反射或局部特征[25，22，21，11]。后来的方法依赖于像SSD [20]或Fast-RCNN [13]这样的深度学习模型来预测包围透明对象的边界框。Seib等人。[28]提出了一种利用深度图中的传感器故障的方法，用于使用卷积网络进行透明对象定位。Wang等人[30]提出使用马尔可夫随机场定位玻璃对象，以从RGB-D相机的多个模态联合预测这些方法只在小数据集上进行测试，在野外无法正常工作。2.3. 透明物体重建透明物体的重建是计算机视觉领域的一个具有Murase首先提出了折射表面的3D重建[23]，使用光流法和像素跟踪法来恢复水面模型。Masaki Yamazaki等人提出了一种基于使用立体相机的相移方法的透明对象重建方法[ 33 ]。通过分析摄像机拍摄的透明物体上条纹图案的畸变情况，最终得到重建结果。在此基础上，Qian et al. 亲提出了一种基于定向光测量的透明物体重建方法[26]。该方法通过使用位置-法线一致性作为约束来解决重构。然而，该算法不能生成完整的对象重建结果。N. Alt等等人[9]提出了一种经由深度相机重建透明对象的方法，然而，他们的方法首先需要使用排除透明对象的视频序列来估计背景模型S.阿尔布雷希特等al [1]使用噪声点云数据来恢复透明对象的形状，但他们假设在透明对象的下面或后面Zheng提出了一种基于深度学习的透明对象重建方法[19该方法首先利用视觉外壳进行初始化，然后设计自动编码器学习光线在透明物体中的传播路径，最后通过PointNet生成点云，该方法可以恢复透明物体的整体形状，但需要环境信息，耗时较长.3. 方法3.1. 输液器在本文中，我们提出了一种新的RGB-D SLAM ap-proach称为输血，可以充分工作在场景中包含透明对象。我们的输血系统可以显着提高性能的姿态建立和场景重建。我们采用最先进的ElasticFusion系统作为我们的基础系统，通过将颜色和亮度信息与ICP算法相结合，提供了出色的重建和相机姿态估计结果。当环境中的所有对象都不透明时，ElasticFusion- sion可以很好地工作。然而，如图1、如果有透明物体，整个系统会得到错误的结果。我们改进的框架包括两个主要部分：TC-ICP和TO-重建。TC-ICP（秒）3.2旨在消除运输的不利影响6022k=0{X X}不K−MMMDK--K{X X}--vk−exp（ξ）Tvk·n（一）通过三个级别的功能，一组增强功能{rfsk，k=1，2，3，4}。TC ICPpPTpK输入对象并获得准确的相机姿态，并在第二节中进行TO-重建。3.3旨在重建场景的正确几何结构。3.2. 透明切割迭代最近点为了消除不正确的透明物体深度信息对位姿计算的影响，本文设计了一种新的ICP算法TC-ICP来代替Elasticfusion中传统的ICP部分。首先，我们将回顾传统的ICP算法。ICP算法通过3D点云配准来估计相机姿态，这可以通过李代数转换为优化问题，如下所示：基于SINet [10]，其将RGB图像作为输入以找到周围环境中的覆盖对象。与SINet不同，我们的模型由两个并行分支组成：分割分支和边界分支。分割分支用于透明对象分割，而边界分支用于边界预测。ResNet 50 [14] 被 用作 主干 网 络以 提 取一 组特 征{Xk}4。网络农业如图所示4.第一章 对于分段分支，接受野（RF）组件用于扩展接受野。如图 4中，首先我们将低级特征0，1串联，然后融合特征被下采样两次。然后，RF组件-使用NENT来产生RF4特征。合并后Σ..ΣΣ2s其中v，k，t是深度图中第k个顶点的反投影，v，k和n，k是先前帧中表示的对应顶点和法线。T是从先前相机姿势到先前相机姿势的变换的当前估计。当前的一个，并且exp（ξ）是映射的矩阵指数李代数SE3的一个成员到相应的李群SE3的一个成员。高斯-牛顿非线性最小二乘法被用来优化这个功能。传统的RGB-D方法不能处理透明对象，因为它们将RGB-D相机给出的所有深度信息用于姿态估计，其包含由透明对象引起的失真深度。在我们的TC-ICP方法中，我们首先从输入图像中分割透明以获得粗略的分割结果r，这是通过应用预先训练的透明对象分割网络分割网络的结果通常有一些缺陷时，用于世界的情况下，由于多变的照明和透视。因此，掩模调整过程对于获得最终结果f（Sec.3.2.2）接下来，通过以下等式处理fDp=D ∩Mf（2）其中P是具有较少错误信息的经处理的深度图。E=Σ..vk−exp（n）Tvk·nk2（3）K最近的证据表明，低层次的特征在浅层中保留了更多的空间细节，因此在边界分支中，我们直接使用ResNet50生成的低层特征0，1。然后利用Atrous SpatialPyramid Pooling模块（ASPP）对{X4}中的接收场进行放大，并将三个特征进行综合将上述特征映射到边界解码器的输入特征映射{fb，k=1，2，3}。图4示出了我们在分割网络中使用的解码器的详细结构。对于分段分支，部分解码器组件（PDC）集成四个级别的特征rfsk，k=1，2，3，4来获得分段结果。对于边界分支，使用一系列上采样和下采样。对特征图fb，k=1，2，3执行卷积运算以得到边界预测。我们将训练损失函数定义如下：L=Ls+Lb⑷其中Ls和Lb分别表示分割文本和边界的损失。这里Ls和Lb是标准的交叉熵（CE）损失。3.2.2掩模调整在实际应用中，分割网络得到的分割结果如图5、算法将部分不透明物体识别为透明物体。此外，由于我们捕获的数据和用于训练的数据，网络-然后，我们利用传统ICP中相同的优化器来估计相机姿态。3.2.1 透明对象分割网络为了从周围环境中分割出透明物体，我们提出了一种新的透明物体分割网络工作经常产生尺寸过小的掩模。因此，我们提出了掩模调整来解决这些问题，其与姿态估计交错执行。掩模调整可以检测错误的分割结果，并通过比例因子s优化掩模的大小。其核心思想是当错误深度点的数目Eicp=60234CRF3CCRF上×2向上×4C2PDCRf`10123RF4b3ASPP边界解码器b2b1−−MM−- --特征提取向下×2解码器交叉熵损失L分部亏损L边界损失图4. 网络架构。 我们的模型是由两个平行的分支：分割分支和边界分支。虚线上方是我们网络的整体架构，虚线下方是我们在模型中使用的解码器结构图5. 分割错误。（a）算法可以将非透明对象的部分识别为透明对象。（b）从分割获得的掩模通常不能完全覆盖整个透明对象。我们的遮罩调整包含两个步骤。 在第一步骤中，我们依次检查分割结果中的每个掩码Mi是否包含不正确的分割结果。对于每个掩模，我们可以计算去除掩模对减少配准误差的贡献 该贡献可以被计算为E初始化E m。Em是不包括由ICP算法计算的Mi覆盖的面积Einit是所有深度输入的配准误差 如果贡献小于5e 04，则该掩模将被视为错误分割。然后将其从初始然后，计算分割结果M_d，并重复上述操作，直到获得优化的分割结果M_d在第二步中，我们通过比例因子s优化d如图所示。5、透明物体的蒙版尺寸往往比它的真实尺寸要小，所以让每个蒙版都在d乘以比例因子s以适当地增加其大小。在步骤n中，计算图6. 运动模糊对分割的影响。具有高度运动模糊的图像的分割结果更差。通过ICP算法的配准误差Es，而没有sMi覆盖的区域如果E init E s<1e05或E s E m<0，则停止算法并返回第（n1）个s，否则，将s增加0.005并继续此算法。3.3. 透明物体重建TO-Reconstruction是针对包含透明物体的环境模型的重建而提出的一种方法，分为传统的RGB-D方法和基于视觉外壳的方法。该算法利用Elasticfusion中的传统RGB-D方法重建不透明物体，利用基于视觉壳的方法重建透明物体。在第12节中描述的掩模调整部分3.2.2中，可以重建左侧不透明对象，因此接下来我们将在下文中集中于透明对象的重建。上×21上×2Bconv×上×2 Bconv3×33 3C上×2Bconv3×3C1上×2Bconv3×311PDCBCONv3×3Bconv3×3C级联BconvConv+BN+ReLU乘法下/上下/上采样布雷上×23Cb2上×2C布雷上×21边界解码器Conv3×3Conv3×3Conv3×3Conv3×3Bconv3×3Bconv3×3602421−4 1f=I*（5）VVVVV如在Sec中分析1、透明物体的深度很难得到受[19]的启发，我们提出了一种基于视觉外壳的方法来恢复透明对象的形状。3.3.1关键帧选择将视频序列作为算法输入不同于将单个图像作为算法输入，这将遭受运动模糊问题。从图6中，从视频序列中提取的一些帧包含运动模糊，这将直接导致不精确的分割和重建结果。由于视觉外壳算法不需要视频输入的所有帧进行重建，因此我们可以选择包含很少或不包含运动模糊的关键帧作为输入集。拉普拉斯值用于衡量RGB图像的模糊度。我们首先通过以下方式计算拉普拉斯响应：0 1 00 1 0然后将响应的标准差平方在实验中，我们将阈值设置为50，拉普拉斯值低于阈值的图像被认为是模糊的，不适合重建。然后我们将得到可用于重建阶段的输入集合S在跟踪阶段，我们使用所有的帧做帧到帧的跟踪。3.3.2透明物体重建提出了基于视觉壳的透明物体重建方法。传统的基于视觉外壳的算法要求相机在Z轴上固定或稍微移动，但是输入帧的姿态通常在相对大的运动范围内变化因此，我们将所获得的位姿的Z轴范围变换为-0.5m到0.5m，并且对相应的掩模执行仿射变换。从关键帧选择阶段，我们可以得到关键帧集合S。为了恢复透明物体的形状，我们首先计算S中每幅图像的视锥，然后将视锥的交点确定为初始体积。然后用[27]中提出的空间雕刻方法对模型进行优化。输入图像的视锥可以通过将图像中的掩模投影到3D空间来计算。我们使用等式6将掩模中的像素投影到3D空间。v（u）=TK−1u（6）其中u是掩模中的像素K和T分别是相机的固有矩阵和变换矩阵，并且图7. 视锥。连同相机观看参数，掩模定义包含实际对象的反向投影广义圆锥。这个圆锥体被称为视锥。图8. 数据建设。v（u）是项目结果。在给定K、T和掩模的情况下，可以计算出包含如图1所示的实际对象的被称为视锥的广义锥。7.第一次会议。S中的图像的这些圆锥的相交可以被视为用于下一体积优化阶段的初始体积。然后，将通过空间雕刻来优化初始体积，其采用光一致性测量来确定体素v_in是否应当被雕刻掉或保留。当所有相机可以看到的体素的颜色看起来相似时，体素被认为是照片一致的。我们采用[27]中的标准来确定v的照片一致性，其可以处理无纹理区域和镜面高光。如果V中存在非照片一致性的vn，则我们将设置V=V−vn并重复此操作直到所有的V都是照片一致的。则最终的V被设置为最优体积V*，这是最终结果。4. 实验4.1. 数据库建设有许多数据库[29，4，12]发布用于SLAM研究。它们提供RGB图像、深度图像和地面实况轨迹。但是，这些数据库中的所有场景都不包括透明对象。为了在包含透明对象的场景中评估SLAM算法，我们收集了一个新的称为Trans-SLAM的RGB-D数据库，该数据库包含25个视频序列，并且每个序列包含至少一个透明对象。RGB图像和深度图由Re-alSense D435 i RGB-D相机以30 Hz的帧速率和640 x480的传感器分辨率记录。每个视频序列大约有2000张图像，60秒。每个场景包括三个不透明对象和至少一个透明对象。6025↓现场↑ ↓ ↓ ↑×ATE R.RPE T.RPERGB-D SLAM V2弹 性 融合我们的RGB-D SLAM V2弹 性 融合我们的RGB-D SLAM V2弹性融合我们长颈花瓶0.4460.3340.1580.1350.1240.0180.2200.1920.024圆柱形玻璃0.3510.2880.1310.2450.1430.0840.2530.1320.025角形玻璃0.3490.3500.1280.1350.1450.0160.2230.2530.035玻璃花瓶0.4650.5440.1690.1740.2040.0210.3740.4040.043玻璃鱼缸1.9212.3750.9190.2730.1350.0280.8250.5440.423fr1/desk0.0230.0200.0210.0150.0100.0110.0120.0080.007fr2/xyz0.0080.0110.0100.0030.0050.0080.0020.0040.006是说0.5090.5600.2190.1410.1090.0270.2730.2200.080表1. SLAM结果图9. 重建结果。第一行和第二行是Elasticfusion和RGD-SLAM V2的结果，第三行是我们的方法的结果。方法IOU MAE BER访问DSC [15] 0.776 0.084 0.091 90.860BDRAR [34] 0.7590.0810.08789.860R3净[18] 0.7650.0720.10391.860SINET [10] 0.7650.0700.08492.140TransLab [32]0.8720.0700.08392.310我们的表2.分割结果他们面前数据库中的透明对象包括现实世界中五种典型的透明对象，如花瓶、玻璃杯和鱼缸。所有的场景都是在室内拍摄的，相机是用手移动的。用于SLAM的参考姿态在局部相对6DoF变换和全局定位两者中应具有高精度。因此，在我们的实验中的相机的地面实况轨迹和6DoF姿态是从质量运动捕获系统获得的，该质量运动捕获系统由可以记录高精度轨迹和6DoF姿态的8个高端运动捕获单元组成。图8显示了我们在数据构建阶段使用的对象和设备。我们在RGB-D在一些实施例中，运动捕获系统可以使用运动捕获系统的相机来定位相机我们的数据库的细节可以在补充资料中找到。4.2. 数据集和参数设置输血系统是在C++中构建和测试的。为了评估所提出的方法在包含透明对象的场景中的性能，我们在Trans-SLAM数据库上测试了我们的系统。透明对象分割网络是用pytorch实现的，并用Adam优化器训练。透明对象分割网络在trans10k数据库[32]上进行训练和测试。在训练阶段，批量大小设置为32，学习速率从1 e-4开始。我们使用2个V100 GPU进行训练和测试的分割网络。此外，整个系统运行在一个Nvidia3080GPU上，并将分割网络转换为libtoch模型，可以在C++环境下使用。4.3. 评价标准我们使用绝对轨迹误差（ATE）和旋转/平移相对位姿误差（R./ T.RPE）来评估6026↓现场ATE R.RPE T.RPE无掩模调整使用SINet我们的无掩模调整使用SINet我们的无掩模调整使用SINet我们长颈花瓶0.1680.1910.1580.0210.0330.0180.0480.0940.024圆柱形玻璃0.1470.2180.1310.0560.0950.0840.0480.0840.025角形玻璃0.1430.2750.1280.0640.0870.0160.0540.1070.035玻璃花瓶0.2090.3710.1690.0470.1090.0210.0920.1540.043玻璃鱼缸1.0571.2840.9190.6340.1040.0280.4880.6240.423是说0.3450.4680.3010.1640.0860.0340.1460.2130.110表3.消融研究时间（s）分割0.03913掩模调整0.01537TO-重建0.6715表4.主要部件的时间消耗摄像机轨迹性能此外，我们使用广泛用于语义分割的四 个 指 标 来 评 估 分 割 结 果 ， 它 们 是 交 集 超 过 并（IoU），像素精度指标（Acc），平均绝对误差（MAE）指标和平衡错误率（BER）。4.4. 结果和分析我们在表1中提供了所有序列上的跟踪任务的平均定量比较。从表1中，我们可以观察到，我们的方法已经显著改善了Trans-SLAM数据库中的跟踪任务的所有度量fr 1/desk和fr 1/xyz来自TUM RGB-D数据集，不包括透明对象。Elasticfusion，RGB-D SLAM V2和我们的方法在没有透明对象时都能很然而，当存在透明物体时，它们的性能急剧下降，而我们的方法仍然可以在包含透明物体的环境中工作从表2中，我们可以观察到，与其他方法相比，我们的分割方法在trans10k数据库中实现了最佳性能。图9示出了Trans-SLAM数据库中的重建结果。当环境中包含透明物体时，Elasticfusion和RGB-D SLAMV2无法正确恢复场景相应地，我们的方法可以恢复整个场景的正确形状。表4表示每个部分的时间消耗。整个系统以交互式帧率运行，除了透明物体重建之外，系统可以实时运行，并且透明物体重建可以通过保存的掩模和相机轨迹离线完成表1示出了透明对象对SLAM系统的影响程度与角形玻璃相比，圆柱形玻璃的误差相应更大，这是因为光线在入射到具有大曲率的透明物体时会产生更大的畸变。此外，委员会认为，鱼缸具有最显著的误差。由于鱼缸的体积较大，受鱼缸影响的面积也较大。4.5. 消融研究我们进行消融研究（表3）以调查我们的方法的组分对Trans-SLAM的单独贡献。对于“无掩模调整”，我们从算法中移除掩模调整部分。对于从表3中，我们可以观察到，通过从深度输入中切割透明对象，所有算法在姿态估计方面都有所改进。掩模调整部分也有助于减少误差，因为掩模调整部分可以调整掩模并得到最准确的结果。当使用SINet作为我们的分割网络时，该算法也有改进，但它比表3中列出的其他方法更差。这一结果证明了我们的网络的性能优于SINet。5. 结论我 们 提 出 了 一 种 新 的 RGB-D SLAM 系 统 称 为Transfusion，它可以正确地估计相机的轨迹，并在环境中有透明物体时重建场景。Transfusion使用TC-ICP来估计相机姿态，而不受透明对象的影响，通过将它们切掉。然后使用TO重建来恢复透明对象的形状。实验结果表明，该方法在姿态建立和重建方面都有较好的性能限制. 由于数据库中的场景较小，摄像机运动存在一定的闭环，因此重建结果存在一定的噪声。虽然我们的方法取得了良好的性能恢复透明物体的形状，重建结果的质量仍有待提高。此外，重建周期的速度对于实时重建仍有改进的空间致谢这项工作得到了开放项目计划的支持北京航空航天大学虚拟现实技术与系统国家重点实验室（编号VRLAB2021A04）。6027引用[1] Sven Albrecht和Stephen Marsland。看不见的东西：从点云数据简单重建透明物体。机器人：科学与系统，2013年。3[2] Josep Aulinas，Yvan Petillot，Joaquim Salvi，and XavierLlad o'. SLAM问题：一个调查。第9页。1[3] T. Bailey 和 H. 杜 兰 特 - 怀 特 同 时 定 位 和 地 图 绘 制（ SLAM ） ： 第 二 部 分 。 IEEE Robotics AutomationMagazine，13（3）：108-117，Sept. 2006. 1[4] Michael Burri、Janosch Nikolic、Pascal Gohl、ThomasSchneider 、 Joern Rehder 、 Sammy Omari 、 Markus WAchte-lik和Roland Siegwart。欧洲微型飞行器数据集。The International Journal of Robotics Research ， 35（10）：1157-1163，2016。6[5] Alejo Concha和Javier Civera Rgbdtam：一个具有成本效益和准确的rgb-d跟踪和映射系统。2017年IEEE/RSJ智能机器人和系统国际会议（IROS），第6756-6763页。IEEE，2017年。1[6] Andrew J. Davison，Ian D.作者声明：Thomas D. Molton和Olivier Stasse。MonoSLAM：实时单相机SLAM。IEEE Transactions on Pattern Analysis and MachineIntelligence，29（6）：1052-1067，2007年6月。2[7] H. Durrant-Whyte和T.贝利同时定位和映射：第一部分.IEEE Robotics Automation Maga-zine ， 13 （ 2 ） ： 99-110，June 2006. 1[8] Ja k obEngel，ThomasScho¨ ps，andDanielCremers. LSD-SLAM：大规模直接单眼SLAM。在David Fleet、TomasPajdla、Bernt Schiele和Tinne Tuytelaars编辑的ComputerVision-ECCVSpringer International Publishing ， Cham ，2014.系列标题：计算机科学讲义。2[9] N. Alt等al.用深度相机重建非结构化场景中的透明对象。载于ICIP，2013年。3[10] Deng-Ping Fan ，Ge-Peng Ji， Guolei Sun，Ming-MingCheng，Jianbing Shen，and Ling Shao.伪装物体探测。在IEEE/CVF计算机视觉和模式识别会议论文集，第2777-2787页，2020年。四、七[11] Mario Fritz ， Gary Bradski ， Sergey Karayev ， TrevorDarrell，and Michael Black.透明物体识别的附加潜在特征模 型。神经 信息处 理系统 进展 ，22 ：558-566，2009。3[12] Andreas Geiger ， Philip Lenz ， Christoph Stiller ， andRaquel Urtasun.视觉与机器人技术的结合：Kitti数据集。The InternationalJournal of Robotics Research ，32（11）：1231-1237，2013. 6[13] 罗斯·格希克。快速R-CNN。在Proceedings of the IEEEinternational conference on computer vision ， 第 1440-1448页，2015中。3[14] Kaiming He，Xiangyu Zhang，Shaoying Ren，and JianSun.用于图像识别的深度残差学习。在Proceedings ofthe IEEE conference on computer vision and patternrecognition，第770-778页，2016中。4[15] Xiaowei Hu ， Lei Zhu ，Chi-Wing Fu ，Jing Qin ， andPheng-Ann Heng.用于阴影检测的方向感知空间上下文特征。InProceedings of the IEEE Conference6028计算机视觉和模式识别，第7454- 7462页，2018年。7[16] ChristianKerl，JürgenSturm，andDanielCremers. rgb-d相机的密集视觉冲击。在2013年IEEE/RSJ智能机器人和系统国际会议上，第2100-2106页。IEEE，2013。一、二[17] Georg Klein和David Murray。用于小型AR工作空间的并行跟踪和映射2007年第6届IEEE和ACM混合和增强现实国际研讨会，第1-10页，日本奈良，11月。2007.美国电气与电子工程师协会。2[18] Qingpeng Li，Lichao Mou，Qizhi Xu，Yun Zhang，and Xiao Xiang Zhu.R3-net：一个深度网络，用于航空图 像和 视频中 的多 方向 车辆检 测arXiv预印 本arXiv：1808.05560，2018。7[19] ZhengqinLi ， Yu-YingYeh ， andManmohanChandraker.透过镜子：透明脑的神经三维重建。第10页。三、六[20] Wei Liu ， Dragomir Anguelov ， Dumitru Erhan ，Christian Szegedy，Scott Reed，Cheng-Yang Fu，andAlexander C Berg. Ssd：单发多盒探测器。在欧洲计算机视觉会议上，第21-37页。施普林格，2016年。3[21] 约翰·麦克亨利和吉恩·庞塞。一个用于寻找玻璃的测地线活动在2006年IEEE计算机协会计算机视觉和模式识别会议IEEE，2006年。3[22] 肯顿·麦克亨利吉恩·庞塞大卫·福赛斯。寻找玻璃在2005年IEEE计算机协会计算机视觉和模式识别会议（CVPRIEEE，2005年。3[23] H.村濑起伏透明物体的表面形状重建。在[1990]ProceedingsThirdInternationalConferenceonComputer Vision，第313-317页，Osaka，日本，1990中。IEEE计算出版社. 3[24] Richard A Newcombe ， Shahram Izadi ， OtmarHilliges，David Molyneaux，David Kim，Andrew JDavison，Push- meet Kohli，Jamie Shotton和AndrewFitzgibbon。Kinect-融合：实时密集表面映射和跟踪。第66页。一、二[25] Cody J Phillips，Konstantinos G Derpanis，and KostasDani- ilidis.半透明物体图形-背景分离的一种新的立体提示在2011年IEEE计算机视觉研讨会国际会议（ICCV Work-shops），第1100-1107页IEEE，2011年。3[26] 钱一鸣，龚明伦，杨怡红。具有位置法线一致性的透明物体三维重建。在2016年IEEE计算机视觉和模式识别会议（CVPR），第4369-美国电气与电子工程师协会。3[27] 杨瑞刚、波勒费斯和韦尔奇。处理无纹理区域和镜面高光-使用新的照片一致性测量的渐进空间雕刻方案在Proceedings Ninth IEEE International Conferenceon Computer Vision，第576-584页，第1卷，2003中。6[28] Viktor Seib，Andreas Barthen，Philipp Marohn，andDietrich Paulus.友或敌：利用传感器故障透明物体定位和分类。2016年国际机器人与机器视觉会议，卷602910253，第102530I页。国际光学与光子学会，2017年。3[29] J. Sturm，N. Engelhard，F. Endres，W. Burgard和D.克雷默斯。评估rgb-d sam系统的基准在proc 智能机器人系统国际会议（IROS），2012年10月。6[30] Tao Wang，Xuming He，and Nick Barnes.基于边界和深度联合推理的玻璃物体局部化在Proceedings of the 21stInternational Conference on Pattern Recognition （ ICPR2012），第3783-3786页中IEEE，2012。3[31] Thomas Whelan 、 Stefan Leutenegger 、 Renato SalasMoreno、BenGlocker和AndrewDavison。ElasticFusion：无姿势图的密集SLAM。机器人：科学与系统XI 机器人：科学与系统基金会，2015年7月。一、二[32] 谢恩泽、王文家、王文海、丁明宇、沈春华、罗平。在野外分割透明物体。arXiv预印本arXiv：2003.13948，2020。 7[33] Masaki Yamazaki，Sho Iwata，and Gang Xu.使用立体相机和相移法实现镜面和透明物体的密集三维重建。Yasushi Yagi，Sing Bing Kang，In So Kweon和HongbinZha，编辑， Computer Vision C ACCV 2007，第4844卷，第570- 578579. 施普林格柏林海德堡，柏林，海德堡，2007年。系列标题：计算机科学讲义。3[34] Lei Zhu ， Zijun Deng ， Xiaowei Hu ， Chi-Wing Fu ，Xuemiao Xu，Jing Qin，and Pheng-Ann Heng.用于阴影检测的具有循环注意力残差模块的双向特征金字塔网络。在欧洲计算机视觉会议（ECCV）的会议记录中，第121-136页，2018年。7