45310点云分割的Sim2real迁移学习：自主拆卸的工业应用案例0Chengzhi Wu 1 , Xuelei Bi 1 , Julius Pfrommer 2,3 , Alexander Cebulla 1 , SimonMangold 4 , and J¨urgen Beyerer 201 德国卡尔斯鲁厄理工学院人类学和机器人研究所 2德国弗劳恩霍夫光电子、系统技术和图像利用研究所 3 德国弗劳恩霍夫机器学习中心 4德国卡尔斯鲁厄理工学院wbk生产科学研究所0chengzhi.wu@kit.edu xuelei.bi@student.kit.edu julius.pfrommer@iosb.fraunhofer.de alexander.cebulla@kit.edusimon.mangold@kit.edu juergen.beyerer@iosb.fraunhofer.de0摘要0在机器人的计算机视觉任务中，从真实世界中生成和注释大量数据以用于基于深度学习的方法通常是困难甚至不可能的。解决这个问题的常见策略是应用模拟到现实(sim2real)的方法，借助模拟场景。虽然当前大多数机器人视觉sim2real的工作都集中在图像数据上，但我们提出了一个使用sim2real迁移学习处理点云数据的工业应用案例。我们提供了如何生成和处理合成点云数据以在将学习模型转移到真实世界数据时获得更好性能的见解。我们使用多种策略来解决不平衡学习的问题，并提出了一种新的基于补丁的注意力网络来解决这个问题。01. 引言0由于神经网络算法的快速发展，过去十年中越来越多的工业公司和工厂开始使用深度学习(DL)方法进行各种制造和再制造任务。一般来说，神经网络需要大量的数据进行训练，而对于实际的工业应用来说，分配和注释大量的数据是困难甚至不可能的，特别是涉及到机器人的情况下。在机器人领域，当机器人或机械手直接与真实环境进行交互和采样时，会出现低采样效率和安全问题。0解决这个问题的一种可能方法是应用模拟到现实(sim2real)的方法，该方法通过学习模拟数据并将学到的知识转移到真实世界的应用中。这是机器人学习机器人运动控制[2,33]和与机器人相关的视觉任务[42, 24,29]中常用的策略。在这些计算机视觉任务中，通常将模拟场景渲染成具有可能的辅助深度、热像或甚至流动图像的RGB图像。然后，基于深度学习的神经网络通过合成数据进行预训练，然后通过领域适应将其转移到真实世界的用例中。然而，目前大多数sim2real的工作都集中在图像数据上，很少有研究将sim2real方法应用于点云数据。在本文中，我们展示了如何在点云上执行sim2real迁移学习的完整流程，作为实际再制造应用的一部分。0我们考虑对常用于车辆制造的不同型号的执行器进行自动拆卸，例如座椅调节电机、车窗升降电机或后门电机。图1(a)展示了几个示例电机。该项目的最终目标是使用机器人对电机进行自动拆卸，不仅适用于已知的电机类型，还适用于具有未知规格的未来变种。在这种情况下，使用模拟场景中具有电机变种的合成数据集进行sim2real迁移学习[55]是一个很好的解决方案。通过在部件级别学习内部结构（例如齿轮容器、磁极罐、电气连接），可以实现对具有与已知执行器群体相似性的未知变种的过程。本文重点介绍了如何为机器人获取电机外壳上精确的螺丝位置和方向，作为拆卸过程中最重要的任务之一。45320(a)0(b)0(c)0图1：真实世界电机和生成的演示电机。(b)上排：未添加纹理；下排：添加并渲染纹理。(c)生成电机的爆炸图。右侧还显示了原始组装电机模型。0在我们的项目中，为sim2real迁移学习生成合成点云数据集具有以下优势：(i)可以轻松创建大型合成数据集，在模拟中给出了分割的真实标签，无需手动注释；(ii)可以生成具有未见过规格的电机变体，这将增强训练网络模型的泛化能力；(iii)点云数据包含更丰富的3D信息用于学习。使用点云数据避免了使用图像数据时可能出现的一些问题，例如，模拟图像的颜色与真实情况相差很大，因为很难获得完美的场景对象纹理或以完美的光照条件渲染场景。在使用点云数据集时，我们使用的是点坐标信息而不是颜色。本文的剩余部分结构如下：第2节总结了3D合成数据集创建、sim2real迁移学习和点云分割的最新技术。第3节展示了使用模拟场景创建合成数据集的通用流程。第4节描述了整个sim2real学习框架并给出了实验结果。第5节还探讨了几种不平衡学习的策略，包括一种新颖的基于补丁的注意力网络模块。最后，第6节总结了所提出的结果并讨论了未来的工作。02. 相关工作03D合成数据集。生成合成数据集作为机器学习训练数据已经被广泛讨论和使用作为一种学习方法。0各种计算机视觉应用。在过去的十年中，已经创建了许多3D模型的合成数据集，包括普林斯顿形状基准[38]、ModelNet [50]、ShapeNet [6]、PartNet[28]等。它们收集了大量不同类别的3D模型。Thingi10K[54]提供了一个大型的3D打印模型数据集，而最近的ABC数据集[19]收集了超过100万个CAD模型，包括许多机械组件。关于3D场景，[45]、[36]和[18]生成用于虚拟城市场景中对象分割和检测的合成数据集。[22]生成虚拟花园场景的图像，而[43]创建了一个用于姿态估计的数据集。还有一些生成合成点云的工作。SynthCity[12]使用Blender生成城市场景的点云，而[30]也使用Blender生成历史物体的点云。0Sim2real迁移学习。通过比现实世界更快、更可扩展和更低成本的数据收集，sim2real方法在机器学习中产生了巨大影响，并应用于机器人学和经典机器视觉任务等许多领域。[42]、[24]和[44]使用域随机化或域适应在合成RGB图像上训练神经网络模型，然后将其转移到现实世界，而Pachevish等人则使用合成深度图像。同样使用合成图像数据，Du等人提出了一种自动调整模拟器系统参数以匹配真实世界的方法。在一些工作中，借助深度强化学习[27]，机器人策略直接用作sim2real学习的训练数据[25,2]。更详细的调查见[53]。除了机器人任务，sim2real方法还广泛应用于其他领域，包括自动驾驶[51,34]、医学诊断[1]，甚至大气压力等离子喷射控制[48]。0点云分割。在PointNet[31]出现之前，基于深度学习的点云分割方法通常是基于多视图[20, 5, 3, 40]或基于体素[26, 17, 21]的。PointNet[31]是第一个直接在点上学习的深度学习方法。它使用逐点的多层感知机提取全局特征。其后续工作PointNet++[32]进一步考虑了局部信息。PointConv [49]和KPConv[41]提出了点卷积运算符，通过与邻居点进行卷积。类似的思想在[46,16]中提出。Simonovsky等人[39]将每个点视为图形顶点，并应用图形卷积。在DGCNN[47]中，EdgeConv块动态更新邻居信息。RandLA-Net[15]学习点的注意力分数作为软掩码，以替代原始池化层。GAPNet[7]和Liang等人[23]提出了与邻居点的图注意力操作以学习系数。最近，基于Transformer的方法开始流行起来。PCT[14]45330(a)0(b)0(c)0图2：合成数据集生成：(a)在Blender中构建的模拟场景；(b)使用BlenderProc生成的合成图像数据；(c)使用BlenSor生成的合成点云数据。0通过将原始PointNet[31]框架中的编码器层替换为自注意力层，[10]提出了SortNet来学习子点云，其中将注意力操作应用于它们的潜在特征和全局特征以执行局部-全局注意力。[52]则基于U-Net[35]。03. 合成数据集生成03.1. 合成网格模型生成0为了轻松生成各种规格的电机网格模型，我们基于我们拥有的电机类型创建了一个基于Blender的插件。作为开源软件，Blender[4]是一个被证明在建模形状和创建高度可定制插件方面表现良好的工具。我们的插件能够生成具有各种规格的电机网格模型，并以所需的文件格式保存它们。每个生成的电机的组件也可以单独保存。生成的模型包含以下组件：（i）极壶；（ii）电气连接；（iii）齿轮容器；（iv）盖子和（v）螺丝。这些是我们需要进行分割的五个主要类别。此外，还生成了以下内部组件：（vi）磁铁；（vii）电枢；（viii）下齿轮和（ix）上齿轮，如1(c)所示。然而，由于本文只关注拆螺丝过程的第一步，内部零件将不会被研究。为了生成具有不同规格的电机，我们提供了许多参数选项，用于控制电机的不同部分的类型、大小、位置和旋转，例如螺丝位置、齿轮大小或极壶长度。图1(b)展示了具有不同参数的十个生成的演示电机和一个演示电机的爆炸视图。如图所示，上述所有单独的组件都是分别建模的。0为了轻松生成各种规格的电机网格模型，我们基于我们拥有的电机类型创建了一个基于Blender的插件。作为开源软件，Blender[4]是一个被证明在建模形状和创建高度可定制插件方面表现良好的工具。我们的插件能够生成具有各种规格的电机网格模型，并以所需的文件格式保存它们。生成的电机的每个组件也可以单独保存。生成的模型包含以下组件：（i）极壶；（ii）电气连接；（iii）齿轮容器；（iv）盖子和（v）螺丝。这些是我们需要进行分割的五个主要类别。此外，还生成了以下内部组件：（vi）磁铁；（vii）电枢；（viii）下齿轮和（ix）上齿轮，如1(c)所示。然而，由于本文只关注拆螺丝过程的第一步，内部零件将不会被研究。为了生成具有不同规格的电机，我们提供了许多参数选项，用于控制电机的不同部分的类型、大小、位置和旋转，例如螺丝位置、齿轮大小或极壶长度。图1(b)展示了具有不同参数的十个生成的演示电机和一个演示电机的爆炸视图。如图所示，上述所有单独的组件都是分别建模的。03.2. 合成点云生成0生成的网格模型进一步用于创建合成图像和点云数据集。在Blender中构建了一个模拟场景。除了灯光和相机，Blender场景还包含真实世界夹持系统的模型和一个背景面板。相机在一定范围内随机旋转在场景顶部，但始终朝向电机。为了创建图像数据集，除了由Blender直接渲染的场景图像外，还可以使用BlenderProc[8]生成相应的深度图像、法线图像和分割地面实况图像，如图2(b)所示。或者在我们的情况下，使用BlenSor[13]模拟传感器创建点云数据集。图2(c)展示了以材料颜色或其分割地面实况着色的生成点云的示例。03.3. 数据预处理和增强0生成的点云相对较大。每个点云包含大约120万个点。然而，神经网络对于每个批次的点数有限制，常见的选择是1024/2048/4096个点。直接降采样会导致子点云中的尾部类别（例如，我们的螺丝）包含的点太少，因此无法正常工作。为了处理大型点云，常见的工业应用使用滑动体素对点云空间进行体素化，并逐个体素进行预测。在我们的情况下，我们希望快速而准确地进行点云分割，以防止机器人空闲时间过长。利用电机始终固定在夹持系统中的相对固定位置，并且只有电机周围的区域是我们感兴趣的，我们通过裁剪该位置周围的立方体区域并将其用作分割神经网络的输入来限制采样区域。所有其他剩余点直接标记为背景点。裁剪点立方体的大小仅约为原始点云的10%。通过这样做，将点立方体直接降采样为2048个点的子点云，使尾部类别仍然具有足够的点进行学习。图2(c)展示了裁剪点立方体的示例。除了预处理之外，数据增强也是提高模型泛化能力的重要部分。常见的增强方法包括对整个点云进行随机旋转和随机抖动。----0.87070.4884✓---0.90300.6272-✓0.92020.71200.91870.6830✓✓0.96750.88750.93750.784245340图3：我们工业应用中点云分割任务的模拟到真实迁移学习流程。0在我们的情况下，我们还引入了其他增强方法，包括：（i）在三个轴上随机调整长方体的大小；（ii）随机轻微平移和旋转电机；（iii）在夹紧系统上方添加随机大小和随机位置的悬停瓷砖作为场景遮罩，类似于图像上的遮罩增强。关于增强方法的详细消融研究见第4.5节。04.点云模拟到真实学习0如图3所示，除了合成点云数据集生成之外，整个流程还包括以下步骤：在合成数据上预训练网络模型，在真实世界数据上微调网络模型，以及螺钉信息的后处理。04.1.在合成场景上进行预训练0如第2节所述，有多种神经网络模型可用于点云分割任务。由于骨干网络本身不是我们的主要关注点，为了平衡性能和计算时间，我们使用DGCNN[47]作为分割任务的骨干网络。为了更好地处理相机视角的差异，我们在开始时引入了一个空间变换网络（STN）[31]。在前一步中，我们生成了1000个随机场景和1000个随机电机的数据集。我们将其中的80%用于训练，20%用于测试。在预训练过程中，训练进行了100个epoch，批量大小为16。我们使用初始学习率为0.01，并使用余弦衰减调度器，最终学习率为0.00001。优化方法为随机梯度下降（SGD）。我们使用广泛使用的交叉熵作为分割损失Lseg。此外，还使用了一个辅助的STN旋转损失Lrot，它描述了学习到的旋转矩阵与真值之间的L2差异（保存在数据增强期间）。该旋转损失的权重为α。总损失定义如下：0Ltotal = Lseg + αLrot (1)0表1：不同设置的模型的数值结果。第二列指示模型是否在合成数据集上进行了预训练。给出了预训练步骤（模拟）和微调步骤（真实）的结果。需要注意的是，模拟列中的结果是在合成测试数据集上的测试结果，而不是真实世界的测试数据集。以下同理。0STN 预训练 模拟 真实0mIoU螺钉交并比mIoU螺钉交并比0我们将α设置为0.01。在训练过程中，使用常见的分割度量指标，即平均交并比（mIoU），来衡量模型的性能。螺钉类别的交并比被用作额外的指标，因为螺钉是我们的主要关注点。在预训练和微调过程中，我们保存在螺钉交并比指标上表现最佳的模型。04.2.在真实场景上进行微调0在微调步骤中，我们从预训练步骤中加载网络参数，并进行迁移学习，即将网络模型从模拟场景调整到真实场景。我们使用Zivid相机拍摄了26个真实世界的点云，并对其进行手动标注。其中20个场景用于微调，6个场景用于测试。需要注意的是，这不是一个小数据集，因为每个场景的点云长方体包含大约20万个点，并且可以采样为大约100个包含2048个点的子点云。在微调过程中，训练进行了300个epoch，批量大小为16。我们使用初始学习率为0.001，并使用余弦衰减调度器，最终学习率为0.00001。优化器、损失函数和评估指标与预训练步骤中相同。45350输入 GT 无预训练 仅预训练 微调0图4：在真实世界测试数据上的分割结果可视化。无预训练表示网络直接在真实数据上进行训练。仅预训练表示网络仅在合成数据集上进行训练，并直接用于在真实世界数据上进行测试。微调表示网络既进行了预训练又进行了微调。0表2：增强方法的消螺丝研究。增强1：在立方体点云上进行随机旋转和随机抖动。增强2：在所有三个轴上进行随机立方体尺寸。增强3：对电机进行随机轻微平移和旋转。增强4：在夹紧系统上添加随机位置悬停瓷砖作为场景掩码。0数据集增强 模拟 真实0增强1 增强2 增强3 增强4 mIoU 螺丝IoU mIoU 螺丝IoU0数据集 1 � 0.9751 0.9141 0.9280 0.7518 数据集 2 � � 0.9801 0.9372 0.9368 0.7799 数据集 3 � �� 0.9742 0.9161 0.9370 0.7815 数据集 4 � � � � 0.9675 0.8875 0.9375 0.78420请注意，在模型训练后，用于测试过程的数据加载器与用于训练过程的数据加载器不同。在训练网络时，每个输入点立方体分割为尽可能多的2048个点的子点云，并丢弃剩余的点。在测试训练好的模型时，不丢弃剩余的点，而是将其与从原始输入重新采样的其他随机点组成一个2048个点的子点云。04.3. 定量和定性结果0表1给出了mIoU和螺丝IoU指标的数值结果。从中可以看出，使用STN模块显著提高了性能。另一方面，使用两步预训练和微调的模拟到真实的迁移学习也提升了性能。两者的结合效果更好。图4给出了一些定性结果。从中可以看出，直接在真实世界数据上进行训练在大多数点上表现良好，但在尾部类别上表现不佳。在模拟场景上进行预训练并在真实场景上进行微调可以取得更好的性能。0更好的分割结果，特别是对于尾部类别。04.4. 螺丝信息的后处理0在对网络模型进行微调后，给定一个真实世界的点云作为输入，网络输出分割结果。后处理步骤旨在通过已分割出的螺钉点来获取螺钉的位置和方向。为了获取螺钉位置，首先使用聚类算法对分割出的螺钉点进行分组。在我们的情况下，我们使用密度聚类算法（DBSCAN）[11,37]进行聚类。通过适当的参数设置，每个聚类都是一个螺钉。利用底部螺钉始终是侧螺钉的先验知识，在此过程中需要拆下的是上面的所有聚类。通过计算每个聚类的中心来获得螺钉位置。对于螺钉方向，直接处理螺钉点存在问题，因为螺钉表面不均匀。利用所有盖螺钉与平面盖板具有相同方向的先验知识，螺钉方向实际上与盖板法线相同。45360图5：螺丝信息的后处理。0(c) 图6：基于补丁的注意力网络。 (a) 完整的架构。 (b) 提出的补丁模块，具有额外定义的核损失，输出补丁特征。 (c)交叉注意力模块。0在我们的情况下，我们将DBSCAN应用于被分割为盖板类别的点，但其估计的法线不同于坐标。通过适当的参数设置，我们可以使聚类数目为1，这意味着所有法线向量与盖板平面相似的点都被聚类在一起。然后，通过对这些点的所有法线向量求平均值来获得盖板法线，或者螺丝方向。该过程在图5中说明。04.5. 数据增强的消融研究0我们在合成数据集上使用了多种增强方法。为了验证它们的有效性，我们进行了一项消融研究，通过生成几个不同的数据集，并使用相同的网络架构进行预训练和微调过程。数值结果如表2所示。在使用的四种增强方法中，前两种方法是在数据预处理期间进行的增强，后两种方法是在数据生成期间进行的增强。从表2可以看出，随机改变长方体的大小可以改善预训练和微调步骤上的分割性能。另一方面，后两种增强方法虽然降低了预训练性能，但在将模型转移到真实世界的点云数据时，它们都提高了微调性能。在本文中，我们在大多数其他实验中使用数据集4。05. 不平衡学习0不平衡学习，也称为分类任务中的长尾学习，是一个问题，即已知类别的示例分布是有偏倚或倾斜的。在我们的情况下，原始的合成点云主要由背景点（约96%）占据，而螺丝点非常少（约0.1%）。在应用了样本区域限制（即图2(c)中所示的长方体裁剪策略）后，在每个点长方体中，背景点占据约64%，而螺丝点占据约1%。不平衡问题已经得到缓解。同时，进一步改善性能仍然值得研究。本文提出了几种额外的策略来解决不平衡学习问题，从数据增强、加权损失和额外的网络块的角度提出。05.1. 针对尾部类别的聚焦采样0在分类任务中，解决长尾问题的一种常见策略是重新采样，例如手动添加尾部类别的样本。在我们的情况下，螺丝这个关键类别相对于其他组件来说只占整个点云的极小部分，因此可以通过密集化来增加螺丝点的数量。策略如下：对于属于螺丝类别的每个点 p 1 ，找到其最近的同类别点 p 2。(a) 如果 p 2 的最近同类别点也是 p 1，这意味着这两个点不在聚类边界上，因此会添加一个新点，其坐标为 p add = p 1 + 1✓---0.96750.88750.93750.7842✓✓--0.96270.86610.93760.7570✓-✓-0.96680.88620.94090.7717✓--✓0.96930.90630.94620.7968✓✓-✓0.96440.88500.93890.7622✓-✓✓0.97290.91650.94120.7794✓✓✓✓0.96800.89720.94010.768345370表3：针对不平衡学习提出的策略的消融研究。0样本区域限制 聚焦采样 权重损失 基于块的注意力 模拟 现实0mIoU 螺丝IoU mIoU 螺丝IoU0图7：对2048个点的子点云进行可视化学习的结果。0p 2 也是 p 1 ，这意味着这两个点都不在聚类边界上，因此会添加一个新点，其坐标为 padd = p 1 + 103 ( p 2 − p 1 ) 。 (b) 如果 p 2 的最近同类别点不是 p 1 ，这意味着 p 1很可能是异常点或者在聚类边界上，因此会添加一个新点，其坐标为 p add = p 1 + 203 ( p 2 − p 1 )。上述操作使训练数据集中尾部类别的点数翻倍。05.2. 权重类别损失0在计算交叉熵损失时，为每个类别添加额外的权重是另一种广泛使用的策略。大多数当前的深度学习软件包在其内置的损失函数中提供了这样一个可选参数。然而，如何计算和设置类别权重仍然是一个未解决的问题。在本文中，我们提出了以下方法。假设点云具有 M 个类别和总共 N个点。对于每个具有 n i ( i = 1 , 2 , . . . , M )个点的类别，其比例为 r i = n i /N。然后通过将原始比例差异减小一个立方根操作来计算缩放比例 sr i = t i / ( � M i =1 t i ) ，其中 t i = ( max ( r 1 , r2 , . . . , r M ) /r i ) 1 3 。在这种情况下，较小的 r i意味着相应的类别获得较大的 sr i 。然而，直接使用 sr i会导致损失幅度的大幅减小。为了消除可能引起的问题，计算一个额外的因子 f = � M i =1 r i × sr i并进行乘法。因此，最终的类别权重为 ω i = sr i × f对于每个类别。05.3. 基于补丁的注意力网络0此外，我们提出了一种新颖的基于补丁的注意力网络来处理不平衡学习问题。关键思想是通过使用额外的核损失，强制网络为所有类别学习相同数量的核心点。在我们的任务中，总共有6个类别，我们为每个类别选择了8个核心点。对于每个类别，通过对该类别的所有点执行K-means算法，获得了地面真值核心点。在分组了8个聚类之后，计算聚类中心，并将属于该类别的最近邻点定义为核心点。核损失是目标核心点和学习到的核心点之间的L2损失。因此，在这种情况下，总损失定义为：0L total = L seg + αL rot + βL ker (2)0其中β是损失权重。我们设置β=0.05。除了获取的核心点之外，将它们的32个邻居点分组成一个补丁，并使用卷积层获取补丁特征。补丁特征进一步用于将从DGCNN主干学习到的点特征（图6(a)中的下部分）进行交叉注意力。这是一种从补丁特征到点特征的交叉注意力，即使用补丁特征来表示点特征。输出被连接回下部分，用于最终的分割。详细的网络设计如图6所示。05.4. 实验结果0所有实验都是在应用了所有增强方法的相同数据集上进行的（数据集4）。45380在表2中列出了它们的数值结果。它们的数值结果在表3中呈现。从中可以观察到，聚焦采样策略总是导致更差的性能。一个可能的原因是这个操作只在训练过程中执行。对于测试样例，标签是分割目标，并且不提供，因此聚焦采样操作不适用。这导致训练集和测试集之间的数据分布差异，从而导致性能不佳。损失加权策略改善了合成数据的性能，但稍微降低了真实世界数据的性能。这表明该策略有助于更好地进行预训练，但在转移学习上表现不佳。另一方面，我们提出的基于补丁的注意力模块改善了两个步骤的性能。为了更好地理解我们提出的模块，我们在图7中可视化了一些子点云的学习补丁。它显示了我们的方法强制网络学习边界周围或其他信息丰富的地方的补丁。06. 结论0在本文中，我们采用了用于点云数据的模拟到真实的转移学习方法。按照流程，在模拟场景中生成了合成数据集。网络模型首先在合成数据上进行预训练，然后在真实世界数据上进行微调。定量和定性结果都表明，这种方法能够取得更好的性能。为了解决不平衡学习问题，我们尝试了几种策略。提出的基于补丁的注意力模块通过显著改善性能来显示其有效性。对于未来的研究方向，我们希望尝试更多的主干网络，并进一步研究基于注意力的点云数据学习方法。0致谢0AgiProbot项目由Carl Zeiss基金会资助。0参考文献0[1] Juan Felipe Perez-Juste Abascal, Nicolas Ducros, ValeriyaPronina, Simon Rit, Pierre-Antoine Rodesch, ThomasBroussaud, Suzanne Bussod, Philippe Douek, AndreasHauptmann, Simon Robert Arridge, and Franc¸oise Peyrin.使用深度学习的光谱CT材料分解：一种模拟到真实的转移方法。IEEE Access，9：25632-25647，2021年。[2] KarolArndt，Murtaza Hazara，Ali Ghadirzadeh和VilleKyrki。用于模拟到真实领域适应的元强化学习。2020年IEEE国际机器人与自动化会议（ICRA），页2725-2731，2020年。[3]Nicolas Audebert，Bertrand Le Saux和S´ebastienLef`evre。使用多波段地球观测数据的语义分割。0timodal and multi-scale deep networks. In Asian conferenceon computer vision , pages 180–196. Springer, 2016. [4]Christian Bonatti, Sylvain Crovisier, Lorenzo Diaz, and AmieWilkinson. What is... a blender? arXiv preprintarXiv:1608.02848 , 2016. [5] Alexandre Boulch, Bertrand LeSaux, and Nicolas Audebert. Unstructured point cloudsemantic labeling using deep segmentation networks.3DOR@ Eurographics , 3, 2017. [6] Angel X. Chang, T.Funkhouser, L. Guibas, P. Hanra- han, Qixing Huang, Zimo Li,S. Savarese, M. Savva, Shuran Song, Hao Su, J. Xiao, L. Yi, andF. Yu. Shapenet: An information-rich 3d model repository.ArXiv , abs/1512.03012, 2015. [7] Can Chen, Luca ZanottiFragonara, and Antonios Tsour- dos. Gapnet: Graph attentionbased point neural network for exploiting local feature ofpoint cloud. Neurocomputing , 438:122–132, 2021. [8]Maximilian Denninger, Martin Sundermeyer, DominikWinkelbauer, Youssef Zidan, Dmitry Olefir, Mohamad El-badrawy, Ahsan Lodhi, and Harinandan Katam. Blender- proc.arXiv preprint arXiv:1911.01911 , 2019. [9] Yuqing Du, OliviaWatkins, Trevor Darrell, P. Abbeel, and Deepak Pathak.Auto-tuned sim-to-real transfer. 2021 IEEE InternationalConference on Robotics and Automation (ICRA) , pages1290–1296, 2021. [10] Nico Engel, Vasileios Belagiannis, andKlaus C. J. Diet- mayer. Point transformer. IEEE Access ,9:134826–134840, 2021. [11] Martin Ester, Hans-Peter Kriegel,J¨org Sander, and Xiaowei Xu. A density-based algorithm fordiscovering clusters in large spatial databases with noise. InKDD , 1996. [12] David Griffiths and Jan Boehm. Synthcity: Alarge scale synthetic point cloud. ArXiv , abs/1907.04758,2019. [13] Michael Gschwandtner, R. Kwitt, A. Uhl, and W.Pree. Blensor: Blender sensor simulation toolbox. In ISVC ,2011. [14] Meng-Hao Guo, Junxiong Cai, Zheng-Ning Liu,Tai-Jiang Mu, Ralph Robert Martin, and Shimin Hu. Pct: Pointcloud transformer. Comput. Vis. Media , 7:187–199, 2021. [15]Qingyong Hu, Bo Yang, Linhai Xie, Stefano Rosa, Yu- lan Guo,Zhihua Wang, Agathoniki Trigoni, and Andrew Markham.Randla-net: Efficient semantic segmentation of large-scalepoint clouds. 2020 IEEE/CVF Conference on Computer Visionand Pattern Recognition (CVPR) , pages 11105–11114, 2020.[16] Binh-Son Hua, Minh-Khoi Tran, and Sai-Kit Yeung. Point-wise convolutional neural networks. In Proceedings of theIEEE Conference on Computer Vision and Pattern Recogni-tion , pages 984–993, 2018. [17] Mingyang Jiang, Yiran Wu,Tianqi Zhao, Zelin Zhao, and Cewu Lu. Pointsift: A sift-likenetwork module for 3d point cloud semantic segmentation.arXiv preprint arXiv:1807.00652 , 2018. [18] Samin Khan, BuuPhan, Rick Salay, and Krzysztof Czar- necki. Procsy: Proceduralsynthetic dataset generation to- wards influence factorstudies of semantic segmentation net- works. In CVPRW ,pages 88–96, 2019.45390[19] Sebastian Koch, Albert Matveev, Zhongshi Jiang, FrancisWilliams, A. Artemov, Evgeny Burnaev, M. Alexa, D. Zorin, andDaniele Panozzo. Abc: A big cad model dataset for geometricdeep learning. CVPR , pages 9593–9603, 2019. [20] FelixJ¨aremo Lawin, Martin Danelljan, Patrik Tosteberg, GoutamBhat, Fahad Shahbaz Khan, and Michael Felsberg. Deepprojective 3d semantic segmentation. In InternationalConference on Computer Analysis of Images and Patterns ,pages 95–107. Springer, 2017. [21] Truc Le and Ye Duan.Pointgrid: A deep network for 3d shape understanding. InProceedings of the IEEE conference on computer vision andpattern recognition , pages 9204– 9214, 2018. [22] LeHoang-An, Thomas Mensink, Partha Das, Sezer Karaoglu, andTheo Gevers. Eden: Multimodal synthetic dataset of enclosedgarden scenes. 2021 IEEE Winter Conference on Applicationsof Computer Vision (WACV) , pages 1578–1588, 2021. [23]Zhidong Liang, Ming Yang, Hao Li, and Chunxiang Wang. 3dinstance embedding learning with a structure-aware lossfunction for point cloud segmentation. IEEE Robotics andAutomation Letters , 5:4915–4922, 2020. [24] Nai Qing Liu,Yinghao Cai, Tao Lu, Rui Wang, and Shuo Wang.Real–sim–real transfer for real-world robot control policylearning with deep reinforcement learning. Applied Sciences ,2020. [25] Mohammadhossein Malmir, Josip Josifovski, NoahKlar- mann, and Alois Knoll. Robust sim2real transfer bylearning inverse dynamics of simulated systems. 2020. [26]Daniel Maturana and Sebastian Scher
我的内容管理
展开
