大规模3D语义分割的多视图聚合方法

the 2D features learned from real [19,29,32] or virtual im-ages [15,36]Combining point clouds and images with arbitrary poses(i.e. in the wild) as represented in Figure 1, involves recover-ing occlusions and computing a point-pixel mapping, whichis typically done using accurate depth maps from specializedsensors [12,56] or a potentially costly meshing step [8]. Fur-thermore, when a point is seen in different images simultane-ously, the 2D features must be merged in a meaningful way.55750在野外学习用于大规模3D语义分割的多视图聚合0damien.robert@ign.fr Bruno Vallet 20bruno.vallet@ign.fr Loic Landrieu 20loic.landrieu@ign.fr01 CSAI, ENGIE Lab CRIGEN, Stains, France 2 Univ Gustave Eiffel, ENSG,IGN, LASTIG, F-77454 Marne-la-Vallee, France0摘要0最近的3D语义分割研究提出通过使用专用网络处理每种模态，并将学习的2D特征投影到3D点上来利用图像和点云之间的协同作用。合并大规模点云和图像引发了一些挑战，例如构建点和像素之间的映射，以及在多个视图之间聚合特征。当前的方法需要网格重建或专用传感器来恢复遮挡，并使用启发式方法选择和聚合可用的图像。相比之下，我们提出了一种端到端可训练的多视图聚合模型，利用3D点的视图条件来合并来自任意位置的图像的特征。我们的方法可以结合标准的2D和3D网络，并且在不需要着色、网格化或真实深度图的情况下，优于在着色的点云上操作的3D模型和混合2D/3D网络。我们在S3DIS（74.7 mIoU 6-Fold）和KITTI-360（58.3mIoU）上取得了新的技术水平。我们的完整流程可在https://github.com/drprojects/DeepViewAgg上获得，并且只需要原始的3D扫描和一组图像和姿势。01. 引言0专门用于3D数据的神经网络架构的快速发展已经在大规模3D场景的自动化分析方面取得了显著的改进[24]。所有表现最好的方法都是在着色的点云上操作的，这要求使用专用传感器[62]或运行通常是闭源[1-3]和传感器相关[33]的着色步骤。然而，虽然着色的点云携带一些辐射信息，但与专用的2D架构相结合的图像更适合学习纹理和上下文线索。一条有希望的工作线路是通过将从真实[19, 29,32]或虚拟图像[15,36]中学习到的2D特征投影到3D点上来利用3D点云和图像之间的互补性，如图1所示。将具有任意位置（即在野外）的点云和图像结合起来，涉及到恢复遮挡并计算点像素映射，这通常使用来自专用传感器的准确深度图[12,56]或潜在昂贵的网格化步骤[8]来完成。此外，当一个点同时在不同的图像中可见时，必须以有意义的方式合并2D特征。0图1.结合2D和3D信息。我们提出将点云和一组共注册的图像之间的互补信息进行合并。使用简单的可见性模型，我们可以将2D特征投影到3D点上，并使用视图条件从最相关的图像中选择特征。我们用符号表示图像在其位置上，并根据它们所在的图像对3D点进行着色。55760在网格纹理文献中，多视图聚合通常通过根据其视图条件选择每个三角形的图像来解决，例如距离、视角或遮挡[4, 39,59]。用于大规模点云分析的混合2D/3D方法通常依赖于启发式方法，选择每个点的固定数量的图像，并均匀汇集它们的特征，而不考虑视图条件。多视图聚合也已广泛研究用于形状识别[21, 54,61]，尽管在受控和合成环境中，不完全适用于大场景的分析。在本文中，我们提出了一种学习从多个图像中合并特征的专用注意力方案。对于每个3D点，根据点的视图条件聚合相关图像的信息。由于我们基于GPU的实现，我们可以高效地计算点像素映射，而无需网格或真实深度图，并且不会损失精度。我们的模型可以处理任意位置（具有相机姿态信息）的每个点拍摄的任意数量的图像，这对应于标准的工业操作设置[26, 48,58]。仅使用标准的2D和3D骨干网络，我们在S3DIS和KITTI-360数据集上取得了最新的技术水平。我们的方法改进了标准和混合2D/3D方法，而无需点云着色、网格重建或深度传感器。在本文中，我们提出了一种基于图像中3D点的视图条件对混合2D/3D数据进行多视图聚合的新颖模块化方法。我们的方法结合了以下优势：0• 我们在S3DIS 6-fold（74.7mIoU）和KITTI-360测试集（58.3mIoU）上取得了新的最佳结果，而无需使用点的着色。0•我们的点-像素映射直接在3D点云和图像上操作，无需深度图、网格化、着色或虚拟视图生成。0• 我们高效的基于GPU的实现可以处理任意数量的2D视图和大规模的3D点云。02. 相关工作0基于注意力的模态融合。使用注意力机制学习多模态表示的方法引起了广泛关注，特别是用于结合文本和视觉信息[11,23, 30]以及视频[27,42]。与我们的设置更接近的是Lu等人的工作[43]，他们使用注意力机制选择图像中最相关的部分进行视觉问答。Li等人的工作[40]定义了一个基于注意力的双分支模态融合网络，将2D语义和3D占据融合用于场景补全。这些工作证实了使用注意力学习多模态表示的相关性。0使用深度学习进行2D/3D场景分析。在过去几年中，专门设计用于处理3D模态的深度网络已经达到了令人印象深刻的性能和成熟度，参见Guo等人的综述[24]。最近的工作[19, 29,32]提出使用专门的3D网络处理点云，而2D卷积网络提取辐射特征，这些特征被投影到点云上。这些方法需要计算每个像素的真实深度来计算点-像素映射，这使得它们在实际环境中的应用性较低。SnapNet[8]以及最近的工作[15,36]生成由2D网络处理的虚拟视图，其预测结果然后投影回点云。这些方法表现良好，但需要昂贵的网格重建预处理步骤来生成有意义的图像。一些方法[25,35]融合RGB和深度图像，这需要专用传感器，并且无法处理具有遮挡的多视图。现有的混合2D/3D方法依赖于每个点选择的固定图像数量，这些图像数量是通过启发式方法选择的，例如最大化未见点[19, 32,36]。然后，不同的视图使用池化操作（最大值[19,54]或求和池化[32]）或基于2D特征内容[29]进行合并。据我们所知，尚未提出任何方法来利用视角条件进行大场景的多视图聚合的语义分割。0视图选择。选择和合并最佳图像用于3D场景的表面重建和纹理贴图的问题已经得到了广泛研究。通常根据与表面法线的视角、接近度和分辨率[4,10]、几何和可见性先验[51]、以及清晰度[22]和相对遮挡的一致性[59]来选择图像。虽然大多数这些标准不直接适用于点云，但它们说明了相机姿态信息对于选择相关图像的重要性。与我们的设置相关的是“下一个最佳视图”选择问题[52]，它的目标是规划相机位置，以便获得关于感兴趣对象的最多信息[17]。这个标准根据设置的不同而有不同的含义，例如未见体素的数量[57]、多样性[45]、信息熵的不确定度度量[31]，或者可以直接端到端地学习[44,63]。我们的设置不同之处在于图像已经被获取，任务是选择哪个图像对于每个点包含最相关的信息。我们从端到端的方法中汲取灵感，这些方法证明了神经网络可以根据姿态信息评估图像中包含的信息质量。视图选择问题也在形状识别的文献中得到了解决[54]。不同图像的特征可以基于它们的相似性[60]、可区分性[21]，或使用补丁匹配方案[64,66]或图神经网络[61]进行合并。一些方法使用3D特征55770[65]或相机位置[34]来选择最佳视图，但是还没有一种技术明确使用视图配置。此外，这些方法是在人工形状的合成视图上操作的，与我们分析任意姿态下的大场景图像的目标不同。与我们的问题更接近的是，Armeni等人[5]使用手工启发式方法聚合视图。Bozic等人[9]使用距离感知的注意力视图聚合进行3D重建，但忽略了其他视图条件。03. 方法0设P为一组3D点，I为一组配准的图像，都来自同一场景。我们通过空间中的位置来描述点，通过像素的RGB值以及内外参数来描述图像。我们的目标是利用点和图像像素之间的对应关系，使用从两种模态学习到的特征来进行3D点云语义分割。我们的方法首先计算3D点和像素之间的遮挡感知映射，然后通过注意力机制利用视图条件来聚合每个3D点的相关图像特征。这种方法可以轻松地集成到标准的3D网络结构中，使我们能够以端到端的方式同时从点云和图像中学习。03.1. 点-图像映射0我们首先高效地计算图像I和点集P之间的映射。我们称点-图像对(p,i)∈P×I为兼容的，如果p在i中可见，即p在i的视锥体内且没有被遮挡。对于这样的一对，我们定义重投影pix(p,i)为p在i中可见的像素。注意，由于点是零维对象（零体积），pix(p,i)是一个单独的像素。我们用v(p)表示p的视图，即p在其中可见的图像的集合。0点-像素映射构建。我们在一个通用的“野外”多视图设置中进行操作，其中相机和3D传感器的光轴不一定对齐。因此，计算点-图像映射需要一个可见性模型来检测遮挡。这可以通过从点云计算完整的网格重建，或者使用由相机对齐的深度传感器或其他方法获得的深度图来完成。相比之下，我们提出了一种直接从图像和点云计算映射的高效实现简单的Z缓冲方法[53]。对于每个图像i∈I，我们将i视锥体内预定距离下的所有3D点替换为一个面向i的方形平面截面，其大小取决于它们到传感器的距离和点云的分辨率。我们可以使用i的相机参数计算每个方形平面在i上的投影掩码，即splats。我们迭代地将所有splats累积到深度图中0(a) 图像。0(b) 点云。0(c) Z缓冲区。0(d) 真实深度。0图2.映射计算。我们使用配准的点云对所有图像(a)进行像素深度估计。我们使用高效的GPU加速实现计算Z缓冲区(c)，得到与相机对齐的深度传感器给出的真实距离相当的深度图。我们使用估计的深度图计算点-图像映射。在显示器上更清晰可见。0通过跟踪每个像素的最近点-相机距离，同时在索引图中存储相应的点索引和其他相关点属性，我们将累积所有splats后，可见点是那些在索引图中出现的点。对于每个可见点p，我们将pix(p,i)设置为p本身在i中投影的像素。我们的GPU加速实现可以在65秒内处理整个S3DIS数据集[6]（采样间隔为5厘米，包含1200万个点和1413个高分辨率全景图像）。请参见图2进行说明，并参考附录了解有关映射计算、替代可见性模型以及我们用于大规模映射的内存高效实现的更多细节。0视图条件。对于每个兼容的点-图像对 ( p, i ) ，我们将一个D 维向量 o ( p,i ) 关联到描述点 p 在图像 i中被看到的条件。在实践中，我们将该向量定义为一组 D =8 个手工特征，用于描述 ( p, i ) 的观察条件：(i)规范化深度，(ii-iv)局部几何描述符（线性、平面、散射），(v)相对于估计法线的视角，(vi) 像素的行，(vii)局部密度，(viii)遮挡率。有关这些值的计算和影响的更多细节，请参见附录。03.2. 学习多视图聚合0我们用 { f 2 D i } i ∈ I 表示与图像 I 关联的宽度为 C的一组2D特征图，通常使用卷积神经网络（CNN）获得。我们的目标是通过利用点和图像之间的对应关系将这些特征转移到3D点上。然而，并非所有的视图图像对于给定的3D点都包含同等相关的信息。我们提出了一种基于注意力的方法来加权和����.(5)55780为每个点 p 从视图图像中聚合特征。0视图特征。在第3.1节中描述的映射 pix( p, i )允许我们将图像特征与每个兼容的点-图像对 ( p, i )关联起来：0˜ f 2 D ( p,i ) = ϕ 0 � f 2 D i [pix( p, i )] � , (1)0使用 ϕ 0 ： R C → R C的多层感知器（MLP）。学习到的图像特征可以包含不同性质的信息：上下文、纹理、特定类别等。为了反映这一考虑，我们将˜ f 2 D ( p,i ) 的通道分成 K个连续的块，每个块包含 � C/K � 个通道：0˜ f 2 D ( p,i ) = � ˜ f 2 D ( p,i ) , 1 , ∙ ∙ ∙ , ˜ f 2 D( p,i ) ,K � . (2)0使用 [ ∙ ] 通道级串联操作符。每个通道块表示˜ f 2 D中包含的图像信息子集。0视图质量。点在图像中被看到的条件可能对某些类型的信息更或者更不有利，参见图3。例如，从远处观察点的图像可能提供重要的上下文线索，而从近处和直角度观察的图像可能提供详细的纹理信息。相反，从倾斜角度或高度变形下观察点的图像可能不包含相关信息，需要被丢弃。为了建模这些复杂的依赖关系，我们提出了对于每个兼容的点-图像对 (p, i ) 预测一组 K 个质量分数 x k ( p,i ) ∈ R的方法，这些分数由第3.1节中定义的观察条件 o ( p,i )决定。质量 x k ( p,i ) 表示特征块 k 在图像 i 中对点 p的相关性。对于每个点 p ，我们考虑其可见的图像集合 v (p ) 。我们提出使用深度集合架构 [ 67 ] 将观察条件集合 { o( p,i ) } i ∈ v ( p ) 映射到大小为 K 的向量：0x ( p,i ) = ϕ 3 �� z ( p,i ) , ϕ 2 � max { z ( p,i ) } i ∈ v ( p) ��� , (4)0使用 ϕ 1 ： R D → R M ， ϕ 2 ： R M → R M 和 ϕ 3 ： R2 M → R K 三个多层感知器（MLP），M是集合嵌入的大小，max 是一组向量的逐通道最大操作符。0在几张不同的图像中以不同的视角看到。这里，绿色图像包含上下文信息，而粉色图像捕捉到局部纹理。橙色图像以倾斜角度看到该点，可能不包含额外的相关信息。0视图注意力分数。现在我们可以计算与点 p 相关的 K个注意力分数 a k ( p,i ) ，其值在 [0, 1]范围内，对应于图像 i 的第 k 个特征块对点 p的相对相关性。通过将质量分数 x k ( p,i ) 在 v ( p )中的图像上应用softmax函数来获得这些注意力。为了考虑每个点看到的图像数量可能不同，我们根据看到点 p的图像数量来缩放softmax：0a k ( p,i ) = softmax0� 1 �0| v ( p )|0� x k ( p,i) �0i ∈ v ( p)0�0视图门控。在这种情况下，使用softmax函数的一个限制是注意力分数 ˜ a k ( p,i ) 总是在 v ( p )上求和为1，无论图像集合的整体质量如何。由于遮挡或有限的视角，一些3D点可能不会被任何相关图像看到，对于给定的特征块 k（例如，没有近距离或远距离图像）。在这种情况下，舍弃所有图像中的信息块并纯粹依赖几何可能是有益的。这允许2D网络在不考虑可能将受损信息传播到具有可疑视图条件的点的情况下学习图像特征。为此，我们引入一个门控参数 gk p ，其作用是阻止特征块 k 的传递，如果图像集合 v ( p )的整体质量过低：0g k p = ReLU � tanh � α k  max i ∈ v ( p )0� x k ( p,i ) � +  β k0�� , (6)0其中 α, β ∈ R K 是可训练参数，ReLU是修正线性激活函数[46]。如果对于给定的点 p 和块 k，所有质量分数 x k ( p,i ) 都为负值，则门控参数 g k p将为零，可能会丢弃由于次优视图条件而导致的有害信息。0注意力图像特征池化。对于在一个或多个图像中看到的每个点 p ，我们合并特征图 ˜ f 2D( p,i )gkp.(7)55790注意力特征池化0早期0中间0晚期0融合0视图条件0图4. 双模态2D/3D架构。使用我们的多视图聚合模块，我们将2D卷积编码器 E 2D 与3D点云相结合。0以及由编码器 E 3D 、解码器 D 3D 和分类器 C 3D组成的3D网络。我们根据每个兼容图像中的视图条件将相关的2D特征与每个3D点关联起来。我们提出了三种不同的2D/3D融合策略：早期融合（在实验中选择的策略）、中间融合和晚期融合。0对于每个视图 ( p, i ) ，我们计算加权注意力分数 a k ( p,i )和门控参数 g k p 加权的视图特征 ˜ f 2D ( p,i ) ,k的总和。与点 p 相关的组合图像特征 P ( f  2D , p )定义为所有块的结果张量的通道连接：0P ( f 2D , p )=0�0i ∈ v ( p ) a k ( p,i ) ˜ f2D ( p,i ) ,k0�0�0K0k = 103.3. 双模态点-图像网络。0我们可以使用上述多视图特征聚合方法，通过将在3D点云和2DCNN上运行的网络相结合，对点云和共注册图像进行语义分割。0融合策略。我们使用一个2D全卷积网络计算逐像素的图像特征图 f 2D。我们还考虑一个3D深度网络，遵循经典的U-Net架构[50]，由三个部分组成：（i）一个编码器 E 3D将点云映射为一组不同分辨率的3D特征图（最内部的特征图和跳跃连接）；（ii）一个解码器 D 3D 将这些特征图转换为最高分辨率的3D特征图；（iii）一个分类器 C 3D为每个点关联一个大小为 N 的类别得分向量，其中 N是目标类别的数量。如图4所示，我们研究了三种经典的融合方案[25, 32,35]，将图像特征连接到3D网络的不同点上：（i）直接与 E 3D之前的原始3D特征连接（早期融合）；（ii）在跳跃连接中（中间融合）；（iii）在解码器D 3D 之间0图5.动态批处理。通过在采样的点云周围裁剪图像，我们可以提高每个训练批次中包含的信息量。我们用不同的裁剪尺寸表示了一组10个图像，这些图像适应了相当于4个全尺寸图像的像素预算。0和分类器C3D（后期融合：）。有关这些融合方案的详细信息和方程式，请参见附录。0动态大小的图像批处理中，点p可见的图像数v(p)可能会有很大的变化。此外，在处理大规模场景时，通常只处理3D场景的子集Psample（例如球形采样）。因此，图像i中可见Psample中的点的部分有时可能只是整个图像的一小部分。这通常发生在等距投影图像或者Psample远离i的情况下。我们使用图5中所示的自适应批处理方案来稳定批次之间的内存使用，并避免在过大的图像上进行不必要的计算。第一步是使用一组固定大小的最小窗口（例如64×64，128×64等）裁剪每个图像，以包含P中所有可见点的边界框，并给定一个边界。观察到完全卷积编码器的内存消耗与输入像素数成线性关系，我们为批次中的每个点云分配一个像素预算。然后，通过随机选择图像，每次选择的概率与其像素数和云中新看到的点的数量成比例，直到像素预算用完。最后，根据它们的大小将图像组织成不同的批次，以便同时处理它们。请注意，在推理时，我们可以使用GPU内存允许的大批次。03.4. 实现细节0我们使用稀疏编码来存储兼容的点-图像对。这在大规模、野外环境中是必要的，因为每个点可能看到的图像数量是不同的。我们的代码可以在https://github.com/drprojects/DeepViewAgg找到，附录中给出了确切的网络和训练配置，所有运行的指标都可以找到。(a) S3DIS(b) ScanNet(c) KITTI-360.55800图6. 数据集。展示了所有考虑的数据集的采样过程，以及一些可用图像旁边的点云。批次的3D组件由(a) S3DIS的球体，(b)ScanNet的房间和(c) KITTI-360的圆柱体组成。0可以在https://wandb.ai/damien_robert/DeepViewAgg-benchmark上访问我们的处理结果。04. 实验0我们在公共大规模语义分割基准测试上进行了几个实验，以展示我们的深度多视角聚合模块（DeepViewAgg）的优势。我们的方法在仅使用标准的2D和3D架构与我们提出的模块相结合的情况下，比直接在着色的点云上操作的3D骨干网络取得了显著更好的结果。我们在激烈竞争的S3DIS基准测试中取得了新的最佳结果，该基准测试包含了6个建筑区域或折叠中超过2.78亿个语义注释的3D点。可以在https://github.com/alexsax/2D-3D-Semantics下载附带的数据集，其中包含1413个等距投影图像。为了表示我们的大规模、野外环境，我们将每个折叠合并成一个大的点云，并丢弃所有与房间相关的信息。附录中详细说明了微小的注册调整。04.1. 数据集0S3DIS [ 6 ].这个室内建筑数据集包含了6个建筑区域或折叠中超过2.78亿个语义注释的3D点。可以在https://github.com/alexsax/2D-3D-Semantics下载附带的数据集，其中包含1413个等距投影图像。为了表示我们的大规模、野外环境，我们将每个折叠合并成一个大的点云，并丢弃所有与房间相关的信息。附录中详细说明了微小的注册调整。0ScanNet [ 18 ].这个室内数据集包含了1501个场景，由250万个带有姿态信息的RGB-D图像获得。为了解决图像之间的高冗余性，我们选择每50个图像中的一个。这个数据集与我们预期的设置略有不同，因为2D和3D是从同一个传感器中得到的。0KITTI-360 [ 41 ].这个大型室外数据集包含超过100k个激光扫描和320k张由多传感器移动平台捕获的图像.我们使用左侧透视相机每五个图像.我们在官方保留的测试集上报告了按类别的性能.0表1. 定量评估.S3DIS的不同最先进方法在第5折和6折、ScanNet验证集和KITTI-360测试集上的平均交并比.除了最后一行外，所有方法都是在着色的点云上进行训练的.最先进的，第二高的. 1 只有3D监督.0模型 S3DIS ScanNet KITTI0第5折 6折交叉验证 360测试0在着色的点云上操作的方法0PointNet++ [ 49 ] - 56.7 [ 13 ] 67.6 [ 14 ] 35.7 [ 41 ] SPG+SSP [37 , 38 ] 61.7 68.4 - - MinkowskiNet [ 16 ] 65.4 65.9 [ 13 ] 72.4 [47 ] - KPConv [ 55 ] 67.1 70.6 69.3 [ 47 ] - RandLANet [ 28 ] -70.0 - - PointTrans. [ 20 ] 70.4 73.5 - - 我们的3D骨干网络 64.769.5 69.0 53.90在点云和图像上操作的方法0MVPNet [ 32 ] 62.4 - 68.3 - VMVF [ 36 ] 65.4 - 76.4 - BPNet [ 29 ] - - 69.7 1 -3D骨干网络+ 67.2 74.7 71.0 58.3 DeepViewAgg (我们的)0一般设置.所有数据集都提供了通过特定预处理得到的着色点云.为了处理大尺寸的扫描，我们使用了一种采样策略来定义批次，对于S3DIS（2米半径球体）和KITTI-360（6米半径垂直圆柱体），而对于ScanNet，我们逐个房间进行处理，参见图6.我们对点云进行下采样处理（S3DIS：2cm，ScanNet：3cm，KITTI-360：5cm），并将我们的预测插值到完整分辨率进行评估.为了减轻2D编码器的内存影响，我们还将S3DIS图像下采样到1024×512，但保持ScanNet（320×240）和KITTI-360（1408×376）的完整分辨率.558104.2. 定量评估0在表1中，我们使用类别平均交并比（mIoU）指标比较了我们的方法和其他学习方法在S3DIS、ScanNet验证集和KITTI-360测试集上的性能.我们的方法（DeepViewAgg）在2D编码器中使用图像，在3D编码器中使用原始未着色的点云.所有其他方法，包括我们的骨干网络（3D骨干网络），都使用数据集提供的着色点云.DeepViewAgg在S3DIS的所有6折中都取得了新的最先进性能，并在第5折中取得了第二高的性能.特别是，我们超越了VMVF网络[ 36]，表明我们的多视角聚合模型可以超越仅使用可用图像的昂贵虚拟视图生成方法.此外，VMVF使用真实深度图、着色点云、法线和逐室归一化信息.相比之下，我们的方法仅使用3D编码器中的原始XYZ数据并估计映射. 我们的方法还超过了最近的PointTransformer [20 ]（PointTrans.）1.2mIoU点，尽管这种方法在着色点上比我们的3D骨干网络高出4个点.我们的模型还提高了我们的3D骨干网络在KITTI-360测试集上的性能4.4个点，说明图像对室内和室外数据集的重要性.虽然结果还算合理，但我们的方法在ScanNet验证集上的表现相对较差. 当限制为3D注释时，我们超越了BPNet [ 29]的2D/3D融合方法，说明了视角选择的重要性.我们认为ScanNetRGB-D扫描的相机视角的有限多样性，以及其小的视场和模糊性降低了图像提供的信息质量.这一点得到了VMVF的令人印象深刻的性能的支持，该方法使用受控的视点和分辨率合成自己的图像.请参见图7以获得定性说明.04.3. 分析0我们在S3DIS的Fold 5和Fold2（以5cm为间隔进行子采样）以及KITTI-360的验证集上进行了进一步的分析，结果如表2所示。我们添加了Fold2，与常用的Fold5一起使用，因为它从我们的方法中受益最多，因此更有利于评估我们的设计选择的影响。0模态组合。如表2所示，将一个在原始3D特征上操作的3D深度网络与我们的方法结合的2D网络（最佳配置），与仅在上色的点云上操作的相同3D骨干网络（XYZRGB）相比，性能提高了6到15个点。为了说明上色点云不是一个简单的任务，我们使用每个点的所有可见像素的颜色的平均值对点云进行上色（XYZ平均-RGB）。与之相比，0表2. 消融研究。在S3DIS的Fold 2和Fold5（以5cm为间隔进行子采样）以及KITTI-360Val上，不同模态和设计选择的平均IoU比较。0模型 S3DIS KITTI0Fold 2 Fold 5 360 Val0最佳配置 63.2 67.5 57.80模态组合0XYZRGB -15.9 -6.0 -3.6 XYZ平均-RGB -10.8 -7.0 -4.9XYZ -19.5 -9.5 -4.1 纯RGB -5.3 -5.4 -14.5较低的图像分辨率 -5.9 -0.8 -0.7 更高的3D分辨率 -1.0-0.3 -0设计选择0后期融合 -9.1 -1.0 -1.3 仅一个特征组 -4.8 -0.8 -0.4无门控 -3.0 -0.4 -1.1 无动态批处理 -6.9 -1.9 -4.5无预训练 -7.2 -6.7 -3.7 最大池化 -0.8 -1.5 -2.9较小的3D骨干网络 -0.5 -0.7 +0.70对于“官方”上色的点云，我们观察到Fold5下降了1个点，KITTI-360下降了1.3个点，但Fold2增加了近5个点。这表明不同的点云上色方案可能会产生截然不同的结果。在S3DIS上，不使用任何辐射信息，仅依靠没有颜色的3D点（XYZ）进一步降低了XYZRGB的得分3到4个点。对于KITTI-360，XYZ优于XYZ平均-RGB，表明糟糕的上色甚至可能会有害。我们还评估了一种方案，即完全去除3D网络，仅使用来自2D编码器-解码器和我们的视图聚合模块的特征对3D点进行分类，而没有任何3D卷积（纯RGB）。这种方法甚至优于（XYZRGB）在S3DIS上，说明了图像对于点云分割的相关性。在KITTI-360上，由于许多3D点不被使用的相机看到，这种方法表现较差。将我们最佳的2D+3D模型与下采样2倍的图像一起训练（较低的图像分辨率）会导致性能大幅下降。相反，将3D分辨率从5cm增加到2cm（较高的3D分辨率）对S3DIS几乎没有影响。我们得出结论，当图像已经包含细粒度信息时，3D体素网格的分辨率对性能的影响减小。0设计选择。使用后期融合（LateFusion）而不是早期融合在Fold5和KITTI-360上得到了相当的结果，但对于Fold2来说，使用图像的收益更加明显，结果显著下降。仅使用一个特征组（Only One Group，方程2中的K = 1）导致Fold2下降了4.8个点，突出了我们的方法的重要性。55820(a) 上色的点云0(b) 真实情况0(c) 3D骨干网络的预测0(d) 我们的模型预测。0图7.定性说明。我们考虑的数据集中的场景（顶部：S3DIS，中部：ScanNet，底部：KITTI-360）的（a）上色的点云，（b）地面真实点注释，（c）在上色的点云上操作的骨干网络的预测，以及（d）我们的方法在未上色的原始点云和图像上操作的预测。我们的方法能够使用图像来解决几何模糊或异常的情况，例如具有分层座位的大型圆形剧场（顶部行）。颜色图例见附录。0可以学习以特定方式处理不同类型的辐射信息。去除门控机制（无门控，参见方程6）会使Fold2的IoU下降3个百分点，KITTI-360下降1.1个百分点。不使用动态批次强制我们将自己限制在每个3D球体/圆柱体的4个全尺寸图像，这导致性能下降2到7个百分点。在相关的开放访问数据集上预训练2D网络（无2D预训练）可以提高最多7个mIoU点。图像不仅包含丰富的辐射信息，而且还允许我们利用广泛可用的带注释2D数据集。使用特征最大池化来合并视图会导致S3DIS下降1到1.5个百分点，KITTI-360下降3个百分点。这说明只要我们采用适当的映射、批处理和预训练策略，即使是简单的池化操作也可以表现得非常好。然而，我们的模型的添加似乎是必要的，以进一步提高精度并达到最新的结果。将我们的3D主干换成更轻量级的MinkowskiNet版本，减小宽度，我们观察到对预测质量没有显著影响。这表明我们可以成功地使用较小的模型来使用我们的方法。有关我们设计选择和视角条件影响的进一步分析，请参见附录。0限制。虽然我们的方法不需要具有对齐光轴、真实深度图或网格化步骤的传感器，但我们仍然需要相机姿态。在某些“野外”环境中，它们可能不可用或需要姿态估计和注册步骤，这可能是昂贵且容易出错的。我们的0映射计算还依赖于2D和3D模态同时获取的假设。我们的多视角聚合方法仅基于视角条件操作，并不考虑几何和辐射特征在注意力分数计算中的影响。我们使用这些特征实现了一种自注意力方法，但这导致了内存使用量的显著增加，而没有实质性的好处：视角条件似乎是选择和聚合图像特征时最关键的因素。05. 结论0我们提出了一种基于深度学习的多视角聚合模型，用于大型3D场景的语义分割。我们的方法利用图像中3D点的视角条件来选择和合并与3D信息最相关的2D特征。结合标准的图像和点云编码器，我们的方法改进了两个不同数据集的最新技术水平。我们的完整流程可以在任意位置的点云和一组共注册的图像上运行，而无需着色、网格化或真实深度图。这些有希望的结果说明了即使对于3D场景分析，使用专用架构从图像中提取信息的相关性。0致谢：这项工作由ENGIE LabCRIGEN资助，并在Universit´eParis-Est的LASTIG研究单位进行。[6] Iro Armeni, Ozan Sener, Amir R Zamir, Helen Jiang, IoannisBrilakis, Martin Fischer, and Silvio Savarese. 3D semanticparsing of large-scale indoor spaces. In CVPR, 2016. 3, 6[7] Stan Birchfield and Carlo Tomasi. Multiway cut for stereoand motion with slanted surfaces. In ICCV, 1999. 2[8] Alexandre Boulch, Joris Guerry, Bertrand Le Saux, and Nico-las Audebert. Snapnet: 3D point cloud semantic labeling with2D deep segmentation networks. Computers & Graphics,2018. 1, 2[9] Aljaz Bozic, Pablo Palafox, Justus Thies, Angela Dai, andMatthias Nießner. Transformerfusion: Monocular RGB scenereconstruction using transformers. NeurIPS, 2021. 3[10] Chris Buehler, Michael Bosse, Leonard McMillan, StevenGortler, and Michael Cohen. Unstructured lumigraph render-ing. In SIGGRAPH, 2001. 2[11] Ozan Caglayan, Lo¨ıc Barrault, and Fethi Bougares. Multi-modal attention for neural machine translation. arXiv preprintarXiv:1609.03976, 2016. 2[12] Ziyun Cai, Jungong Han, Li Liu, and Ling Shao. Rgb-ddatasets using microsoft kinect or similar sensors: a survey.Multimedia Tools and Applications, 2017. 1[13] Thomas Chaton, Nicolas Chaulet, Sofiane Horache, and LoicLandrieu. Torch-points3D: A modular multi-task framework-for reproducible deep learning on 3D point clouds. 3DV, 2020.6[14] Dave Z. Chen. Pointnet2.scannet.https://github.com/daveredrum/Pointnet2.ScanNet, 2021. 6[15] Hung-Yueh Chiang, Yen-Liang Lin, Yueh-Cheng Liu, andWinston H Hsu. A unified point-based framework for 3Dsegmentation. In 3DV, 2019. 1, 2[16] Christopher Choy, JunYoung Gwak, and Silvio Savarese. 4Dspatio-temporal convnets: Minkowski convolutional neuralnetworks. In CVPR, 2019. 6[17] Cl Connolly. The determination of