Pointnet++中文翻译_pointrcnn翻译

论文翻译

需积分: 0 1.7k 浏览量更新于2023-05-29 评论 1 收藏 1.02MB PDF 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

资源详情

资源评论

资源推荐

PointNet ++：度量空间中点集的深层次特征学习

摘要：以前很少有人研究点集的深度学习。 PointNet [20]是这方面的先驱。但

是，根据设计，PointNet 不会捕获由度量空间点所引发的局部结构，从而限制了

识别细粒度模式的能力以及对复杂场景的普遍性。在这项工作中，我们引入了一

个分层神经网络，它将 PointNet 递归地应用于输入点集的嵌套分区。通过利用度

量空间距离，我们的网络能够通过增加上下文比例来学习局部特征。通过进一步

观察，通常采用不同密度对点集进行采样，这导致对均匀密度训练的网络的性能

大大降低，我们提出了新的集合学习层，以自适应地组合来自多个尺度的特征。

实验表明，我们的网络 PointNet ++能够高效，稳健地学习深度点集功能。特别

是，在具有挑战性的 3D 点云基准测试中，结果明显优于现有技术

1. 介绍

我们感兴趣的是分析几何点集，它是欧几里得空间中的点集合。特别重要的几

何点集类型是由 3D 扫描仪捕获的点云，例如来自适当配备的自动车辆。作为

一个集和，这些数据必须对其成员的排列不变。此外，距离度量定义了可能表

现出不同属性的局部邻域。例如，点的密度和其他属性在不同位置可能不一致

- 在 3D 扫描中，密度变化可能来自透视效应，径向密度变化，运动等。

以前很少有人研究点集的深度学习。 PointNet [20]是一项直接处理点集的开创性

工作。 PointNet 的基本思想是学习每个点的空间编码，然后将所有单个点特征

聚合到全局点云签名。通过其设计，PointNet 不能捕获由度量引起的局部结构。

然而，利用局部结构已证明对卷积体系结构的成功很重要。 CNN 将在常规网格

上定义的数据作为输入，并且能够沿着多分辨率层次以越来越大的尺度逐步捕获

特征。在较低水平，神经元具有较小的感受野，而在较高水平，它们具有较大

的感受野。沿着层次结构抽象局部模式的能力允许更好地概括到看不见的情况。

我们引入了一个名为 PointNet ++的分层神经网络，以分层方式处理在度量空间

中采样的一组点。 PointNet ++的一般概念很简单。我们首先通过底层空间的距

离度量将点集划分为重叠的局部区域。与 CNN 类似，我们从小区域中提取捕

捉精细几何结构的局部特征; 这些局部特征进一步分组为更大的单元并进行处

理以产生更高级别的特征。重复此过程，直到我们获得整个点集的特征。

PointNet ++的设计必须解决两个问题：如何生成点集的分区，以及如何通过本地

特征学习器抽象点集或局部特征。这两个问题是相关的，因为点集的分区必须

跨分区产生公共结构，因此可以共享局部特征学习者的权重，如卷积设置。我

们选择我们的本地特色学习者为 PointNet。正如该工作所证明的那样，PointNet

是一种有效的架构，用于处理语义特征提取的无序点集。此外，该架构对输入

数据损坏很稳健。作为一个基本构建模块，PointNet 将一组本地点或特征抽象

为更高级别的表示。在此视图中，PointNet ++以递归方式将 PointNet 应用于输

入集的嵌套分区。

仍然存在的一个问题是如何生成点集的重叠分区。每个分区被定义为底层欧几

里德空间中的邻域球，其参数包括质心位置和比例。为了均匀地覆盖整个集合，

在通过最远点采样（FPS）算法设置的输入点中选择质心。与使用固定步幅扫描

空间的体积 CNN 相比，我们的本地感知域依赖于输入数据和度量，因此更有效

和有效。

然而，由于特征尺度的纠缠和输入点集的不均匀性，确定局部邻域球的适当比例

是更具挑战性但有趣的问题。我们假设输入点集在不同区域可能具有可变密度，

这在实际数据中非常常见，例如结构传感器扫描[18]（参见图 1）。因此，我们的

输入点集与 CNN 输入非常不同，CNN 输入可以被视为在具有均匀恒定密度的

常规网格上定义的数据。在 CNN 中，本地分区比例的对应部分是内核的大小。

[25]表明使用较小的内核有助于提高 CNN 的能力。然而，我们对点集数据的实

验反驳这一规则。由于采样不足，小邻域可能包含太少的点，这可能不足以允

许 PointNets 强大地捕获模式。

我们论文的一个重要贡献是 PointNet ++利用多个尺度的邻域来实现稳健性和细

节捕获。在训练期间辅助随机输入丢失，网络学习自适应地加权在不同尺度下

检测的模式，并根据输入数据组合多尺度特征。实验表明，我们的 PointNet ++

能够高效，稳健地处理点集。特别是，在具有挑战性的 3D 点云基准测试中，已

经获得了明显优于现有技术的结果。

2. 问题陈述

假设 X =（M，d）是离散度量空间，其度量从欧几里德空间 R n 继承，其中 MRn

是点集，d 是距离度量。另外，环境欧几里德空间中的 M 密度在各处可能不均

匀。我们感兴趣的是学习集合函数 f，它将这样的 X 作为输入（以及每个点的

附加特征）并产生重新划分 X 的语义兴趣信息。在实践中，这样的 f 可以是为

X 分配标签的分类功能或者为 M 的每个成员分配每点标签的分割功能。

3. 方法

我们的工作可以看作是 PointNet [20]的扩展，增加了层次结构。我们首先回顾

PointNet（第 3.1 节），然后介绍具有分层结构的 PointNet 的基本扩展（第 3.2 节）。

最后，我们提出了即使在非均匀采样点集中也能够稳健地学习特征的 PointNet

++（第 3.3 节）。

3.1 回顾 PointNet [20]：通用连续集函数逼近器

落中介绍了集抽象级别的层。

采样层。给定输入点{x1，x2，...，xn}，我们使用迭代最远点采样（FPS）

来选择点{xi1，xi2，...，xim}的子集，使得 xij 是最远点来自集合{xi1，xi2，...，

xij-1}关于其余点。与随机采样相比，在给定相同数量的质心的情况下，它

具有更好的覆盖整个点集。与扫描与数据分布无关的向量空间的 CNN 相

比，我们的采样策略以数据相关的方式生成感受域。

分组图层。该层的输入是大小为 N×（d + C）的点集和大小为

󰆒

×d 的

一组质心的坐标。输出是大小为

󰆒

×K×（d + C）的点集的组，其中每

个组对应于局部区域，K 是质心点附近的点的数量。请注意，K 在不同

的组中有所不同，但后续的 PointNet 层能够将灵活的点数转换为固定长

度的局部区域特征向量。

在卷积神经网络中，像素的局部区域由具有在像素的某个曼哈顿距离（内

核大小）内的阵列索引的像素组成。在从度量空间采样的点集中，点的

邻域由度量距离定义。

Ball 查询查找查询点半径范围内的所有点（在实现中设置 K 的上限）。替

代范围查询是 K 最近邻（kNN）搜索，其找到固定数量的相邻点。与 kNN

相比，球查询的局部邻域保证了固定的区域尺度，从而使得局部区域特征

在空间上更加通用，这对于需要局部模式识别的任务（例如，语义点标记）

是优选的。

PointNet 图层。在该层中，输入是数据大小为

󰆒

×K×（d + C）的点的



󰆒

个局部区域。输出中的每个局部区域都由其质心和局部特征抽象，该

特征对质心的邻域进行编码。输出数据大小为

󰆒

×（d + 

󰆒

）。

首先将局部区域中的点的坐标转换成相对于质心点的局部框架：



󰇛



󰇜







󰇛



󰇜





󰇛



󰇜

，其中 i = 1,2，...，K 和 j = 1,2，...，d 其中是质心的坐标。

我们使用 PointNet [20]，如第二节所述。 3.1 作为本地模式学习的基本构

建模块。通过使用相对坐标和点要素，我们可以捕获局部区域中的点对

点关系。

3.3 对非均匀采样密度下的鲁棒特征学习

如前所述，点集通常在不同区域具有不均匀的密度。这种不均匀性为点

集特征学习带来了重大挑战。在密集数据中学习的特征可能不会推广到

稀疏采样区域。因此，针对稀疏点云训练的模型可能无法识别细粒度的

局部结构。

理想情况下，我们希望尽可能接近地检查点集，以捕获密集采样区域中最

剩余16页未读，继续阅读

我脾气很好

粉丝: 100
资源: 4

会员权益专享

Pointnet++中文翻译

评论0

会员权益专享

最新资源

Pointnet++中文翻译

评论0

pointnet和pointnet++

Pointnet++中文翻译word版

pointnet++复现pytorch

pointnet++ pytorch

pointnet++: deep hierarchical feature learning on point sets in a metric space

pointnet++matlab

pointnet++读取数据集

pointnet++复现需要哪些软件

怎么样才可以让pointnet++测试的点云不需要标签

point++运行s3dis数据集

三维重建效果最好的开源算法是什么

pointnet2 pytorch 复现

pointnet2_part_seg

yolov5+PointCloud+MoveIt+ROS机械臂抓取

能在win系统运行的点云深度学习分割代码有哪些

pointnet代码解析pytorch

yolov5+PointCloud+MoveIt+ROS怎样实现目标抓取

yolo+PointCloud+MoveIt+ROS机械臂自主避障抓取

智能温室技术..ppt

智能监控系统的应用.docx

会员权益专享

最新资源