基于加权局部变换的点云数据增强

548基于加权局部变换的点云数据增强Sih yeon Kim1*，Sangh yeok Lee1*，Dasol Hwangg1 Jaew on Lee1，Seong Jae H wangg2，Hyunw oo J.Kim1†1韩国大学2匹兹堡大学{sh_bs15，cat0626，dd_sol，2j1ejyu，hyunwoojkim}@korea.ac.krsjh95@pitt.edu摘要尽管点云在3D视觉中广泛使用，但可用于训练深度神经网络的数据相对有限。虽然数据增强是补偿数据稀缺的标准在本文中，我们提出了一个简单而有效的增强方法称为PointWOLF点云增强。所提出的方法产生平滑变化的非刚性变形的局部加权变换集中在多个锚点。平滑的变形允许不同的和现实的增强。此外，为了最大限度地减少人工努力，以搜索最佳的超参数增强，我们提出AugTune，它产生所需的困难，产生有针对性的信心分数的增强样本。我们的实验表明，我们的框架不断提高性能的形状分类和部分分割任务。特别是，使用PointNet++，PointWOLF在使用真实世界ScanObjectNN数据集进行形状分类时达到了最先进的89.7该代码可在https://github.com/mlvlab/PointWOLF上获得。1. 介绍现代深度学习技术在结构化数据上建立了其流行度，开始在点云上取得成功。与具有清晰晶格结构的图像不同，每个点云是无序的点集合，其没有全局表示各种3D对象的内在结构最近的深度学习工作集中在使神经网络能够在点云上操作虽然出现了几个点云数据集，但扫描的真实世界对象的特定数据集[1]需要对点云结构有更深入的了解，以识别高度复杂的真实世界对象。作为回应，这些方法已经从提取逐点信息演变而来，而没有结构化的*同等贡献。†是通讯作者。图1. 使用PointWOLF局部增强点云。在每一行中，最左边的样本是原始的，并且剩余的样本是其局部变换的结果（较亮的区域指示较强的局部变换）。PointWOLF可以局部变换对象，同时保留原始形状标识。信息[2]以显式地编码局部结构[3]。尽管点云数据稀缺，但这些网络开发工作一直在稳步推进。我们的兴趣在于数据增强，这在其他机器学习管道中被广泛用于解决数据稀缺问题。有趣的是，尽管其在其他数据模式中普遍存在，但点云上的数据增强（ DA ） 相 对 较 少 探 索 。 例 如 ， 传 统 的 数 据 增 强（CDA）[2，3]，它包括全局旋转，缩放，平移和小点-549明 智 的 噪 声 ， 通 常 应 用 于 点 云 数 据 集 。 最 近 ，PointAugment [4]提出使用增强器网络来学习变换矩阵以产生增强。PointMixup [5]查找线性内插的点云样本及其类（例如，Mixup [6]）。尽管他们努力提升先前的CDA，但他们仍然有明显的局限性。具体地，PointAugment依赖于每个样本的单个（因此全局）变换矩阵/向量，并且PointMixup全局地混合样本，而不明确地考虑每个样本的局部结构。因此，需要一种能够产生准确地描绘真实世界局部变化（例如，具有不同长度的机翼和机身的飞机）仍然存在。在这项工作中，我们提出了一种新的点云增强PointWOLF，满足这样的需求。PointWOLF生成多样化和逼真的局部变形，例如具有不同姿势的人（参见图1）。我们的方法系统地使局部变形，首先考虑-ING多个局部变换相对于锚点，并仔细地结合它们在平滑变化的方式。此外，我们提出AugTune自适应控制DA强度在一个样本明智的方式。AugTune在训练过程中使用单个超参数生成一致且有益的样本，该超参数验证了已知的对增强超参数选择的依赖性。我们相信，我们的方法可以进一步解决这个共同的依赖性问题，在一般的数据增强。我们的贡献有四个方面：（i）我们提出了一种强大的点云变换方法，能够通过变形局部结构来生成多样化和逼真的增强样本。（ii）我们的框架仅用单个超参数自适应地调整增强（iii）我们证明了我们的框架在点云形状分类和部分分割任务中对合成和真实世界数据集的现有最先进的增强方法带来了一致的改进。（iv）我们的框架提高了模型对各种局部和全局腐败的鲁棒性。2. 相关工作点云上的深度学习点云的早期深度学习工作集中在使现有的CNN能够在点云上运行这些包括基于多视图的方法，如[7，8，9，10]，其中它们通过鸟瞰视图或多视图将3D点云投影到2D空间类似地，其他作品[11，12，13，14，15]体素化点云以直接在体素化点云上应用3D卷积。为了保持点云的原始结构，出现了基于点的方法。PointNet [2]将每个点云视为无序集，并使用多层感知器和最大池导出逐点特征ing.然而，诸如池化的对称函数不能表征点云的局部结构，因此出现了PointNet++ [3]，其通过分层采样和分组来利用局部信息。其他相关研究[16，17，18，19，20，21]也依赖于分组来识别点之间的关系并提取局部结构。DGCNN [20]明确地利用特征空间而不是3D空间中的点云的图形状有趣的是，尽管这些网络明智的努力，利用本地结构，只有少数作品已经寻找解决方案以外的网络，例如数据扩充数据增强。 数据增强（DA）已经成为现代机器学习模型训练的必要条件以提高泛化能力。对于点云，常规地使用全局相似性变换，诸如旋转、缩放和具有逐点抖动的平移[2，3]。然而，这种传统的DA（CDA）不增加本地结构，上面提到的许多成功的作品发现有益的和明确的杠杆作用。鉴于此，只有少数最近的研究提出了更先进的DA点云。PointAugment [4]学习增强器网络来增强样本 ， 使 其 比 原 始 样 本 更 难 分 类 。PointMixup [5]使Mixup [6，22]技术能够用于点云，具体地说，通过在两个点云样本之间进行插值并使用软标签预测混合类的比例。虽然这些工作能够实现超出简单相似性变换的增强，但是变换基本上是全局的：PointAugment学习样本全局变换矩阵，并且PointMixup在样本之间因此，它们通常不产生真正局部和现实的增强。响应于这种需要，我们提出了一种新的增强方法点- WOLF局部变换样本，如图1所示。寻找最佳DA。在实践中，识别DA的强候选变换和最优参数缺乏直观的约定和启发式，因此需要广泛的搜索 过 程 。 有 几 项 工 作 解 决 了 这 个 问 题 ， 例 如 ，AutoAugment [23]和Fast AutoAugment [24]通过成本高昂的求解器（如强化学习或baking优化）动态搜索最佳转换策略。RandAug [25]通过将多个增强参数绑定为单个超参数，大大减少了搜索空间。在本文中，我们提出了八月-调谐，有效地控制样本明智的DA强度与一个单一的参数，使用目标的置信度得分。3. 方法我们首先简要描述了传统的DA点云。然后，我们描述PointWOLF，其目的是生成增强的点云。与以前的作品，执行一个全球性的转换和逐点抖动，ING，我们的框架增加了点云的本地550∈P∈{··· }∈P∈P P增强样本图2. PointWOLF框架插图。 给定原始样本，PointWOLF在每个锚点（红色）处具有多个局部变换。PointWOLF基于加权局部变换产生平滑变化的非刚性变形。加权多重变换我们通过变形局部结构来生成多样化此外，为了减少对DA框架的最佳超参数的依赖，我们提出AugTune，自适应地用单个参数调制增强强度。3.1. 预赛三维点云R（3+C）×N是点集p1，…，pN的集合。每个点被表示为向量pIR3+C，其是其坐标的级联（即，[x，y，z]）和C维输入特征，诸如颜色和表面法线。由于我们感兴趣的问题只集中在点云结构上，因此我们假设没有附加的输入特征，即，R3×N。用于点云的常规数据增强（CDA）[2，3]应用全局相似性变换（例如，缩放、旋转和平移）和逐点抖动。得到的增广点云P′∈R3×N如下：P′=sRP+B，（1）其中s >0是缩放因子，R是3D旋转矩阵，BR3×N是具有全局平移和逐点抖动的平移矩阵。通常，R是由用于上轴取向的均匀绘制的欧拉角参数化的外部旋转。缩放和平移因子从间隔中均匀地绘制，并且逐点抖动向量从截断的高斯分布中采样因此，CDA仅仅是具有小抖动的相似性变换，其不能模拟不同形状和可变形对象。与Mod- elNet [14]和ShapeNet [26]等合成数据集不同，像ScanObjectNN [1]这样的真实世界数据集进一步需要生成这样的数据集。复杂的变形，例如局部变换的混合这些在图1中举例说明：具有不同长度和方向的机翼和身体的飞机、不同尺寸和长宽比的吉他以及具有不同高度和姿势的人交叉腿）。3.2. 点狼我们提出了一个简单而有效的点云增广与加权localtransformations（PointWOLF）。我们的方法产生的点云变形的凸组合的多个变换与平滑变化的权重。PointWOLF首先选择几个锚点并定位随机局部变换（例如，相似性变换）。基于从输入中的点到锚点的距离，我们的基于到锚点的距离的平滑变化的权重允许空间连续增强并生成真实的样本。我们的框架可以被看作是一个内核回归转换。采样锚点是我们的框架定位多个局部变换的第一步。为了最小化局部变换之间的冗余，通过最远点采样（FPS）算法选择锚点AFPS随机选择第一点，然后依次选择离先前点最远的点。这最大化了锚点的覆盖范围并允许各种变换。在我们的框架中，局部变换以锚点为中心。在每个锚点，我们随机采样一个局部变换，包括从锚点缩放、改变纵横比、平移和旋转123原始样品551P我P∈←∼←∼P ← P P∈ΣWi i=1j=1一∀∀j=1·j=1J2∈我JJk=1H我 KΣwpΣΣM··在锚点周围这包括（1）中的全局变换。Given中的锚点pAjA，输入点Pi的局部变换可以写为：pj=SjRj（pi-pAj）+bj+pAj，（2）其中Rj、Sj和bj分别是旋转矩阵、缩放矩阵和平移向量bj，其具体对应于pAj。 S是具有三个正实值的对角矩阵，即，S=diag（s x，s y，s z），以允许不同轴的不同缩放因子。为了沿任意方向改变纵横比，可以使用随机旋转的缩放矩阵，S′j=R−1SjR，可以使用。由于许多常用的数据集在标准空间中预先对齐，算法1 PointWOLF输入：原始点云R3×N输入：#点N，#锚点M，内核带宽h输入：缩放范围ρs，旋转范围ρr，平移范围ρt，轴丢失概率β输出：增广点云P′∈R3×N1： AFPS（，M）▷AR3×M2：对于j=l至M，do第三章：Sj←diag（sx，sy，sz）▷sU[1，ρs]4：Rj←RotationMatrix（θx，θy，θz）▷θU[−ρr，ρr]5：BJ（bx，by，bz）▷bU[−ρt ，ρt]6：<$j（πx，πy，πz）<$πBernoulli（β）7：结束8：对于i=l至N，do9：对于j=l至M，do10：pj←SjRj（pi−pA）+bj+pA▷公式（二）可感知的对象方向。在实践中，我们看到缩放11：wj←Kh（pi，pA;Πj）▷等式11：（四）I j12：结束如（2）中的合理旋转是足够的。平滑变形是生成真实和局部变换样本的关键。一个简单的随机应用13：p'i←14：结束MJ Jj=1i iM Kk=1i当量（三）在其有限邻域内的局部变换可能导致不连续的形状和不同部分的重叠。它有很高的机会失去区分结构。相反，我们采用Nadaraya-Watson内核回归[27，28]来平滑地插值3D空间中的局部变换给定M个局部变换{Tj}M，我们在任意点处的15：P′← {p′}N测量相对于坐标的随机子集的距离的例如，具有Πj=diag（0，0，1）的核函数基于沿z轴与pAj的距离衰减局部变换Tj的影响，并且这允许更多样化和真实的变换，例如剪切和扭转（第4.4节）：曲线点pi给出为：MT（pi）=j=1 Kh（pi，pAj）TjK（p，pA）、（3）局部相似性变换的组合。类似于（2）中的缩放矩阵S，在我们的实验中，我们使用到规范轴/平面上的投影而不是在规范轴/平面上的投影。其中Kh（，）是具有带宽h的核函数，并且Tj是（2）中以Pj为中心的局部变换。 为了在3D空间中的ny点处定义T（pi），我们使用对于任何点对都具有严格正值的核函数，即，对于pi，pj，Kh（pi，pj）>0。下面的命题从理论上保证了我们的增广是一个光滑的在温和条件下转化。证据在补充中。命题1若核函数Kh（·，·）和所有局部变换{Tj}M都是光滑的，则（3）中的局部加权变换Tj（）是光滑变换.在我们的实验中，我们使用投影后具有Eu-clidean距离的高斯核我们的核函数是任意子空间我们的初步实验表明，他们是足够的预对准点云。我们已经介绍了我们的框架，从内核回归的角度来看。图2示出了我们的框架的流水线，其中通过将局部变换组合为平滑变换T并将其应用于原始样本来获得增强样本。有趣的是，在高层次上，我们也可以将我们的框架视为由应用不同（局部）变换（例如，图2中的T1、T2、T3）。因此，我们的框架可以通过两种方式实现：（1）通过等式（1）中的平滑变化的变换T（3）、（2）变换每个点M次，通过局部变换{Tj}M和内部变换{T j}M，用自适应权值对这M个Kh（pi，pA;j）=exp.−Πj（pi −pA）2Σ、（四）K（p，pAj）/Σk K（p，pAk）。虽然这两种方法都是j2h2其中h是带宽，R3×3是一个投影矩阵。Π=diag（π x，π y，π z）由π x，π y，π zBernoulli（β）构造，其中β∈（0，1）1，其作用为1为了防止投影矩阵为零矩阵，如果选择（0，0，0），则对Π如果我们主要考虑M个锚点和N个点，则第二种方法的复杂度为O（MN），略高于第二种方法。这在实践中是有效的，因为这仅涉及对点（向量）的操作，而第一种方法涉及对变换矩阵的操作。因此，我们在算法1中示出了第二种方法的伪代码，并且在补充中示出了第一种方法（例如，飞机朝向同一方向），我们可以假设▷552← − LP−P−- -∈PPP算法2 AugTune通过α~=c−cP′近似α*这是解决输入：原始点云P ∈R3×N，地面实况ycP−cP′输入：分类器f（·;w），困难系数λ∈（0，1]输出：最终增广点云P*∈R3×N1：P′←PointWOLF（P）▷算法12：y（P←f（P;w），y（P′←f（P′;w））3：cP←y置信度，cP′←y置信度′y置信度得分αcP+（1−α）cP′=c。（七）我们的实验表明，这种近似不会导致目标任务的退化（见补充）。那是-∗4：c←maxP（c′，（1−λ）cP）▷tar得到置信度得分最终增广样本P是P和P的凸组合。c−Pc′PP′，其中α~，i. 例如，P*=α~P+（1−α~）P′，则模型pa-5：α~←PcP− cP′▷通过等式（1）近似α *（七）参数w更新为wwγw（f（*，w），y），其中γ是学习率。请注意，由于相应的-图6：P<$<$←α<$P+（1−α<$）P′<$插值P和P′和之间的证据是已知的建设，3.3. AugTune：有效的DA调谐方法有效的数据扩充的关键是强大的数据转换和扩充的最佳强度。我们引入了PointWOLF，它可以生成更多样化和更平滑的非线性变换。现在，我们提出了一个有效的计划，自适应地调整数据增强的强度，在训练过程中与一个单一的超参数。我们相信，我们的计划不仅有利于我们的框架，但也严重依赖于一个详尽的网格搜索与大量的超参数的任何经典的数据增强方法。AugTune。我们提出了算法2中描述的AugTune来控制增强的强度。AugTune通过混合augmen来调整数据增强的强度从PointWOLF和原始样品P提出的方案P ′。给定一个分类器f（·;w）和一个样本P，设y∈P和cP表示其预测和置信度得分，即，Ptw op oiPnt云的内插可以通过一个简单的当p∈=α∈p+（1α~）p′。此外，AugTune作为一种保护措施，为最终* 保留形状标识。因此，我们很少观察到具有合理超参数的非现实主义增强样本（参见可视化补充）。备注。由于我们将我们的框架视为局部变换的内核回归，因此AugTune可直接应用于变换（参数）空间。换句话说，代替逐点插值，我们可以简单地插值局部变换参数：尺度矩阵S′j=αI+（1α）Sj，旋转θj′=（1α）θj和平移b′j=（1α）bj。然而，由于其 略 高 的 计 算 成 本 和 较 差 的 性 能 ， 我 们 appliedAugTune的输入数据空间，见第4.2节。4. 实验在本节中，我们展示了我们的yP =f（P，w）和cP=yy，其中y是地面PPointWOLF在合成和真实世界的数据集。我们用独热编码表示的真值标签。yP′ 和cP′对P ′的定义是类似的。请注意，所有置信度得分cP、cP′ 在训练模型的同时获得，即，不需要额外的预先训练的分类器 为了调整增强的强度，给定难度系数λ（0，1]，AugTune首先通过以下公式计算每个样本的目标置信度得分cc=max（cP′，（1−λ）cP）。（5）假设增广P′比原P困难，I. 例如，cP′ <当λ接近0时，这意味着Aug_Tune生成与原始样本P类似的样本。相反，当λ=1，c=cP′时，Aug Tune使用增强建议′而不进行任何调整。完成网站一个增广样本的目标置信度得分，我们使用两个样本和′的线性插值。然后，问题被简化为找到由下式定义的α*：αP= argmin <$c − f（αP+（1 − α）P′）<$2。（六）然而，通过优化算法或网格搜索直接求解（6）仍然是计算昂贵的。所以，我们应当α553首先描述数据集、基线和实验设置。然后，我们评估我们的形状分类和部分分割框架（第4.1节），然后进行消融研究和分析（第4.2节）。我们进行实验，以显示我们的方法是否提高了鲁棒性的模型对本地和全球corrections利用不同的本地增强样本（第4.3节）。最后，我们通过PointWOLF对扩增样本进行了定性分析（第4.4节）。数据集。我们使用合成和真实世界的数据集进行形状分类，以评估我们的框架。模型-Net 40（MN 40）[14]是一个广泛使用的合成基准数据集，在训练集中包含9，840个CAD模型，在验证集中包含2，468个CAD模型，共有40类常见对象类别。与[5]一样，我们也使用MN40的简化版本（ReducedMN40）来模拟数据稀缺性。ScanObjectNN（SONN）[1]是一个最近的点云对象数据集，由真实世界的室内数据集（如SceneNN [29]和ScanNet [30]）构建而成。我们使用以下版本的SONN：（1）OBJ_ONLY，其具有分别用于训练集和验证集的2，309个和581个扫描对象，以及（2）PB_T50_RS，其是具有11，416个和2，882个扫描对象的扰动版本。554PΣ表1. ModelNet40的整体准确性数据集模型CDACDA（不含R）PointAugment [4][5]第五话点狼PointNet89.289.790.889.991.1公司简介PointNet++91.392.592.492.793.2DGCNN91.792.792.993.193.2PointNet81.982.784.183.485.7还原MN40PointNet++85.987.887.088.688.7DGCNN87.588.888.389.089.3表2.ScanObjectNN的总体准确性。数据集模型CDAPointAugment [4][5]第五话点狼PointNet76.174.4-78.7仅对象PointNet++86.685.488.589.7DGCNN85.783.1-88.8PointNet64.057.0-67.1PB_T50_RSPointNet++79.477.980.684.1DGCNN77.376.8-81.6分别用于训练集和验证集。两人都有15个班级。对于部分分割，我们采用ShapeNet- Part[26]，这是一个合成数据集，包含14，007和2，874个样本用于训练和验证集。ShapeNet- Part由16个类和50个零件标签组成。每个类有2到6个部分。实施详情。所有模型和实验都在PyTorch中实现。对于PointNet和PointNet++，使用[31]的PyTorch实现，修改最少。在DGCNN中，我们使用了作者的官方PyTorch代码。我们训练每个模型，批量大小为32，共250个epochs。请注意，为了最大的公平性和一致性，我们复制了除PointMixup [5]外的每个基线的数字，并对每个 病 例 遵 循 [5] 的 评 估 方 案 对 于 我 们 的 框 架 ，PointWOLF的增强强度由AugTune控制。事实上，在我们的框架中，难度系数λ是唯一需要调整的超参数。我们使用λ= 0。对于合成数据集，λ = 1，并且λ=0。3对于所有真实世界的数据集。有关更多详细信息，请参阅补充资料。基线。我们将我们的框架（PointWOLF与AugTune）与以下数据增强方法进行比较：（1）执行全局相似性变换（例如，沿上轴旋转、缩放和 平 移 ） ， 其 中 逐 点 抖 动 为 [3] 。 （ 2 ）PointAugment[4]通过学习增强器网络来执行形状变换和逐点位移对于文献中尚未评估模型的数据集，我们使用作者（3）PointMixup[5]使用两个点云之间的插值样本4.1. 形状分类和零件分割我们评估我们的方法形状分类使用合成数据集（MN40）和现实世界的数据集（SONN）。此外，我们进行实验的合成数据集（ShapeNetPart）的部分分割。形 状 分 类 。 表 1 显 示 ， 与 其 他 增 强 方 法 （ CDA 、PointAug- ment 和 PointMixup ） 相 比 ， 我 们 的PointWOLF在所有三种模型的MN 40和ReducedMN 40上实现了整体准确性的一致改进。观察到MN 40和ReducedMN 40是预对齐的合成数据集，并且有趣的是，由CDA（w/o R）表示的没有旋转的CDA优于CDA 。 尽 管 数 据 集 饱 和 ， 但 与 使 用 PointNet 的ReducedMN40上的最佳基线相比，PointWOLF将整体准确性提高了1.6%。接下来，表2显示了SONN的实验结果，SONN是一个更具挑战性和多样性的真实世界数据集。正如预期的那样，PointWOLF的多样化和现实的增强样本显着提高了所有三种模型在OBJ_ONLY和PB_T50_RS上的性 能 。 具 体 而 言 ， 在 PB_T50_RS 上 ， 与 CDA 、PointAugment和PointMixup相比，PointNet++的性能分别提高了4.7%、6.2%和3.5%。我们的Point- WOLF模型在具有现实世界数据的挑战性案例中更有优势。部件分割。给定点云，零件分割是逐点分类，其中模型预测每个点pi的标签。 在部分分割中，为了导出在对象水平处的混合比α~in（7），我们简单地使用针对我们的Aug_Tune的逐像 素置信度得 分的平均值 ，即例如，cP=icpi/|P|. 表3中的实验555∼CC联系我们联系我们表3. ShapeNetPart上的总体平均IoU（mIoU）。方法航空的飞机袋帽车椅子耳朵电话吉他刀灯labtop马达杯手枪火箭 滑板桌自行车板MiouPointNet81.874.7 80.2 71.9 89.671.590.384.979.595.265.291.181.155.172.882.283.5+PointWOLF 82.573.3 78.8 73.2 89.672.291.286.279.795.264.692.580.256.673.182.283.8PointNet++81.983.4 86.4 78.6 90.564.791.483.183.495.169.694.782.856.976.082.384.8+PointWOLF 82.083.9 87.3 77.6 90.678.491.187.684.795.262.094.581.362.575.783.285.2DGCNN82.275.1 81.3 78.2 90.673.690.887.884.495.657.892.880.651.573.982.884.8+PointWOLF 82.973.3 83.5 76.7 90.876.791.489.285.295.853.794.080.154.974.383.485.2表4. PointWOLF消融。R：旋转，S：缩放，T：平移。表5. 搜索空间稳健性比较。局部变换RS不精度搜索空间不带AugTune带AugTuneS88.889.22S87.688.63S86.188.0表6.AugTune的插值空间。表明在ShapeNetPart [26]上，PointWOLF始终提高了基线的平均IoU（mIoU）（PointNet为0.3%，PointNet++和DGCNN为0.4%），证明了PointWOLF对逐点任务的适用性4.2. PointWOLF与Augtune分析我们使用PointNet++对SONN（OBJ_ONLY）数据集 进 行 消 融 研 究 和 分 析 ， 以 分 析 PointWOLF 和AugTune 每 个 组 件 局 部 转 化 消 融 。 表 4 报 告 了PointWOLF中三种类型的局部变换的消融：旋转（R）、缩放（S）和平移（T）。没有局部变换的PointWOLF等效于PointNet++[3]关于CDA所有三种类型的局部变换有助于准确度增益。最好的性能是通过+RST获得的，它利用了所有三个局部变换，提供了3.5%的改进，超过基线，没有局部变换表示为AugTune消融。我们评估如何有效地八月调整控制次优的增强范围的增强强度。我们设置增强范围S=（ρr=15◦，ρs=2，ρt=1），并使用增强范围的倍数：kS=（kρr，kρs，kρt）。表5示出了具有AugTune的Point-WOLF 优 于 具 有 AugTune 的 PointWOLF0.4%1.9%。我们的AugTune简化并加速了增强强度调整，具有一个难度系数λ。我们的AugTune也有利于其他增强方法，例如，CDA，（见附录）。AugTune的插值空间。AugTune可以考虑两个插值空间：输入数据空间和变换（参数）空间。虽然直接调整转换参数似乎很自然，但我们已经通过实验表明，输入数据空间精度复杂性变换空间88.1O（MN）输入数据空间89.7O（N）空间是一个明智选择。表6显示了AugTune在输入数据空间中的性能和计算效率方面的优势。对于N个点和M个锚点，变换（参数）空间中的AugTune需要在O（MN）中为每个点和每个锚点计算新的变换。相反，输入数据空间中的Aug- Tune简单地内插点（即，对于每个p），时间复杂度为O（N）。4.3. 对腐败的另外的研究表明，我们的PointWOLF改进了模型对各种损坏的鲁棒性，如图3所示。首先，我们考虑两种局部腐蚀：（1）LocalDrop删除本地集群，（2）Lo-calAdd添加本地群集，其中群集包含从随机选择的聚类中心点的K个最近点。在这两种情况下，我们使用K=50。其次，为了检查对全局腐败的一般鲁棒性，我们执行随机逐点（3）Dropout，其中Dropout率为r〇。25，0。5，0。75和（4）通过从具有标准偏差σ。的高斯分布中提取的偏移的噪声扰动。010 03，0。05.我们使用CDA（基线）和Point-WOLF和评估他们对损坏的样本的本地和全球的腐败以上。表7中的MN 40上的实验结果表明，与CDA相比，Point-WOLF一致且显著地提高了针对各种损坏的鲁棒性。重要的是，超过基线的增益显著增加，因为corrup的量增加没有一✓✓✓✓✓✓86.6+R88.1+S88.6+T89.5+R，S，T89.7556CC(a) LocalDrop（b）本地添加 （c）丢弃（d）噪声图3. 地方和全球腐败的例证。（一）及(b) 是局部损坏，而（c）和（d）是全局损坏。表7. 对腐败的鲁棒性。腐败CDA PointWOLFC=3 67.0 68.8（1.8↑）（a）扭转（b）剪切LocalDrop本地添加辍学C=5C=7C=3C=5C=7r=0.25r =0.563.2 66.5（3.3↑）52.8 60.0（7.2↑）73.9 77.2（3.3↑）63.5 69.4（5.9↑）51.5 64.6（13.1↑）91.2 92.2（1.0↑）84.0 90.4（6.4↑）（c）部分缩放（d）组合图4. 《变形金刚》PointWolf 在每个变换中，局部变换的样本（右）是gen-t。r=0.75 29.5 60.8（31.3↑）从原始样品中分离（左）。噪声σ=0.01σ=0.0391.5 93.0（1.5↑）78.8 87.6（8.8↑）选项。从这个意义上说，PointWOLF可以自适应地允许一组经常模仿高级defor的局部转换σ=0.05 22.9 45.1（22.2↑）结果增加：LocalDrop（= 7）为7.2% ，Lo-calAdd（=7）为13.1%，Dropout为31.3%（r=0. 75）和噪声（〇 = 0. 05）的情况。我们相信，在点-狼的局部加权变换增强的不同的样本帮助模型学习更强大的功能，对4.4. 定性分析虽然PointWOLF本质上利用简单的变换，如旋转，缩放和平移，有趣的是，我们发现PointWOLF经常模仿高度先进的，但现实的全球变形，如扭转和剪切，不能平凡地应用于点云。我们通过以下方式实现这一点：（1）将变换投影到轴的随机子集，以及（2）允许AugTune识别"有益"情况，有趣的是，这些情况被证明是一组现实的变形。图4显示了几个这样的示例。例如，当两个锚点位于图4（a）中的凳子的顶部和底部时，当凳子仅沿上轴线旋转同时保持亮区域的近锚形状时发生扭转类似地，局部缩放和平移的组合产生剪切或部分缩放。事实上，许多自然保持形状同一性的高级变形通常由更简单的变换的组合来定义，mations。重要的是，了解这些来自局部变换的视觉上可解释的增强如何也带来经验益处，理解和利用局部结构对于点云上的成功DA至关重要。5. 结论我们提出了一种新的点云增强方法，PointWOLF，它增加了点云加权局部变换。我们的方法生成了多样化和现实主义的增强样本，具有平滑变化的变形，制定为内核回归，并带来了显着的改进点云任务在几个数据集。此外，为了在广阔的搜索空间中找到最佳增强，我们的AugTune在训练期间使用单个超参数自适应地控制增强的强度。我们的研究结果表明，我们产生的增强不仅在视觉上逼真，而且有利于模型，进一步验证了理解点云局部结构的重要性。致谢。这项工作得到了ICT Creative Consistience计划（IITP-2021-2020-0-01819）的支持，该计划由IITP监督 ， CPU 漏 洞 检 测 和 验 证 研 究 （ 编 号 ： 2020 -01819）。2019-0-00533）、韩国政府（MSIT）的国家科学技术研究委员会（NST）资助（No.CAP-18-03-ETRI）和Samsung Electronics。557引用[1] Mikaela Angelina Uy 、 Quang-Hieu Pham 、 Binh-SonHua、Duc Thanh Nguyen和Sai-Kit Yeung。重温点云分类：一个新的基准数据集和分类模型在现实世界的数据。在ICCV，第1588一、三、五[2] Charles Ruzhongtai Qi ， Hao Su ， Kaichun Mo ， andLeonidas J. Guibas Pointnet：对点集进行深度学习，用于3D分类和分割。在CVPR，第77- 85页，2017年。一、二、三[3] Charles Ruzhongtai Qi，Li Yi，Hao Su，and Leonidas J.Guibas Pointnet++：度量空间中点集的深度层次特征学习。在NeurIPS，第5099-5108页，2017年。一二三六七[4] Ruihui Li，Xianzhi Li，Pheng-Ann Heng，and Chi-WingFu.点：一个用于点云分类的自动增强框架。在CVPR中，第6377-6386页，2020年。二、六[5] Yunlu Chen ， Vincent Tao Hu ， Efstratios Gavves ，Thomas Mensink，Pascal Mettes，Pengwan Yang，andCees G. M.斯诺克Pointmixup：点云的增强。在ECCV，第330-345页，2020中。二、五、六[6] 张宏 毅， Moustapha Cissé ，Yann N. Dauphin和 DavidLopez-Paz mixup：超越经验风险最小化。在ICLR，2018年。2[7] Maximilian Jaritz，顾嘉源，苏浩。用于三维场景理解的多视点网络。在ICCV，第3995- 4003页，2019年。2[8] Charles Ruizhongtai Qi ， Hao Su ， Matthias Nießner ，Angela Dai，Mengyuan Yan，and Leonidas J. Guibas用于三维数据对象分类的体积和多视图cnn。在CVPR中，第5648-5656页，2016年。2[9] Hang Su，Subhransu Maji，Evangelos Kalogerakis，andErik G.学习米勒。用于三维形状识别的多视图卷积神经网络在ICCV，第9452[10] 谭语，孟晶晶，袁俊松。三维物体识别的多视角协调双线性网络。在CVPR，第186-194页，2018年。2[11] 克 里 斯 托 夫 ·B.Choy ， JunYoung Gwak ， and SilvioSavarese.4dspatio-temporalconvnets：Minkowskiconvolutional neural networks.在CVPR中，第3075-3084页，2019年。2[12] Liu Zhijian Liu ，Haotian Tang，Yujun Lin，and SongHan.点体素CNN用于高效的3D深度学习。在NeurIPS，第963-973页2[13] Christopher Choy，Jaesik Park和Vladlen Koltun。完全卷积几何特征。在ICCV，第8957- 8965页，2019年。2[14] 吴 志 荣 ， 宋 舒 然 ， Aditya Khosla ， Fisher Yu ， Lin-guang Zhang ， Xiaoou Tang ， and Jianxiong Xiao. 3dshapenets：体积形状的深度表示。在CVPR中，第1912-1920页，2015年。二三五[15] 尹周和昂塞尔·图泽尔。Voxelnet：基于点云的3D对象检测的端到端学习。在CVPR中，第4490-4499页，2018年。2[16] Binh-Son Hua、Minh-Khoi Tran和Sai-Kit Yeung。逐点卷积神经网络。在CVPR中，第984- 993页，2018年。2[17] Yangyan Li，Rui Bu，Mingchao Sun，Wei Wu，XinhanDi，and Baoquan Chen.Pointcnn：x变换点上的卷积在NeurIPS，第828-838页，2018年。2[18] Yongcheng Liu ， Bin Fan ， Shiming Xiang ， andChunhong Pan.用于点云分析的关系-形状卷积神经网络。在CVPR中，第8895-8904页，2019年。2[19] 作者：Charles R. Qi，Jean-Emmanuel Deschaud，Beat