点云分类中的自动增强方法

6378PointAugment：一种用于点云分类的自动增强框架李贤智李鹏安邢志荣傅瑞辉香港{lirh，xzli，pheng，cwfu}@ cse.cuhk.edu.hk摘要我们提出了PointAugment1，这是一个新的自动增强框架，可以在训练时自动优化和增强分类网络。与现有的2D图像自动增强方法不同，PointAugment是样本感知的，并采用对抗学习策略来联合优化增强器网络和分类器网络，使得增强器可以学习产生最适合分类器的增强样本。此外，我们制定了一个可学习的点增强函数与形状的变换和逐点位移，并仔细设计损失函数，以采用基于分类器的学习进度大量的实验也证实了PointAugment算法1. 介绍近年来，人们对深度神经网络的解压缩越来越感兴趣[23，24，37，19，18]，用于3D点云处理。鲁棒地训练网络通常依赖于数据的可用性和多样性。然而，与ImageNet [10]和MS COCO数据集[15]等具有数百万训练样本的2D图像基准不同，3D数据集的数量通常要小得多，标签数量相对较少，多样性有限。例如，ModelNet40 [38]是3D点云分类最常用的基准之一，只有40个类别的12，311个模型。有限的数据量和多样性可能会导致过拟合问题，并进一步影响网络的泛化能力。数据增广（DA）是目前一种非常常用的策略，它通过人为地增加训练样本的数量和多样性来避免过拟合，提高网络的泛化能力对于3D点云，由于1代码：https://github.com/liruihui/PointAugment图1：ModelNet40上的分类准确率（%），使用或不使用我们的PointAugment训练网络。我们可以在四个有代表性的网络上看到明显的改进。更多比较结果见第5节。在3D中，有限数量的训练样本和巨大的扩增空间，传统的DA策略[23，24]通常简单地在小的和固定的预定义扩增范围内随机地扰动输入点云以保持类别标签。尽管其对于现有分类网络是有效的，但这种传统的DA方法可能导致训练不足，如下所述。首先，用于深3D点云处理的现有方法将网络训练和DA视为两个独立的阶段，而没有联合优化它们，例如，反馈培训结果，提高DA。因此，经过训练的网络可能是次优的。其次，现有的方法apply相同的固定扩增过程与旋转，缩放，和/或抖动，所有输入点云样本。样本的形状复杂性在增强中被忽略，例如，，球体无论如何旋转都保持不变，但复杂的形状可能需要更大的旋转。因此，常规DA可能是冗余的或不足以增强训练样本[6]。为了提高点云样本的增强效果，我们提出了一种新的点云自动增强框架PointAugment，并证明了它的有效性。6379增强形状分类的能力;见图1与以前的2D图像工作不同，PointAugment学习产生特定于单个样本的增强函数。此外，可学习增强函数考虑了与3D点云样本的特性相关的形状变换和点位移此外，PointAugment通过对抗学习策略与网络训练联合优化增强过程，以端到端的方式训练增强网络（增强器）和分类网络（分类器）。通过将分类器损失作为反馈，增强器可以学习通过扩大类内数据变化来丰富输入样本，而分类器可以学习通过提取不敏感特征来对抗这种情况。受益于这种对抗性学习，增强器然后可以学习生成在训练的不同阶段中最适合分类器的增强样本，从而最大化分类器的能力。作为探索3D点云自动增强的第一次尝试，我们通过用PointAugment替换传统的DA，可以在四个代表性网络（包括PointNet [23]，PointNet++ [24]，RSCNN [18]和DGCNN [3]）上实现ModelNet40 [ 38 ]（见图1）和SHREC 16 [ 28 ]（见第5节）数据集的形状分类的明显改进7]。此外，我们证明了PointAugment的形状检索的有效性，并评估其鲁棒性，损失配置和模块化设计。更多结果见第5节。2. 相关工作图像上的数据增强。 训练数据对于深度神经网络学习执行任务起着非常重要的作用。然而，与我们现实世界的复杂性相比，训练数据通常具有有限的数量，因此通常需要数据增强作为一种手段来扩大训练集并最大限度地提高网络可以从训练数据中学习的知识代替随机变换训练数据样本[42，41]，一些作品试图通过使用图像组合[12]、生成式对抗网络（GAN）[31，27]、贝叶斯优化[35]和潜在空间中的图像插值[4，16，2]从原始数据生成增强样本。然而，这些方法可能产生与原始数据不同的不可靠样本.另一方面，一些图像DA技术[12，42，41]对具有规则结构的图像应用逐像素插值;然而，它们不能处理顺序不变的点云。另一种方法旨在找到预定义的变换函数的最佳组合以增强训练样本，而不是基于手动设计或通过完全随机来应用变换函数。AutoAugment [3]建议强化学习通过交替训练代理任务和策略控制器，然后将学习到的增强函数应用于输入数据来找到最佳增强函数集的策略。不久之后，另外两个作品FastAugment [14]和PBA [8]探索了高级超参数优化方法，以更有效地找到增强的最佳变换。与这些学习为所有训练样本找到固定增强策略的方法不同，PointAugment是样本感知的，这意味着我们在训练过程中根据单个训练样本的属性和网络能力动态生成转换函数。最近，Tang等人。 [33] Zhang et al. [43]建议使用对抗策略学习目标任务的增强策略。它们倾向于直接最大化增强样本的损失，以提高图像分类网络的泛化能力相应地，PointAugment通过显式设计的边界扩大了增强点云与原始点云之间的损失（详见4.2节）;它动态调整增强样本的难度，以便增强样本可以更好地适应不同训练阶段的分类器。点云上的数据增强。在现有的点处理网络中，数据增强主要包括围绕重力轴的随机旋转、随机缩放和随机抖动[23，24]。这些手工制定的规则在整个训练过程中是固定的，因此我们可能无法获得有效训练网络的最佳样本到目前为止，我们还没有发现任何探索自动增强以最大限度地利用3D点云进行网络学习的工作。点云上的深度学习。改进PointNet架构[23]，一些作品[24，17，18]探索了局部结构以增强特征学习。其他一些人通过创建局部图[36，37，29，45]或几何元素[11，22]来探索图卷积网络另一种工作流[32，34，19]将不规则的点投影到规则的空间中，以允许传统的卷积神经网络工作。与上述工作不同的是，我们的目标不是设计一个新的网络，而是通过有效地优化点云样本的增加来提高现有网络的分类性能。为此，我们设计了一个增强器来学习样本特定的增强函数，并根据分类器的学习进度来调整增强3. 概述这项工作的主要贡献是PointAugment框架，该框架自动优化输入点云样本的增强，以更有效地训练分类网络。图2展示了我们框架的设计，它有两个深度神经网络组件，分量：（i）增强器A和（ii）分类器C。给定6380i=1图2：PointAugment框架的概述。我们以端到端的方式使用对抗学习策略联合优化增强器和分类器输入训练数据集{Pi}MM个样本，其中每个样本样本有N个点，在我们用sam训练分类器C我们首先将Pi馈送到我们的增强器A以生成增广样本P′。然后，我们分别供给Pi和P′图3：增强器和分类器的图示。的增广器从P生成增广样本P′，我我对分类器C进行训练，并进一步将C在详细说明PointAugment框架之前，我们首先讨论我们框架背后的主要思想。这些是新的想法（在以前的作品中不存在[3，14，8]），使我们能够有效地增强训练样本，现在是3D点云而不是2D图像。• 样本感知。而不是找到一个通用的一套增强政策或程序处理每一个输入数据样本，我们的目标是回归一个特定的aug-通过考虑样本的潜在几何结构，为每个输入样本创建分段函数。我们称之为样本感知自动增强。• 2D vs. 3D增强。与图像的2D增强不同，3D增强涉及更大且不同的空间域。会计性质对于3D点云，我们考虑点云样本上的两种变换：形状变换（包括旋转、缩放及其组合）和点位移（点位置的抖动），其中我们的增强器应该学习产生它们以增强网络训练。• 联合优化。在网络训练过程中，分类器会逐渐学习，变得更强大，因此我们需要更具挑战性的增强样本以更好地训练分类器，因为分类器变得更强。因此，我们以端到端的方式设计和训练PointAug-ment框架，这样我们就可以联合优化增强器和分类器。为此，我们必须仔细设计损失函数，并动态调整增强样本的难度，同时考虑输入样本和分类器的容量。4. 方法在本节中，我们首先介绍增强器和分类器的网络架构细节（第4.1节）。然后，我们给出了我们为增强子（4.2节）和分类器（4.3节）制定的损失函数，并介绍了分类器预测给定P′或P作为输入的类标签。图4：我们的增强器实现。我们的端到端培训策略（第4.4节）。最后，我们介绍实现细节（第4.5节）。4.1. 网络架构增强剂与现有的工作[3，14，8]不同，我们的增强器是样本感知的，它学习生成一个特定的函数来增强每个输入样本。从现在开始，为了便于阅读，我们去掉下标i，并表示P作为增强器A的训练样本输入，A .对应的增广样本输出我们的增强器的整体架构如图3（顶部）所示。首先，我们使用逐点特征提取单元来嵌入所有N个点的点特征F∈RN×C在P中，其中C是特征通道的数量。 从F，然后，我们使用架构中的两个单独的组件来回归特定于输入样本P的增强函数：（i）形回归产生变换M∈R3×3，（ii）点回归产生位移D ∈RN×3。 注意，学习的M是线性的矩阵在3D空间中，主要结合旋转和缩放，而学习的D给出逐点平移和抖动。使用M和D，我们可以生成增广样本P′为P·M+D。我们提出的增强器框架的设计是通用的，这意味着我们可以使用不同的模型来构建其组件。图4显示了我们当前的IM-6381c=1cc实施，以供参考。具体来说，类似于点网[23]，我们首先采用一系列共享的多层感知器（MLP）来提取每点特征F∈RN×C。然后利用最大池化方法得到每个形状的特征向量G∈R1×C。为了回归M，我们生成C-基于高斯分布的维数噪声矢量，以及将其与G连接，然后使用MLP来获得M。注意，噪声向量使增强器能够探索通过引入回归过程的随机性，在回归变换矩阵时有更多样的选择。为了回归D，我们连接G的N个拷贝，F，以及N×C噪声矩阵，其值为基于高斯分布随机且独立地生成最后，我们使用MLP来获得D。分类器图3（底部）显示了分类器C的一般架构。 它在两轮中分别将P和P′作为输入，并预测相应的类标签y和y′。y和y′都∈R1×K，其中K是分类问题中的类的总数。一般来说，C先提取每个形状的全局特征Fg或F′∈R1×Cg（从图5：方程的曲线图（二）、引入动态参数ρ并将LA重新公式化为LA=|1 .一、0−exp[L（P′）− ρL（P）]|.（二）参见图5中的Eq.（二）、在这个公式中，我们希望L（P′）很大（对于要求（i）），但又不应该太大（对于要求（ii）），所以我们用ρL（P）来上界L（P′）.因此，我们可以得到′′g=L（P）−L（P）≤（ρ−1）L（P），（3）P或P），然后采用全连接层回归类标签。此外，实现C的选择是灵活的。我们可以采用不同的分类网络作为C。在第5节中，我们将展示几个当在训练中配备我们的增强器时，可以进一步增强传统的分类网络4.2. 加力燃烧室损失为了最大限度地提高网络的学习能力，′其中，我们将λ 0=（ρ − 1）L（P）表示为λ 0的上界。注意，当我们训练增广器时，分类器是固定的（将在4.4节中介绍），所以L（P）是固定的。因此，ξo仅取决于ρ。因为它应该是非负的，所以我们保证ρ≥1.此外，考虑到分类器在训练开始时非常脆弱因此，我们更注重训练分类器，而不是生成一个具有挑战性的P′。 因此，不应将太大，这意味着P′不应该太具有挑战性。增强器产生的P应满足两个要求-（ 1 ）P′比 P 更具 有挑 战性 ， 即 我们 的目 标是L（P′）≥L（P）;（ii）P′不应该失去它的形状独特性，这意味着它应该描述一个与P不太远（或不同）的形状。稍后，当分类器变得更强大时，我们可以逐渐扩大Paddo，以允许增强器生成更具挑战性的P′。因此，我们设计了一个动态ρ来控制ξo，用下面的公式：为了实现要求（i），用公式表示增强器的损失函数（表示为LA）的简单方式是最大化交叉熵损失之间的差ρ= max.1，exp（ΣKc=1yc·yc）Σ、（四）在P和P′上，或者等价地，LA= exp[−（L（P′）−L（P））]，（1）其中max（1，*）确保ρ≥1。在网络训练的开始，分类器预测可能不准确。因此，预测概率γc通常较小，其中L（P）=−ΣKy=10 g（y））是P的交叉进入y损失;因此ρ很小，根据等式，（三）、当分类器变得更强大时，yc将y∈{0，1}表示当Py c∈ [0，1]是预测P为第c类的概率。还要注意，对于P′比P更具挑战性，我们假设L（P′）≥L（P）增加，我们将相应地得到更大的ρ和ρo。最后，为了进一步确保增强样本P′是形状独特的（对于要求（ii）），我们添加L（P′），作为忠诚度术语，到Eq.（2）构造最终损失LA：L（P′）越大，则表明augmen-′ ′的量级越大6382它可以定义为L=L（P′）−L（P）。然而，如果我们天真地最小化Eq。（1）对于LA→0，我们鼓励L（P′）−L（P）→∞。因此，P′的简单解是一个与P无关的任意样本。这样的P′显然违反了要求（ii）。因此，我们进一步限制aug-心理活动强度受LS-GAN的启发[25]，我们首先LA= L（P）+ λ|1 .一、0− exp（L（P）− ρL（P））|、（五）其中λ是用于控制每个项的相对重要性的固定超参数。一个小的λ鼓励aug-导师更多地关注分类，P，反之亦然。在我们的实现（所有实验）中，我们设置λ=1以同等对待这两个项6383i=1i=1′我我4.3. 分类器损失算法1：PointAugment中的训练策略分类器C的目标是正确地预测P输入：训练点集{Pi}M，对应和P′。此外，C还应该有能力学习稳定的每形状全局特征，无论给定P或P′作为输入。因此，我们将分类器损失LC公式化为：LC=L（P）+L（P）+γ<$Fg−Fg′ <$2，（6）其中γ是为了平衡项的重要性（我们em-ground-truthclasslabels{yi}M训练周期数S。输出：C和A。对于s=1，···，S做对于i=1，···，M，//更新增强器A，以及将γ设为10.0），并且−F′帮助明确PE-从Pi生成增广样本P′Gg2我使增强后的样本与原始样本的特征差异化，使网络训练更加稳定。4.4. 端到端培训策略算法1总结了我们的端到端训练策略。总的来说，该过程交替地优化和更新增强器A和分类器中的可学习参数C，同时修复另一个，在训练过程中。以─用方程计算加力燃烧室损失。（五）更新A//更新分类器C使用等式计算分类器损失（6）通过将Pi和P′交替地喂给C更新C中的可学习参数端端放置样本Pi，我们首先使用A来生成其增广的样本P′。然后我们更新A用方程计算加力燃烧室损失（五）、在此步骤中，我们保持C不变。在更新A之后，我们保持A不-改变，并生成更新的P′。然后我们给Pi喂食，表1：ModelNet 10（MN 10）的统计数据[38]，模型-Net40（MN40）[38]和SHREC 16（SR16）[28]数据集，包括类别（类）的数量，伊P1到C逐一地，以分别获得L（P）和L（P）并通过计算训练和测试样本，平均样本数每个类别，以及相应的标准偏差值。分类器损失使用等式（六）、这样，我们可以优化并以端到端的方式训练A和C4.5. 实现细节我们使用PyTorch实现PointAugment [21]。详细地说，我们设置训练时期的数量S=250，批量B=24。 为了训练增强器，我们采用亚当优化器，学习率为0.001。 培养分类器，我们按照各自的原始配置从发布的代码和文件。具体来说，对于PointNet [23]，PointNet++ [24]和RSCNN [18]，我们使用Adam优化器，初始学习率为0.001，逐渐降低，每20个epoch的衰减率为0.5。对于DGCNN [37]，我们使用SGD求解器，动量为0.9，基本学习率为0.1，使用余弦退火策略[9]衰减。还要注意的是，为了减少模型振荡[5]，我们遵循[31]通过使用混合训练样本来训练PointAugment，其中包含原始训练样本作为一半，而不是仅使用原始训练样本。详情请参阅[31]。此外，为了避免过拟合，我们将丢弃概率设置为0.5，以随机丢弃或保持回归的形状变换和点位移。在测试阶段，我们遵循之前的网络[23，24]将输入测试样本馈送到训练的分类器以获得预测的标签，而无需任何额外的计算成本。5. 实验我们对PointAugment进行了大量的实验。首先，我们介绍实验中使用的基准数据集和分类器（第5.1节）。然后，我们评估PointAugment的形状分类和形状检索（第5.2节）。接下来，我们对PointAugment最后，我们提出了进一步的讨论和潜在的未来扩展（第5.4节）。5.1. 数据集和分类器数据集。我们在评估中使用了三个3D基准数据集，即，ModelNet10 [38]，ModelNet40 [38]和SHREC 16[28]，我们分别将其表示为MN 10，MN 40和SR 16表1给出了关于数据集的统计数据，表明MN10是一个非常小的数据集，只有10个类。虽然大多数网络[23，17]可以在MN10上实现高分类精度，但它们可能很容易过拟合。SR16是最大的数据，拥有超过36，000个训练样本。然而，高标准偏差（std.）数据集#类#培训测试次数平均STD.MN10103991908399.10233.36公司简介4098432468246.07188.646384表2：对于配备有常规DA（前四行）和我们的PA（后四行）的各种分类器，比较MN 40、MN 10和SR 16上的总体形状分类准确度（%）;PA表示PointAugment。我们可以观察到所有数据集和所有分类器的改进。表3：比较MN40上配备传统DA或我们的PointAugment的各种方法的形状恢复结果（mAP，%）。同样，我们可以观察到所有四种方法在检索准确性方面的明显改善值即1111示出了训练样本在类之间的不均匀分布。例如，在SR16中，Table类有5，905个训练样本，而Cap类只有39个训练样本。对于MN40，我们直接采用PointNet [23]提供的数据，并遵循相同的训练测试分割。对于MN10和SR16，我们在每个网格表面上均匀采样1，024个点，并归一化点集以拟合以原点为中心的单位球。分类器。如4.1节所述，我们的整体框架是通用的，我们可以使用不同的分类网络作为分类器C。为了表明传统分类网络的性能可以进一步提高，当配备了我们的增强器时，在下面的实验中，我们采用了几个代表性的分类网络作为分类器C，包括（i）点网[23]，一个处理单独点的先驱网络（ii）PointNet++ [24]，一个分层特征提取网络;（iii）RSCNN 1[18]，最近发布的PointNet++增强版，在每个局部区域内具有关系权重;以及（iv）DGCNN [37]，一种基于图的特征提取网络。请注意，大多数现有的网络[44，34，17]是从上述网络构建和扩展的，具有各种适应手段。5.2. PointAugment评价形状分类。首先，我们使用第5.1节中列出的分类器评估我们的PointAugment在形状分类任务上的应用。为了比较，当我们在没有PointAugment的情况下训练分类器时，我们遵循[24]通过随机旋转，缩放和抖动来增强训练样本，这被认为是传统的DA。表2总结了用于比较的定量评价结果。我们报告了每个分类器在所有三个基准数据集上的总体分类准确率（%），使用传统DA和我们的PointAug。1到目前为止，只有单尺度RSCNN [18]被发布图6：MN40上的形状检索结果。对于左侧的每个查询形 状 ，我 们 呈 现 两行 Top-10 检 索 结果 ： 顶 行 使用PointNet [23]，底行使用PointNet+PointAugment。请注意，明显错误的检索结果用红色箭头标记。是的。从结果中我们可以清楚地看到，通过采用PointAugment，所有分类器网络的形状分类精度都可以提高所有三个基准数据集。特别是，在MN40上，DGCNN+PointAugment实现的分类准确率为93.4%，这是一个非常高的准确率值，可与最近的作品[44，34，17]相媲美。此外，我们的PointAugment被证明是更有效的不平衡SR 16数据集;参见表2中最右边的列，其示出了PointAug- ment可以通过我们的样本感知自动增强策略来减轻类大小不平衡问题，以向增强的样本引入更多的类内变化。形状检索。为了验证PointAugment是否有助于分类器学习更好的形状签名，我们比较了MN40上的形状检索性能具体地说，我们把测试分割中的每个样本作为一个查询，并通过比较它们的全局特征Fg之间的余弦相似度来从测试分割中检索最佳相似形状。在本实验中，我们采用平均平均精密度（mAP）作为评估指标。表3给出了评估结果，清楚地表明PointAugment改进了形状检索。方法常规DAPointAugment变化方法型号：MN10SR16PointNet [23]70.575.85.2↑PointNet [23]89.2 91.984.4[24]第二十四话81.386.75.4↑[24]第二十四话90.7 93.385.1RSCNN [18]83.286.63.4↑RSCNN [18]91.7 94.286.6DGCNN [37]85.389.03.7↑DGCNN [37]92.2 94.887.0PointNet（+PA）90.9（1.7↑）94.1（2.2↑）88.4（4.0↑）PointNet++（+PA）92.9（2.2↑）95.8（2.5↑）89.5（4.4↑）RSCNN（+PA） 92.7（1.0↑）96.0（1.8↑）90.1（3.5↑）6385表4：比较我们的PointAugment与传统DA的稳健性测试。这里，我们通过随机抖动（Jitt.）破坏每个输入测试使用[-1.0，1.0]中的高斯噪声，以0.9或1.1的比例缩放，或沿重力轴旋转90◦或180◦此外，我们显示原始精度（Ori。）而不使用损坏的样本。方法奥里Jitt.0.91.190◦180◦无DA89.188.288.288.248.240.1常规DA90.790.390.390.389.989.7PointAugment92.992.892.892.892.792.6表5：PointAugment的消融研究。D：逐点位移，M：形状变换，DP：dropout和Mix：混合训练样本（参见第4.4节）。模型DMDP混合Acc.Inc.↑一90.7-BC91.71.0CC91.91.2DCC92.51.8ECCC92.82.1FCCCC92.92.2所有四个分类器网络的分类器。特别是对于PointNet[23]和PointNet++ [24]，改进的百分比超过5%。此外，我们在图6中显示了三种不同查询模型的形状检索的可视化结果。 与配备传统DA的原始PointNet [23]相比，具有PointAugment的增强版本产生更准确的检索。5.3. PointAugment分析此外，我们还进行了更多实验以评估PointAugment的各个方面，包括稳健性测试（第5.3.1节）、消融研究（第5.3.2节）以及对其Augmentor网络的详细分析（第5.3.3节）。请注意，在这些实验中，我们采用PointNet++[24]作为分类器，并在MN40上进行实验。5.3.1稳健性测试我们通过使用以下五种设置破坏测试样本来进行鲁棒性测试：（i）添加随机抖动和高斯噪声范围[-1。0，1。（ii，iii）加入比例为0.9或1.1的统一标度;以及（iv，v）添加沿着重力轴的90°或180°的旋转。对于每种设置，我们使用三种不同的DA策略：无DA，传统DA和我们的PointAugment。表4报告了结果，其中我们还显示了原始测试准确度（Ori.）而不使用损坏的测试样品作为参考。前两行的结果表明图7：评价曲线：在训练时期内使用不同版本的LA的形状分类精度。DA是提高分类性能的有效途径。此外，比较表中的最后两行，我们可以看到，对于所有设置，我们的PointAugment一致优于传统的DA，后者是基于随机的，可能不会一直产生良好的增强样本。特别是，通过将结果与原始测试准确度进行比较，PointAugment对破坏不太敏感，实现的准确度仅略有降低这样的结果表明，PointAugment提高了网络的鲁棒性，具有更好的形状识别。5.3.2消融研究表 5 总 结 了 消 融 研 究 的 结 果 模 型 A 表 示 PointNet++[24]，没有我们的增强器，它给出了90.7%的基线分类准确度。在模型A的顶部，我们使用我们的增强器与逐点离散-单独放置D（模型B）、单独使用形状变换M根据表5中前四行所示的结果，我们可以每个增强函数都有助于产生更有效的增强样本。此外，我们还废除了用于训练的辍学策略（DP），以及混合训练样本（Mix）的使用，如第4.5节所述，我们创建模型E &F进行比较;参见表5。通过比较模型D、E和F实现的分类精度，我们可以看到DP和Mix都有助于略微改善整体结果。注意，这些策略通常用于稳定模型训练和探索更多转换。5.3.3增强剂分析分析LA。如第4.2节所述，我们采用LA（见方程4.2）。（5）指导增强器的训练为了证明其优越性，我们将其与（i）简单的版本（参见Eq.（1））及（ii）基线，即，PointNet++中采用的传统DA [24]。图7绘制了根据训练时期的评估准确度曲线。6386表6：差异的分类准确度（%）式中的λ（五）、λ =0。5λ =1。0λ =2。092.192.992.3表7：具有差异的准确度（%）特征提取单元密度转换边缘转换我们92.592.792.9显然，使用简单版本实现的训练状态是非常不稳定的;请参见灰色图。这表明，简单地不加限制地扩大P和P′之间的差异将在训练过程中产生动荡，当与基线一致时，分类性能变差;看橙色的图。对比图7中的蓝色和橙色图，我们可以看到，在训练开始时，由于扩增器是随机初始化的，因此采用PointAugment的准确性略低于基线。然而，当训练继续进行时，PointAugment迅速超过基线，并显示出明显的改善，显示出我们设计的增强器损失的有效性。方程中的超参数λ（五）、表6显示了不同λ选择的分类精度。正如我们在4.2节中提到的，较小的λ鼓励增广器更多地关注分类。 如果它太小，例如，0.5时，增强器倾向于在增强函数中不采取行动，从而导致更差的分类性能;参见表6中左两列中的比较。另一方面，如果我们设置较大的λ，例如，2.0，则扩充样本对于分类器来说可能太难这样的结果也阻碍 了 网 络 训 练 ; 见 最 右 边 的 一 栏 。 因此， 在PointAugment中，我们采用λ = 1。0来平等对待这两个组件。增强器结构设计分析。正如我们在第4.1节中提到的，我们采用逐点特征提取单元来嵌入给定火车的逐点特征F将样品P.在我们的实现中，我们使用共享的MLP来提取F。在这一部分中，我们进一步探索了用于替换MLP的特征提取单元的另外两种选择，[17]和EdgeConv [37]。详细方法请表7显示了三种实现方式的准确度比较。从结果中我们可以看出，虽然与DenseConv和EdgeConv相比，使用MLP是一个相对简单的实现，但它可以带来最佳的分类性能。我们认为有以下原因。我们的增强器的目的是回归一个形状明智的变换-点位移M∈R3×3和点位移D ∈RN×3从每点特征F，这不是一个很难的任务如果用一个复杂的单元来提取F，则容易产生过拟合问题. 结果示于表7证明MLP已经足够我们的aug- mentor回归增广函数。5.4. 讨论和今后的工作总的来说，增强器网络以自我监督的方式学习样本级增强函数，通过从分类器获取反馈来更新其参数。因此，分类器网络的优势在于，通过探索那些良好调整的增强样本，分类器可以增强其能力，更好地学习发现不同类别之间的内在差异，并发现类别内不敏感的特征。在未来，我们计划将PointAugment用于更多任务，例如部分分割[23，18]，语义分割[20，45，1]，对象检测[39，30]，upsam-然而，值得特别注意的是，不同的任务需要不同的考虑。例如，对于部件分割，增强器最好是部件感知的，并且在不改变部件语义的情况下对部件产生失真;对于对象检测，增强器应该能够为3D场景中的各种对象实例生成更丰富的3D变换等。因此，一个未来的方向是探索部件感知或实例感知的自动增强，以扩展PointAugment用于其他任务。6. 结论我们介绍了PointAugment，这是我们所知道的第一个用于3D点云的自动增强框架，同时考虑了分类网络的能力和训练样本的复杂性首先，PointAugment是一个端到端的框架，它联合优化了增强器和分类器网络，使得增强器可以学习基于来自分类器的反馈进行改进，并且分类器可以学习处理更广泛的训练样本。其次，PointAugment是样本感知的，其增强器学习产生特定于输入样本的增强函数，具有用于处理点云样本的形状变换和逐点位移第三，我们制定了一个新的损失函数，使增强器能够动态调整的基础上的学习状态的分类器的增强幅度，使它可以生成增强样本，最适合的分类器在不同的训练阶段。最后，我们进行了广泛的实验，并展示了PointAug- ment如何有助于提高MN 40和SR 16数据集上四个代表性网络的性能。致谢。 我们感谢匿名评论者的宝贵意见。这项工作得到 香 港 特 别 行 政 区 研 究 资 助 局 （ CUHK 1420171714201918）及香港中文大学研究委员会2018/19年度研究直接补助金的支持。6387引用[1] 陈竹 天， 曾伟 ，杨 志光 ，于凌 云， 傅志 荣， 曲华民.LassoNet：3D点云的深度Lasso选择。IEEE Trans.Vis.&Comp. Graphics（IEEE Visualization），26（1）：195-204，2020。8[2] Zitian Cheny ， Yanwei Fuy ， Yinda Zhang ， Yu-GangJiang，Xiangyang Xue，and Leonid Sigal.用于一次性学习 的 多 级 语 义 特 征 增 强 IEEE Trans.图 像 处 理（TIP），28（9）：4594-4605，2019。2[3] Ekin D. Cubuk、Barret Zoph、Dandelion Mane、VijayVa-sudevan和Quoc V.乐AutoAugment：从数据中学习在IEEE Conf. on Computer Vision and Pattern Recognition（CVPR），第113二、三[4] 作者声明：Dr. Taylor.特征空间中的数据集扩充。在国际会议上学习表示（ICLR），2017年。2[5] 伊恩·古德费洛。NeurIPS 2016教程：生成对抗网络。arXiv预印本arXiv：1701.00160，2016年。5[6] 本杰明·格雷厄姆。分数最大池化。arXiv预印本arXiv：1412.6071，2014年。1[7] Pedro Hermosilla Tobias Ritschel和Timo Ropinski。总降噪：3D点云清理的无监督学习。在IEEE国际会议上计算机视觉（ICCV），第52-60页，2019年。8[8] Daniel Ho，Eric Liang，Ion Stoica，Pieter Abbeel，andXi Chen.基于人群的扩增：增强策略调度的高效学习。在机器学习国际会议上。（ICML），2019. 二、三[9] 高煌，李义轩，杰夫·普利斯，刘壮，约翰·E. Hopcroft和Kilian Q.温伯格快照集合：1号列车免费送M在国际会议上学习表示（ICLR），2017年。5[10] Alex Krizhevsky、Ilya Sutskever和Geoffrey E.辛顿使用深度卷积神经网络的ImageNet分类。神经信息处理系统会议和研讨会（NeurIPS），第1097-1105页，2012年。1[11] Loic Landrieu和Martin Simonovsky。基于超点图的大规模点 云语 义分割 。在 IEEE计算 机视 觉和模 式识 别（CVPR）会议上，第4558-4567页，2018年。2[12] 约瑟夫·莱姆利，沙巴布·巴兹拉夫坎，彼得·科科伦。智能增强学习最佳数据增强策略。IEEE Access，5：5858-5869，2017。2[13] Ruihui Li ， Xianzhi Li ， Chi-Wing Fu ， Daniel Cohen-Or，and Pheng-Ann Heng. PU-GAN：点云上采样对抗网络。在IEEE国际会议上计算机视觉（ICCV），第7203-7212页，2019年。8[14] Sungbin Lim、Ildoo Kim、Taesup Kim、Chiheon Kim和Sungwoong Kim。 快速自动扩增。 在神经信息处理系统（NeurIPS）会议和研讨会上，2019年。二、三[15] 林宗义、迈克尔·梅尔、塞尔日·贝隆吉、詹姆斯·海斯、皮埃特罗·佩罗纳、德瓦·拉马南、皮奥特·多尔和C. 劳伦斯·齐特尼克。Microsoft COCO：上下文中的公用对象。在欧洲会议中计算机视觉（ECCV），第740- 755页，2014年。1[16] Bo Liu，Xudong Wang，Mandar Dixit，Roland Kwitt，and Nuno Vasconcelos.用于数据扩充的特征空间转换在IEEE计算机视觉和模式识别会议（CVPR）上，第9090-9098页，2018年。2[17] Yongcheng Liu，Bin Fan，Gaofeng Meng，Jiwen Lu，Shiming Xiang，and Chunhong Pan.DensePoint：学习密集的上下文表示，以实现高效的点云处理。在IEEE国际会议上计算机视觉（ICCV），第5239-5248页，2019年。二五六八[18] Yongcheng Liu ， Bin Fan ， Shiming Xiang ， andChunhong Pan.用于点云分析的关系-形状卷积神经网络。在IEEE计算机视觉和模式识别（CVPR）会议上，第8895-8904页，2019年。一、二、五、六、八[19] Jiugeng Mao，Xiaogang Wang，and Hongsheng Li.用于3D点云理解的插值卷积网络在IEEE国际会议上计算机视觉（ICCV），第1578-1587页，2019年。一、二[20] Hsien-Yu Meng ， Lin Gao ， Yu-Kun Lai ， and DineshManocha. VV-Net：用于点云分割的具有组卷积的体素VAE 网 络 在 IEEE 国 际 会 议 上 关 于 计 算 机 视 觉（ICCV），第8500-8508页，2019年。8[21] Adam Paszke、Sam Gross、Soumith Chintala、GregoryChanan、Edward Yang、Zachary DeVito、Zeming Lin、Alban Desmaison、Luca Antiga和Adam Lerer。PyTorch中的自动微分。NeurIPS研讨会，2017。5[22] Sergey Prokudin，Christoph Lassner，and Javier Romero.基于基本点集的点云高效学习 在IEEE国际会议上计算机视觉（ICCV），第433