AutoGPart：面向可推广3D零件分割的自动监督搜索方法

11624AutoGPart：面向可推广3D零件分割的刘学义1徐晓萌1饶安义2庄淦3李毅1，41清华大学2香港中文大学3麻省理工-IBM沃森人工智能实验室4上海启智学院摘要训练一个可推广的3D零件分割网络是相当具有挑战性的，但在现实世界的应用中非常重要。为了解决这个问题，一些作品通过将人类对任务的理解转化为机器由于机器的存在，不一定能完全理解人类的方式。其他人试图使用传统的任务不可知的方法设计的领域泛化问题，没有任务先验知识的考虑。为了解决上述问题，我们提出了AutoGPart，一种通用的方法，使训练泛化的3D部分分割网络的任务优先考虑。AutoGPart建立了一个监督空间，几何先验知识编码，并让机器自动搜索空间中的最佳监督为特定的分割任务。对三个可推广的三维零件分割任务进行了广泛的实验，以证明AutoGPart的有效性和通用性。我们证明了使用简单骨干的分割网络的性能可以显着提高时，训练与监督搜索我们的方法。1. 介绍人类将物体解析成零件，以便更深入地理解语义，功能，移动性以及制造过程。考虑为机器配备这样的部件级理解是很自然的。在过去的几年里，人们对3D零件分割任务越来越感兴趣，以支持视觉，图形和机器人技术中的各种应用[14，23，32，46]。由于大规模3D零件数据集的可用性[32，48]和3D深度学习技术的发展，当测试形状来自与训练集相同的分布时，这些方法可以实现令人印象深刻的零件分割结果。然而，他们通常图1. AutoGPart自动为不同的分割任务找到真实的零件线索，并支持简单的点云处理主干（例如，PointNet++[35]）成功地从新类别中解析形状在从一个新的分布中解析3D形状时，从不同的语义类别。在这项工作中，我们专注于可推广的3D部分分割任务。我们的目标是学习一些训练集上零件的本质，并能够很好地从新的分布中推广到形状。一个主要的挑战来自于定义部件的多功能线索。形状部分可以通过许多线索来定义，如几何图元拟合[14，23，46]，刚性运动[12，13，47]和语义先验[27，29，32]。相同的形状可以根据不同的线索分割成不同的部分，以寻求各种应用。因此，对于特定的应用，除了理解输入形状之外，网络还需要从训练数据中找出定义零件的确切线索。这就是它变得棘手的地方。 其中一些线索比其他线索更突出，使它们更容易被捕获。当这些线索与训练域中的实部线索高度相关时，它们很容易成为捷径特征[7，8，15]，使网络偏向并阻碍泛化能力，如[29]中所观察到的。以应对 上述 挑战 现有的工作通常集中在特定类型的零件上，并且将零件类型先验结合到可推广的3D零件分割中。例如，采用模块化设计来显式地提取运动流和刚体11625局部块的运动，以便可以在[47]中实现可推广的基于运动的部分分割。 类似地，在[23，46]中，网络被显式地引导以提取基元参数，以便分割基元部分。找到这样的显式部件类型先验需要对目标任务有深入的理解，这可能并不总是可用的。即使经过大量的专家设计的试错，这种方法仍然不能保证完全掌握零件的本质。这是因为人类的理解可能与机器更喜欢遵循的方式不一致[6，18，52]。机器学习社区的另一项工作是研究通用域泛化算法，以帮助网络处理分布外的样本。然而，在没有考虑任何对部分分割任务很重要的几何先验的情况下，他们未能改进模型的关键部分，而只是专注于通用正则化策略，例如使来自多个域的梯度彼此一致[30]。相比之下，我们提出了AutoGPart，一个通用的3D部分分割技术，可以应用于任何类型的3D部件。 我们的主要观察结果是，3D零件分割网络的可推广性在很大程度上受到快捷特征的阻碍[7]。这些快捷特征往往非常突出，并且与某些训练域中的分割标签密切相关。通过寻找与实际零件线索关系更密切、与快捷特征关系更松散的中间监督，利用分割和中间监督联合训练网络，降低快捷特征的影响。我们设计了一个参数模型来描述可能的中间体的分布 监督 我们在模型空间中注入几何先验，使得这些监督是部分感知的和几何区分的。 此外，本发明还提供了一种方法，我们提出了一种自动的方法来优化这些监督的分布，用于监督的部分分割网络。一个波束搜索的策略，然后应用到greenetry产生一些合适的监督从分布。通过额外的监督，可以自动发现特定于任务的部分提示，而无需专家的跟踪和错误。对三个可推广的3D零件分割任务的综合实验证明了AutoGPart的有效性，包括基于移动性的零件分割的4.4%绝对分割平均IoU改进，基于图元拟合的4.2%和基于语义的零件分割的0.7%绝对平均召回[29]改进总之，我们的贡献是三方面的：1）我们提出了一种通用的方法来提高3D零件分割网络的泛化能力，通过自动发现的中间监督，该方法是适用于不同的零件定义。2)我们设计了一个参数模型来描述几何先验编码的有用的中间监督的分布。3）提出了一种自动搜索算法，用于在给定特定零件分割任务的情况下找到合适的中间监督2. 相关工作域泛化。作为处理分布外场景的重要技术，现有的领域泛化方法可以分为四个流：1）从多个源域学习域不变特征，旨在最小化源域之间的差异[22，25，33]，元学习[20，21]和其他模型不可知策略[30]; 2）模拟域转移的数据增强算法[55];3) 集成学习技术，训练特定领域的模型，并使用它们的集成进行推理[45，55];4) 自动机器学习（AutoML）技术，旨在自动搜索数据增强[4，24]或神经架构[1，2]，可以实现最佳泛化性能。与以往的AutoML策略不同，我们建议搜索几何和部件感知特征进行中间监督。这些特征在不同分布的形状之间是不变的，表明我们的方法在提高网络的泛化能力方面的优越性。3D零件分割。基于可动性的零件分割、基元拟合和基于语义的零件分割是三种重要的、具有代表性的三维零件分割任务， 实验 到 证明了AutoGPart的有效性和通用性。1)基于移动性的零件分割旨在将铰接输入对象解析为刚性移动的零件。许多以前的工作都致力于基于传统技术，如聚类和共分割[41，50]或深度3D神经网络[13，47]。2)基元拟合解决了聚类输入点并将其与几何基元拟合的任务。标准的解决方案包括RANSAC [37]，区域生长[31]，监督学习[14，23，46]和无监督学习[5，40]。最近，[23]提出了一种端到端神经网络，它将点云作为输入，并预测不同数量的基元。[46]进一步使用混合特征表示来分离不同基元的点3）基于语义的部分分割检测并描绘每个不同的感兴趣对象。传统的方法依赖于对几何约束的手动设计，包括K均值[38]，图切割[9]和谱聚类[26]。至于基于学习的方法[34，49]，尽管它们在可见类别上实现了最先进的性能，但由于易于获取的11626而不是真正的线索定义部分[29]。不同于以前的特定任务的方法，采用复杂的框架和精心设计的监督，我们 证 明 ， 简 单 的 学 习 框 架 配 备 了 中 间 监 督 搜 索AutoGPart可以实现可比的，甚至更好的性能比现有的特定任务的设计上的三个任务。辅助监督。 增加辅助监督是一种常见的策略，以重新规范学习过程，以提高绩效。其中，重量衰减是一种广泛使用的技术[17，28]。此外，多任务学习[3，11，36，51]通过在不同任务之间共享参数来训练网络以解决多个任务，其中感兴趣的分支从其他分支中获益。Deeply Supervise [19]和Inception [39]探索了如何在隐藏层上添加辅助监督以提高学习的低级特征的质量[53，54]; LabelEnc [10]提出了一种新的标签编码函数，将地面真实标签映射到潜在嵌入空间以添加中间监督。在这项工作中，我们自动选择适当的中间监督泛化的3D部分分割网络。它可以被看作是一种利用辅助监督来提高网络泛化能力的方法3. 方法我们提出了AutoGPart，一种通过自动为网络找到有用的中间监督来提高监督3D零件分割网络的跨域泛化能力的技术。然后在训练时，除了分割监督之外，还引入了AutoGPart发现的监督，以减轻快捷特征的影响[7]并捕获在不同形状分布中不变的真实部分线索。由此产生的网络可以更好地从新的分布推广到形状，而图2显示了一个例子，其中AutoGPart被插入到一个端到端的网络中进行基本分段。为了自动找到这样的监督，我们设计了一个参数监督特征空间与几何先验知识编码（参数中间监督模型，Sec.第3.1节）。为了使模型适应特定的分割网络，我们通过“建议，评估，更新”策略优化其参数（第二节）。3.2）。之后，利用贪婪搜索策略从优化模型中选择最佳监督（第二节）。3.3）。3.1. 监控空间的参数化建模基于观察到许多以前的可推广的3D零件分割工作，标签，我们假设意识到其中一些特征可以帮助网络学习真实部分线索。我们提出为每种类型的零件自动搜索适当的零件感知监督特征，并添加中间监督以鼓励分割网络利用这些特征。然后，我们继续介绍监督特征的结构模型，并进一步介绍监督空间。监管特征的结构模型。我们将可能的监督功能定义为以几何特征和地面实况部分标签作为输入的树结构操作流（操作树）的结果。它的灵感来自手工制作的零件感知几何特征的计算过程（例如，旋转矩阵、圆柱轴[23]等）。良好的监督功能可以弥合输入点云几何和输出分割标签之间的差距，同时避免快捷方式。和考虑如何使用地面实况标签以便生成这种部件感知和几何区分监督特征是至关重要的。为了计算可能的中间监督，而不是将地面实况标签作为额外的输入特征向量，我们通过将每个点的几何特征转移到部件感知特征来对这些标签进行预编码。然后，我们使用这样的部件感知功能作为输入直接操作树。操作树通过操作符转换输入特征以用于输出中间监督特征。这样的运算符包括分组运算符（例如，sum、SVD1等）其将特征集合概括为点级特征，点级一元运算符（例如，正方形、双等），以及二元运算符（例如，加、减等）我们进一步引入了一些固定的操作类型组合，称为操作单元，如一元操作符后面跟着一个分组操作符。它们是手工几何特征计算过程中的高频操作组合[23，47]。然后通过连接操作单元来构造操作树。监督特征空间。监督特征空间由所有有效的操作树组成。我们将操作树的最大高度设置为3，因此监督特征空间被所有可能的树结构和其中单元的子结构所覆盖（图3）。 为了测量每个监督特征的泛化效益并优化分割网络的最佳中间监督的空间，参数分布模型（M T（·|θ））来刻画操作树空间。这里的订阅T表示通过计算从逐点几何特征和地面实况部分1奇异值分解11627MM·|不M·|M|图2.在端到端分段网络上应用AutoGPart以执行基元拟合任务的示例。AutoGPart构建了一个可学习的参数化监督模型T（θ），该模型可以优化，以便为可推广的3D零件分割网络找到适当的中间监督。采用“提出、评估、更新”的在每个圆中，从中采样操作树，然后使用该操作树来计算每个点的部件感知几何特征评估所提出的监督的泛化能力，并在更新阶段进一步使用所得到的分数来更新θ浅紫色线表示监督生成过程，绿色表示参数更新过程。它是基于任务集的先验知识构造的，θ表示分布模型中引入的参数。在实践中，边缘分布被引入用于根单元的分组算子。然后，条件分布介绍了儿童运营商和叶部分意识的功能，他们的父母。图3. 左侧：左侧：监督特征空间。右侧：操作树的示例，其输出特征是由正交Procrustes算法计算的旋转矩阵。操作单元抽象不绘制在其上。3.2.学习任务条件下的监督分配为了优化分割网络的分布参数θ，我们采用了监理建议书。由于在我们的模型中监督特征是通过其生成过程来建模的，因此描述监督特征生成的操作树是从参数模型中采样的T（θ）来生成监督特征。之后，输入的零件感知几何特征矩阵通过采样操作树生成相应的监督特征。然后，通过使其输入特征通过s来计算每个点i的地面实况中间监督特征gigt。监督评价。跨域泛化能力的建议监督功能估计下模拟域移位设置。首先，将训练域划分为不同的子域。在此之后，采样监督特征的OOD性能通过在通过学习一个子域进行验证而创建的所有训练验证分裂上计算的平均泛化误差来估计。该网络与建议的监督s和分割任务相关的监督一起训练，以评估s的推广效益。监管空间优化。参数θ由生成的监督的概率密度值（T（s θ））及其估计的泛化得分更新。更新策略源自REINFORCE [44]算法。简单地通过REINFORCE更新s生成过程中涉及的条件分布的参数，相当于通过REINFORCE更新联合分布。3.3. 贪婪监督选择尽管我们可以在优化之后从监督模型中选择单个监督特征（例如，具有最高概率的特征），我们希望选择多个特征来用于更好的泛化能力增强。更具体地说，我们采用贪婪搜索策略来选择几个监督（在我们的实践中，一到三个）进一步用于分割网络。 贪婪搜索的目的是逐步选择一个最优的监督集。它从包含从优化监督空间采样的单个监督的集合开始。这样的监督功能的泛化能力，然后估计。之后，监督与11628保持最佳性能，并进一步用于构建包含两个监督对的集合。同样，监督组合的性能估计与一个新的集合，通过耦合在每个后续步骤中的顶级监督。最后，选取性能最好的监督组合进行进一步的使用。4. 实验我们评估了所提出的AutoGPart在寻找合适的中间监督和提高领域泛化能力方面的有效性。分割网络对 三 3D 部分分割任务：基于移动性的零件分割[13，47]，基元拟合[14，23，46]和基于语义的零件分割[29]。对于每个任务，我们设置了一个默认的分割网络来评估AutoGPart，这是一个用于表示学习的点云处理骨干，然后是一个基于分类的分割模块来提出分割。实验中使用了两个主干，即PointNet++ [35]和DGCNN[43]。为了简单起见，我们将这两个分割网络直接表示为“PointNet++”和“DGCNN”。对于每个任务，我们证明了一个简单的3D点云分割网络训练的中间监督搜索AutoGPart和分割任务相关的监督能够比在以前的作品中提出的特定于任务的模型，以及网络训练的通用域泛化策略。4.1. 基于移动性的零件分割数据集。任务中使用了三个数据集：训练数据集，辅助训练数据集，仅用于监督搜索阶段，以帮助模拟域转移，以及域外（OOD）测试数据集。训练数据集是从[48]创建的，包含来自16个类别的15，776个形状。辅助训练数据集是从PartNet [32]创建的，包含来自4个类别的5，662个形状，与训练数据集中使用的形状不同。使用的测试数据集与[47]中使用的数据集相同，是从[13]创建的，包含875个形状，覆盖来自23个类别的175个对象。实 验 设 置 。 我 们 评 估 了 AutoGPart 在 PointNet ++ 和DGCNN上的有效性。用于此任务的指标是分段平均IoU（MIoU）。为了在这个任务中应用AutoGPart，我们在分割网络之前添加了一个流量估计模块。我们将我们的方法与特定任务的基线[41，47，50]进行了比较，任务不可知的方法[20，55]。深度部分归纳[47]使用与我们的模型相同的设置在相同的训练数据集上进行训练。所有基于学习的模型表1. 基于移动性的分割任务的实验结果。对于使用的缩写，In/Out-of-dist. 指 分 布 内 / 外 性 能 ;“PN++” 表 示 “PointNet++";“JLC” 表 示“JLinkage clustering”;“SC”表示“Spectral Clustering”。订阅指示使用的主干。方法印度区在外地PointNet++86.461.0[43]第四十三话88.368.1[55]第55话86.663.4[55]第五十五话83.169.5[20]第二十话71.363.4元学习DGCNN[20]76.569.4JLC [50]N/A67.3SC [41]N/A69.4[47]第四十七话84.864.4AutoGPartPN++87.266.5AutoGPartDGCNN83.173.8仅使用一个前向流估计和分段建议通道，在它们之间没有迭代。试验结果AutoGPart和基线模型的性能总结在表1中。基于 从表中，我们可以得出以下结论：1）AutoGPart可以找到有用的中间监督，可以显着提高PointNet++和DGCNN的泛化能力（例如，PointNet++的OOD测试集的MioU绝对改进为4.9%）。这可以验证添加中间监督以提高分割网络的泛化能力以及AutoGPart找到此类监督的能力的有效性2)AutoGPart可以大大优于所有特定于任务的模型，包括传统方法（例如，JLinkageclustering ） 和 基 于 学 习 的 策 略 ， 如 Deep PartInduction。这可能与所提出的假设相呼应，即由于人类知识和机器理解之间的不一致，手工制作的监督可能不是任务的最佳监督。3)当使用相同的点云处理主干时，AutoGPart可以胜过所有与任务无关的策略一个可能的原因是，几何先验知识，这是非常有用的解决任务本身是仔细考虑在AutoGPart的设计，而任务无关的策略是不知道这样的先验知识。4.2. 原始拟合数据集。本任务中使用的数据集与[23]中使用的数据集相同。然而，我们没有直接使用提供的数据分裂方法，而是根据形状将数据集重新分裂为4个子集，这样更适合测试模型的跨域泛化能力。其中包含13，528个形状的三个子集用于训练，包括监督搜索阶段和用于监督评估的常规训练阶段。11629图4.原始拟合任务的分割结果可视化。“Ours”表示模型“AutoGPartHPNet“，“Baseline”表示表2中的模型“HPNet”。包含3，669个形状的左侧子集用于域外测试。对于所有比较的基线，我们在重新拆分的数据集上测试它们的性能，以进行公平的比较。实验 设置。我们评估了AutoGPart在PointNet++和DGCNN上的有效性。用于此任务的指标为MIoU。我们将我们的方法与特定于任务的基线[23，46]和任务不可知的方法[20，30，55]进行了比较。其中，HPNet [46]采用基于聚类的两阶段分割网络进行特征学习和分割建议。基于HPNet实现的高性能在很大程度上是由其基于聚类的分割模块以及添加的监督和聚类模块之间的协同作用提供动力的观察，我们进行了以下两个实验来公平地比较AutoGPart与HPNet，由于AutoGPart默认设置中使用的基于分类的分割模块与Mean相比并不具有代表性，HPNet中使用的移位聚类：1）在HPNet的第一个学习阶段插入AutoGPart，以评估AutoGPart在寻找可以规范此学习阶段的有用特征方面的有效性。2)将HPNet中使用的基于聚类的分割建议模块替换为基于分类的模块，以比较HPNet中引入的监督和AutoGPart在同一分割网络下搜索的监督的有效性。所得模型在表2中分别表示为试验结果AutoGPart和其他基线模型的性能总结在表2中 。我 们 可 以 从 表 2 中 观 察 到 以 下 情 况 ： 1 ）AutoGPart可以找到有用的中间监督，以提高简单分割网络的泛化能力，用于使用以下任一项进行基元拟合任务PointNet++或DGCNN作为骨干，类似于基于移动性的零件分割任务。2)对于使用基于分类的分割模块的模型，AutoGPart可以比所有特定于任务的模型（如SPFN）更好地提高简单分割网络的性能。一个可能的原因是，虽然人类认为增加的监督有助于帮助网络学习正确的解决方案，但可能与机器解决任务的首选方式不一致。因此，这些手工制作的监督可能不足以有效地训练一个可推广的网络。此外，网络甚至可以使用快捷方式来优化这些监督。对于使用基于聚类的分割模块的模型，AutoGPartHPNet可以通过在其第一个学习阶段添加一些中间监督来实现比HPNet更好的泛化性能。这可能是因为AutoGPart搜索的附加监督可以帮助网络在这个阶段使用更多的真实线索来学习每个点的特征。3)与任务无关的方法相比，AutoGPart可以帮助更好地提高3D零件分割网络的泛化能力。AutoGPart 在 HPNet 上 添 加 的 绝 对 改 进 不 如PointNet++或DGCNN显著，对此我们要强调以下两点1)HPNet的高性能很大程度上得益于基于聚类的分割模块 （ 即 ： HPNet* 在 OOD 测 试 集 上 实 现 了 69.6% 的MIoUV.S. 79.5%由HPNet实现）。然而，这样的分割建议过程是相当耗时的，其中需要大约40小时来分割所有测试形状，而基于分类的分割建议过程仅需要不超过40秒。2)对于基于分类的分割网络，AutoGPart搜索的中间监督明显优于HPNet中使用的中间监督我们基线G.T11630表2. 原始拟合任务的实验结果。对于使用的缩写，In/Out-of-dist.是指在/不在分布性能;“PN++”表示“PointNet++"。 订阅表示使用的主干;“GS”表示“梯度手术”。“HPNet”表3. 基于语义的零件分割任务的实验结果。对于使用的缩写，In/Out-of-dist.是指分发内/分发外性能。AutoGPart中使用的主干是PointNet++。“AutoGPart 其他人使用分类模块。通 过 比 较 AutoGPartDGCNN 与 HPNet* （ 即 ， 73.4% v.s.69.6%MIoU（在OD测试集上）。AutoGPart在提高端到端训练模型泛化能力方面的显著效果具有较大的实用价值。4.3. 基于语义的零件分割数据集。我们使用[29]提供的相同数据集以及论文中所述的训练测试数据分割策略。实验设置。该任务中使用的评估指标是平均召回值，与[29]中使用的相同。表3中报告的值是所有测试类别的平均回忆分数。我们将AutoGPart与四种特定于任务的方法进行比较[16，29，42，49]，和两个任务不可知的方法[20，55]。试验结果AutoGPart和其他基线模型的性能总结在表3中。与上述两个任务不同，其中关于分割形状的标准是明显的，例如刚性运动，对于该任务来说，什么部分线索是有用的并不清楚，这意味着没有足够的先验知识来指导基于学习的网络设计。因此，地面实况几何特征的作用在之前的特定任务设计中并不那么重要[29，42，49]。然而，当解析来自新类别的形状时，它们产生的模型往往表现不佳，如表3所示，可能是由于快捷方式特性的影响。然而，我们的方法可以帮助提高简单分割网络的泛化能力与基于两阶段学习的方法[29]以及传统分割方法例如WCSeg [16]。它展示了地面实况部分感知功能在为可推广的分割网络提供真实线索方面的有用性;还表明AutoGPart在为人类先验知识不可用或难以翻译以指导网络学习过程的任务找到此类有用功能方面的优越性4.4. 定性评价我们将“AutoGPart HPNet“和“HPNet”的分割结果可视化在w.r.t. 网 络 对 OOD 形 状 的 泛 化 能 力 。 图 4 显 示 了AutoGPartHPNet可以对来自新分布的形状实现更好的分割性能，即，具有相对于训练形状的连续型分布间隙较大的连续型分布间隙。一个可能的原因是，在HPNet的第一阶段中添加的中间监督可以帮助模型更多地依赖于真实零件线索来学习每点特征，从而对每个零件的原始类型以及形状的连续类型分布不太敏感此外，我们在图6中绘制了从我们设计的监督空间中搜索的中间监督特征，以便直观地理解我们搜索的特征的属性。可以看出，所搜索的特征不仅在不同部分之间是有区别的，而且在一个部分内是连续变化的。这样的属性可以使网络学习实部线索更加友好，避免了仅存在于来自训练分布的形状中的快捷特征。5. 消融研究在我们的方法中，我们构建了一个中间监督空间，并从中搜索有用的监督，以增加分割网络的泛化能力。在本节中，我们通过用其他可能的替代方案替换一些关键设计来分析这些部分的效果。方法印度区在外地MixStyle [55]34.430.7元学习[20]35.129.7[32]第三十二话33.926.7SGPN [42]25.020.2GSPN [49]23.528.7学习小组[29]35.232.0WCSeg [16]29.833.2AutoGPart35.733.9方法印度区在外地PointNet++81.571.6DGCNN93.668.0[30]第三十话90.770.3[30]第三十话92.671.6Meta LearningPN++ [20]65.068.5元学习DGCNN[20]67.169.3[55]第55话92.170.9[55]第五十五话93.771.4SPFN [23]94.472.3[46]第四十六话93.969.6[第46话]N/A79.5AutoGPartPN++86.376.5AutoGPartDGCNN94.273.4AutoGPartHPNetN/A80.411631−≤≤表4. 消融研究w.r.t. 奖励功能设计和监督空间设计。对于所使用的缩写，“Arch.”指的是“架构”;“PN++”指的是“PointNet++"; In/Out-of-dist.是指分发内/分发外性能。消融Arch.印度区在外地//下一页PN++87.266.5−交叉验证85.664.690.664.9−差距87.563.1较少操作数较少一元运算符86.864.1较少二元运算符83.065.1树高更82.163.5//下一页DGCNN83.173.8−交叉验证84.573.189.470.4−差距92.170.6较少操作数较少一元运算符89.369.5较少二元运算符89.771.6树高更89.471.8奖励功能设计。在AutoGPart中，我们采用所有训练验证分割的平均泛化间隙作为奖励值，以评估所选监督对提高模型泛化能力的有效性直觉是，交叉验证所搜索的监督特征的泛化间隙可能会更好地估计其泛化能力。在表4中，我们验证了设计的奖励函数的优越性，将其替换为1）单个分裂上的泛化间隙（表示为监管空间设计。在我们的方法中，我们使用一个大的监督特征空间，以增加多样性同时也使模型具有高度的自由度，可以自行选择其首选特征。 为了证明它的好处，我们缩小监督空间，通过缩小输入部分知道的几何特征集，一元运算符集和二元运算符集分别，然后评估搜索监督的有效性实验结果证明了使用大监督空间的优越性（见表4）。监督选择策略。在我们的方法中，我们使用一个贪婪的搜索策略来选择监督功能，以供将来使用的直觉，这样的策略可以帮助我们找到一个很好的监督功能组合从优化的空间。 为了证明我们的方法中使用的贪婪监督选择策略的有效性，我们试图消除它，并考虑以下两种选择：1）选择顶部K（1K 3）来自按概率密度值排序的监督特征集合结果总结在表5中。2) 从优化的分布中随机选择特征。对10个随机特征进行采样，其结果总结在图5中。图5.消融研究w.r.t. 监督选择策略 从优化的分布中随机选择10个监督特征并进行评估。PointNet++左侧，DGCNN右侧。图6.从我们设计的特征空间中搜索一个中间监督特征。上：分段;下：搜索特征（转换为RGB值）。最左边的形状来自训练数据集，而其他三个来自测试数据集。表5. 消融研究w.r.t. 监督选择策略。 对于所使用的缩写，“Arch.”指的是“架构”;“PN++”指的是“PointNet++"; In/Out-of-dist.是指分发内/分发外性能。消融Arch.印度区在外地//下一页87.266.5Top1Top2PN++87.165.681.564.5Top385.862.8//下一页83.173.8Top1Top2DGCNN92.170.189.867.8Top390.771.66. 讨论和结论在本文中，我们提出了自动搜索适当的中间监督泛化的3D部分分割网络。虽然实验结果在一定程度上证明了AutoGPart的有效性和通用性，但未来仍有许多值得社区探索的方向：1）同时搜索中间监督和主干由于不同的主干可能偏好不同的特征，因此可以发现主干架构和中间监督之间的协同。2)如何添加中间监督。直接预测地面实况特征可能不适合每个特征。此外，可以发现监督特征之间的协同作用以及如何监督网络学习这些特征。11632引用[1] Haoyue Bai，Fengwei Zhou，Lanqing Hong，NanyangYe，S-H Gary Chan，and Zhengguo Li. Nas-ood：Neuralarchitecture search for out-of-distribution generalization.在IEEE/CVF计算机视觉国际会议论文集，第8320-8329页，2021年。2[2] Corinna Cortes，Xavier Gonzalvo，Vitaly Kuznetsov，Mehryar Mohri和Scott Yang。AdaNet：人工神经网络的自适应结构学习。在Doina Precup和Yee Whye Teh，编辑，第34届机器学习国际会议论文集，机器学习研究论文集第70卷，第874-883页。PMLR，2017年8月6日至11日。2[3] 迈克尔·克劳福德。深度神经网络的多任务学习：一项调查。arXiv预印本arXiv：2009.09796，2020。3[4] Ekin D Cubuk ， Barret Zoph ， Danjay Mane ， VijayVasudevan，and Quoc V Le. Autoaugment：从数据中学习增强策略。在IEEE/CVF计算机视觉和模式识别会议论文集，第113-123页，2019年。2[5] 方浩，弗洛朗·拉法基，马修·德斯布伦。结构尺度下的平面形状检测。 在IEEE计算机视觉和模式识别会议论文集，第2965-2973页，2018年。2[6] Christina M Funke，Judy Borowski，Karolina Stosio，Wieland Brendel，Thomas SA Wallis和Matthias Bethge。比较人类和机器感知的困难是众所周知的。arXiv电子印刷品，第arXiv-2004页，2020年。2[7] RobertGeirhos，Joérn-HenrikJacobsen，ClaudioMichaelis ， Richard Zemel ， Wieland Brendel ，Matthias Bethge和Felix A Wichmann。深度神经网络中的快捷学习。Nature Machine Intelligence，2（11）：665-673，2020。一、二、三[8] Robert Geirhos，Patricia Rubisch，Claudio Michaelis，Matthias Bethge ， Felix A Wichmann ， and WielandBrendel. imagenet训练的cnn偏向于纹理;增加形状偏差可以 提 高 准 确 性 和 鲁 棒 性 。 arXiv 预 印 本 arXiv ：1811.12231，2018. 1[9] 阿列克谢·戈洛文斯基和托马斯·芬克豪泽用于3d网格分析的随机切割。ACM SIGGRAPH Asia 2008论文，第1-12页。2008. 2[10] Miao Hao，Yitao Liu ，Xiangyu Zhang，and Jian Sun.Labelenc：一种新的用于物体检测的中间监督方法欧洲计算机视觉会议，第529-545页。Springer，2020年。3[11] KaimingHe ， GeorgiaGkioxari ， PiotrDolla'r ，andRossGirshick.掩模 r-cnn在 诉讼 的 IEEE国际计算机视觉会议，第2961-2969页，2017年。3[12] Ruizhen Hu，Lubin Fan，and Ligang Liu.基于子空间聚类的三维形状联合分割。在计算机图形论坛，第31卷，第1703-1713页。Wiley Online Library，2012.1[13] Ruizhen Hu ， Wenchao Li ， Oliver Van Kaick ， ArielShamir，Hao Zhang，and Hui Huang.学习预测部分从一个静态快照移动。ACM Transactions on Graphics（TOG），36（6）：1-13，2017。一、二、五[14] Jingwei Huang，Zhang Jingwei Zhang，and Sun JingweiSun. PrimitiveNet：在对抗度量下使用局部基元嵌入的基元实例分割。IEEE/CVF计算机视觉国际会议论文集，第15343-15353页，2021年。一、二、五[15] Andrew Ilyas ， Shibani Santurkar ， Dimitris Tsipras ，Logan Engstrom，Brandon Tran和Aleksander Madry。对抗性示例不是bug，而是特性。arXiv预印本arXiv：1905.02175，2019。1[16] Oliver Van Kaick、Noa Fish、Yanir Kleiman、ShmuelAsafi和Daniel Cohen-Or。用近似凸性分析进行形状分割 。 ACM Transactions on Graphics （ TOG ） ， 34（1）：1-11，2014。7[17] 安德斯·克罗和约翰·A·赫兹简单的权重衰减可以提高泛化能力。神经信息处理系统的进展，第950-957页，1992年。3[18] Sebas tianLapuschkin，StephanW¨ldchen，Ale xanderBinder，格雷瓜尔山avon，沃伊切赫萨梅克和Klaus-RobertMüller.揭开clererhans预测器的面纱，评估机器 真 正 学 到 了 什 么 。 Nature Communications ， 10（1）：1-8，2019。2[19] Chen-Yu Lee ， Saining Xie ， Patrick Gallagher ，Zhengyou Zhang，and Zhuowen Tu.深度监督网络。人工智能和统计，第562-570页。PMLR，2015. 3[20] DalLi，Yongxin Yang，Yi-Zhe Song，and Timothy MHospedales.学习泛化：领域泛化的元学习。第三十二届AAAI人工智能会议，2018。二五六七[21] Da Li，Jianshu Zhang，Yongxin Yang，Cong Liu，Yi-Zhe Song，and Timothy M Hospedales. 领域泛化的情景训练。在IEEE/CVF计算机视觉国际会议论文集，第1446-1455页，2019年。2[22] Haoliang Li，Sinno Jialin Pan，Shiqi Wang，and Alex CKot.领域泛化与对抗性特征学习。在IEEE计算机视觉和模式识别会议论文集，第5400-5409页，2018年。2[23] Lingxiao Li，Minhyuk Sung，Anastasia Dubrovina，LiYi，and Leonidas J Guibas.几何图元到三维点云的监督拟合。在IEEE/CVF计算机视觉和模式识别会议论文集，第2652-2660页，2019年。一、二、三、五、六、七[24] Yonggang Li，Guosheng Hu，Yongtao Wang，TimothyHospedales ， Neil M Robertson ， and Yongxin Yang.Dada ： 微 分 自 动 数 据 增 强 。 arXiv 预 印 本 arXiv ：2003.03780，2020。2[25] Ya Li，Xinmei Tian ，Mingming Gong，Yajing Liu ，Tongliang Liu，KunZhang，and Dacheng Tao.基于条件不变对抗网络的深度域泛化在欧洲计算机视觉会议（ECCV）的会议记录中，第624-639页，2018年。2[26]