没有合适的资源?快使用搜索试试~ 我知道了~
1AdaCoSeg:自适应形状联合分割与组一致性损失朱晨阳1、2徐凯2悉达多·乔杜里3、4李毅5列奥尼达·古巴斯6 张昊11西蒙·弗雷泽大学2国防科技3Adobe Research4印度理工学院孟买5谷歌研究6斯坦福大学摘要我们介绍AdaCoSeg,这是一种深度神经网络架构,用于对表示为点云的一组3D形状进行自适应联合分割。与熟悉的单实例分割问题不同,联合分割本质上是上下文相关的:形状的分割方式可能会因其所在的集合而异。因此,我们的网络具有自适应学习模块,以产生适应集合的一致形状分割。具体来说,给定一组未分割形状的输入,我们首先采用离线预训练的零件先验网络来提出每个形状的零件。然后,共同分割网络迭代和联合优化的部分标签在整个集合受到一个新的组一致性损失定义的矩阵秩。虽然零件先验网络可以用有噪声和不一致的分割形状进行训练,但AdaCoSeg的最终输出是输入集的一致零件标记,每个形状被分割成多达(用户指定的)K个零件。总的来说,我们的方法是弱监督的,产生针对测试集的分割,没有一致的地面实况分割。我们展示了AdaCoSeg的定性和定量结果,并通过消融研究和与最先进的联合分割方法的比较对其进行了评估。1. 介绍随着计算机视觉和计算机图形学中数据驱动和深度学习技术的激增,在监督图像[1,3]和形状分割[11,33]方面取得了显著进展共分段是分段问题的一个实例,其中输入由数据的集合而不是一段组成,并且集合具有某些共同特征。通常,对于形状共分割,共同点是形状都属于同一类别,例如,椅子或飞机。共分割的目标是为输入集合中的所有形状计算一致的分割。分割的一致性意味着所有分割部分之间的对应关系,这是知识和属性传递,收集和存储的关键要求。图1.我们的自适应形状共同分割网络,AdaCoSeg,产生结构上不同的分割(这里多达4个部分)的两套椅子-一个扶手,一个没有。对于每个集合,分割在语义上是一致的,允许通过部分重新洗牌来生成形状然而,相同的数据集上的统计和结构感知形状建模[18]。图1示出了基于由共同分割引起的部分重新洗牌的这样的建模示例。与熟悉的单实例分割问题相比,联合分割的一个显著特征是它本质上是上下文相关的。如一致性标准所规定的,相同的形状可以根据其属于哪个输入集而被不同地分割;见图1从这个角度来看,输入形状集合既充当测试集又充当训练集。理想情况下,联合分割网络可以快速适应新的输入集,而无需昂贵的再训练。这种自适应网络将改变其行为,即,网络在运行时的这与传统的标签学习范式不同,在传统的标签学习范式中,无论是在监督[11,20]还是弱监督设置[5,19,26]下,训练的模型都努力推广到新的输入而不改变网络权重。在本文中,我们介绍了一种用于形状共分割的深度神经网络,称为AdaCoSeg,它被设计为自适应的。AdaCoSeg将一组表示为点云的未分割形状作为输入,在第一阶段提出每个形状的部分,然后联合优化受特定输入集的矩阵秩估计定义的新组一致性损失的8543通过零件重组生成形状通过零件重组生成形状8544输出是每个形状的K路一致部分标记,其中K是网络的用户指定超参数。网络权值随机初始化,并通过基于组损失的反向传播进行迭代优化虽然联合分割组件是无监督的,但在组一致性损失的指导下,我们发现可以通过在提升部分提案之前添加弱正则化来改善结果。具体来说,我们预先训练一个零件先验网络,该网络将一个可能有噪声的提议零件作为输入,由完整点云上的指示函数表示,并将其降噪或“捕捉”到一个更合理和干净的零件。部分先验网络类似于传统分割[12]中条件随机场(CRF)的成对势:虽然它不是一般先验,因为它经过训练仅去除少量噪声,但它足以用于边界优化。它是在大量分割的3D形状上训练的,例如,ShapeNet [2],其中同一对象类别中的部件计数和部件组成可能高度不一致。无需分段标签:该模型是标签不可知的。总的来说,我们的方法是弱监督的,因为它产生了一致的分割,而没有一致的地面实况分割。它包括一个离线的,有监督的部分先验网络,该网络在不一致的分割,未标记的形状上训练一次,以及一个重要的是要注意,分割的一致性不依赖于部分计数K,而是依赖于集合中的形状部分的几何和结构特征,其中K用作部分计数的上限;见图1另一方面,调整K允许AdaCoSeg以不同的粒度水平产生一致的共分割;参见图7。我们的部分先验网络使用来自ComplementMe [25]的数据集进行训练;自适应联合分割是无监督的。仅出于评估目的,我们还采用了两个包含真实共分割的数据集[30,32]虽然离线培训需要长达20小时才能完成,它需要大约7分钟,以共同分段20形状在一个reso-每种形状有2,048个点。 我们展示了定性和从AdaCoSeg的定量结果,并通过消融研究和与最先进的共分割方法的比较对其进行评价我们的主要贡献包括:• 第一个用于自适应形状共分割的DNN• 一种新颖有效的基于低秩近似的组一致性损失算法。• 一个共同分割训练框架,不需要地面实况一致的分割标签。2. 相关工作用于形状分割的深度学习。已经开发了用于监督形状分割的深度模型,零件特征编码器部分优先模块零件优先网络联合细分网络零件分类器部分优先模块优化组一致性损失零件特征编码器图2.AdaCoSeg由一个部分先验网络(顶部)和一个共分段网络(底部)组成第一个网络中的零件特征编码器和共同分割网络的训练与一种新的组一致性损失,定义在一组形状,基于部分相似性矩阵的秩。各种表示,如体素网格[21,29],点云[9,15,20],多视图投影[11]和表面网格[28,33]。关键是用从数据中学习的特征来取代传统方法中使用的手工然而,这些模型大多被训练成针对一组固定的语义标签。给定形状的分割结果也是固定的,不能适应形状集的上下文,这是共同分割的一个关键特征相对较少的作品研究深度学习的无监督形状分割[5,23]。图像共分割。 一对或一组2D图像的联合分割在计算机视觉领域已经研究了很多年,其中主要目标是从多个图像中分割出共同的对象[27]。大多数的研究工作将 这 个 问 题 表 述 为 一 个 多 图 像 马 尔 可 夫 随 机 场(MRF),并带有前景一致性约束。最近,Li et al.[16]提出了一种深度连体网络来实现从一对图像中进行对象共提取。所有这些图像共分割工作的一般问题设置与我们的有很大不同形状共分割。广泛的研究已被用于形状集合的共同分析[6,7,8,24,30,31]。这些方法通常从过分割开始,并对过分割的块执行特征嵌入和聚类,以获得一致的分割。虽然这些方法中的大多数都是无监督的,但它们的分析管道都采用手工特征和基于启发式的聚类,这通常会导致复杂零件或结构变化中的不自然结果。最近,基于深度学习的方法正在出现。Shu等人。[23]使用深度自动编码器进行每部分特征学习。然而,他们的联合分割模块不使用深度网络,并且严格限制了最终8545分割到第一阶段学习的部分。相反,AdaCoSeg不严格遵守零件先验网络的建议,因为一致性损失会影响和调整零件标记。Muralikrishnan等人[19]提出了一种用于标签驱动的3D形状共分割的弱监督方法,但他们的模型被训练为针对预定义的标签集。 Sung等人[26]试图将一组的形状与深功能字典,从而导致共同分割。然而,这些字典是针对各个形状离线学习的,因此它们的模型不能自适应地共同分割一组形状。相比之下,CoSetNet被分成可跨不同形状集传输的离线部分和针对特定输入集学习的在线自适应共分割网络。在并行工作中,Chen et al.[5]提出了一种用于弱监督形状共分割的分支自动编码器。关键的区别在于,BAE-NET本质上是一个更高级的零件先验网络,每个分支的任务是学习输入形状集合的一个通用零件的简单表示;对于组一致性没有明确的优化。因此,在小输入集和存在大部分差异的情况下,BAE-NET往往比AdaCoSeg表现不佳;参见图11。3. 概述我们的方法适用于点集3D形状和formulates形状分割作为一个点标记问题。该网络具有两级架构;参见图2。部分事先网络。该网络将带有噪声二进制标记的点云作为输入,其中前景表示不完美的部分,并输出正则化标记,从而得到细化的部分。为了训练网络,我们使用ComplementMe数据集[25],这是ShapeNet [2]的子集,它提供语义部分分割。3D形状是点采样的,每个形状部分都意味着一个二进制标记。对于每个二进制标记,添加一些随机噪声;部分先验网络被训练以对这些二元标记进行降噪。从本质上讲,部分先验网络通过对标记去噪任务的训练来学习有效部分的样子。同时,它还在每个点上学习多尺度和部分感知的形状特征,这些特征可以稍后在联合分割网络中使用。共同分割网络。给定由点云表示的3D形状的输入集,我们的共分割网络基于在输入集上定义的组一致性损失该网络为每个形状输出具有语义一致性的K路标记,其中K是指定部件计数的上限的用户规定的网络参数;基于输入形状集合和网络优化来确定最终部件计数。共同分割网络是无监督的,没有任何地面实况一致分割。对于由K路分类生成的每个部分,形成二进制分段并将其馈送到预先训练的部分先验网络中:(1)计算细化的K部分分割,以及(2)以提取每个点的部件感知特征。它们一起形成每个段的零件特征。对于集合中的所有形状具有相同标签的相应零件特征构成零件特征矩阵。然后,优化联合分割网络的权重,以最大化一个标签内的部分特征相似性这相当于最小化每个语义标签的零件特征矩阵的秩,同时最大化两个语义标签的联合零件特征矩阵的秩。4. 方法AdaCoSeg的离线阶段学习似然形状部分的弱正则化先验,其中部分先验网络在具有通常不一致的未标记分割的大型多样形状存储库上训练。该网络用于改进任何建议的部分,以更好地类似于观察到的部分。运行时阶段使用共同分割网络来联合分析测试形状的集合,该共同分割网络迭代地提出每个形状的(至多)K路分割以优化测试集合上的组一致性得分。4.1. 零件优先网络数据集。在 离线预训练中,我们希望学习一个通用模型,以使用大量可用的现成数据,在所有粒度下对所有可能的零件形状进行降噪。该弱先验将用于正则化测试形状的任何一致分割。具有标准标记分割的存储库[30,32]在大小上都是有限的,并且固定在单个预定粒度上。相反,我们使用为ComplementMe开发的3D部件数据集[25]。这个数据集是ShapeNet [2]的一个子集,它利用了现有3D存储库中的形状已经具有基本组件结构的事实,因为艺术家们是模块化设计的然而,分割是不一致的:虽然在一种形状中,椅背可以是独立的部件,但是在另一种形状中,椅背和座部可以组合成单个部件。ComplementMe对广告部分进行一些基本的基于几何学的合并此外,这些部分缺少标签因此,这个数据集是我们在现实生活中可以预期的弱监督训练数据的一个很好的例子。我们的方法在这个有噪声的数据集上训练去噪先验,它将用于改进在我们的共同分割阶段提出的一致分割。8546图3.部分先验网络的结构。该网络分别使用PointNet++ [20它被训练为对输入的二进制标签进行降噪,并输出一个干净的标签,指示一个合理的部分。网络架构。零件先验网络使用基于PointNet++组件的架构学习对不完美分割的零件进行降噪[20]。网络的输入是3D点云形状S。属于所建议部分的点构成前景F面,而其余的点是背景B=S\F。网络的输出是每个点的概率q∈S,使得高概率点共同定义与所提出的部分最佳匹配的理想的“干净”部分,从而对噪声前景进行我们的网络架构如图3所示。点云由PointNet++的多尺度分组(MSG)和多分辨率分组(MRG)模块处理,以生成两个上下文相关的128-D fea。对每个点q∈S,求出了真向量fMSG(q)和fMRG(q)。MSG模块捕获多个点的上下文通过在越来越大的邻域上连接特征来实现多尺度。MRG模块计算类似的多尺度特征,但是大邻域的(一半)特征是从下一个较小邻域的特征递归计算的;详情见[20]。我们对前景点的MSG特征进行平均以获得鲁棒的描述符ffg,其与每个点的MRG特征连接以产生[fMRG(q),ffg]。我们设计了一个深度神经网络,它将形状的点云作为输入,并输出K路分割;K是用户指定的超参数,用于指定部件计数。这些输出在测试集之间进行比较,以确保相应段的几何一致性:我们对此的定量度量是组一致性能量,其被用作损失函数以使用反向传播迭代地细化网络的输出。请注意,尽管我们使用深度网络来输出每个形状的分割图,但训练后的网络并不期望推广到新的形状集。因此,该网络基本上执行跨所有测试形状的输入点的无监督K路聚类。除了一致性损失之外,网络由离线先验指导,离线先验已经学会对各种大小的合理部分进行降噪,但没有一致性或期望粒度的概念。网络架构。我们的联合细分架构如图4所示。该网络将一小批测试形状作为输入。网络的第一部分是一个分类器,它独立地分配K个抽象标签之一{L1,L2,. - 是的- 是的..标签上的单个部分由于分类器输出可能是有噪声的,我们通过预先训练的(和冻结的)离线去噪网络(第4.1节)传递与每个这样的部分相对应的二进制前景/背景图,然后在每个点使用K路软最大值将这些图重新组合成K路图以解决重叠。重组后的输出是最终的(最终一致的)分割.网络的后续阶段是确定性的,没有可训练的参数:它们用于计算组一致性能量。首先,每个部分的前景点的MSG特征[20]被最大池化以产生一个部分描述符(我们发现最大池化比平均池化更好)。如果分割在形状上是一致的,则具有给定标签Li的所有部分应该具有相似的描述符。因此,我们将描述叠加在一起,对. 这些对被馈送到带有ReLU的二元分类器激活,其中分类器的输出指示训练部分先验网络是用来自不一致分割数据集的单个部分训练的。我们通过随机插入一些背景点并排除一些前景点(约20-30%)来为每个部分(前景)添加噪声。该网络将有噪声的零件作为输入,并尝试输出干净的零件指示器函数,使用负反馈,矩阵中所有形状中具有此标签的所有零件的参数Mi,每行一个,并尝试最小化它的第二个奇异值,它的秩的代理(低秩=更一致)。此外,具有不同标签的部分应该是不同的,因此矩阵Mi和Mi=i的行的并集应该具有高秩。这一次,我们希望最大化concat(Mi,Mj)的第二个奇异值,其中concat函数用其输入行的并集构造一个新矩阵。总能量函数为:主动对数似然损失和Adam [14]优化器。4.2. 共同分割网络Ecoseg = 1+最大i ∈{1,2,…K}- min秩(Mi)rank( concat(Mi,Mj)),我们的流水线的运行时阶段联合分割一组未分割的测试形状T ={S1,S2,. - 是的- 是的.. 为此目的,i,j∈{1,2,…K},i j其中秩函数是第二奇异值,通过(相当昂贵的)SVD分解计算[34]。MSG功能编码器平均池化噪声部件标记零件特征编码器MSGMRGN×256128×MRG特征编码器未标记形状零件优先模块去噪部件标记128× 11128× 1N×128节点分类器128DN×128N× 3N× 3……N× 28547312M1M2M3M4图4.左:给定一个输入点云,K路分类器将其分割成K个部分.这些部分然后由部分先验模块细化,从而得到输入点云的细化的K路分割。之后,零件特征编码器用于提取每个细化零件的特征。右:给定一组输入点云,我们根据为所有形状提取的零件特征,为每个抽象零件标签构建零件相似性矩阵。由于该能量通过梯度下降进行了优化,因此网络的初始层学会在测试数据集上提出越来越多的一致分割。Additionally, we found that gaps between segments of ashape appeared frequently and noticeably before re-composition, and were resolvedarbitrarily with thesubsequent softmax.因此,我们增加了第二个能量项,惩罚这样的差距;详见补充材料。百分百百分之八十百分之六十百分之四十百分之二十0%的百分比2 部分3 部分4 部分5 部分6 部分7 部分8 部分由于联合分割网络无法访问地面实况并且仅依赖于弱几何去噪先验,因此一致性能量是对最终分割的主要高级影响。我们尝试了不同的方法来定义这种能量,并将基于SVD的秩近似作为最佳方法。请注意,SVD运算使其成为技术上不可分解的损失,通常需要特别注意优化[13]。然而,一致性通常是一个传递属性(即使它的逆,不一致性,不是)。因此,在几个重叠批次中的每一个上强制一致性足以确保它们的联合上的一致性,并且我们可以使用标准随机梯度下降迭代地细化分割图。5. 结果和评价我们通过定性和定量评估验证了AdaCoSeg的两个阶段,并与最先进的方法进行了比较。 我们在来自ComplementMe [25]的形状部分数据集上训练我们的部分 先 验 网 络 , 这 是 ShapeNet [2] 的 子 集 , 并 使 用ShapeNet [32]和COSEG [30]语义部分数据集测试我们的方法。我们还手动标记了ShapeNet [32]中的一些小形状组(每组6-12个形状),以形成用于定量评估的共同分割基准。图5.在ComplementMe数据集中可用的形状分割中存在高度不一致性[25]。左图绘制了每个对象类别中部件计数的分布右图显示了几个形状,在同一类别中,具有相同的部件数(飞机的3个部件,椅子的4个部件),在它们的分割中表现出许多结构和几何变化。表1.用于训练零件先验网络的数据集对于每个类别,我们列出形状计数(#S)和部件计数(#P)。飞机自行车车椅子灯表#S2,410499762,0968621,976#P9,1342995,1199,4333,2966,608矩阵秩的鉴别能力。我们的网络设计对相应形状部件的特征进行了低秩假设:相似部分的MSG特征向量形成低秩矩阵,而那些不相似部分形成高秩矩阵,其中秩以连续方式估计为第二奇异值的大小。为了证明矩阵秩提供了一个有区别的度量,我们使用ShapeNet语义部分数据集[32]作为测试数据,该数据集对每个部分都有一致的标签。 椅子猫-该数据集的示例有四个。我是一个很棒的人。:Bubback.,sweeteat,arm和法例 从14个(=4+4+4)非空输入点云集MRG特征编码器零件分类器零件分类器零件分类器输入点云零件特征编码器部分优先模块零件优先级模块零件优先级模块零件优先级模块零件特征编码器零件特征编码器零件特征编码器128D128D128D128D零件特征零件特征编码器部分优先模块零件特征编码器部分优先模块零件特征零件优先级编码器模块K路分类器SoftmaxN×256128D128D128D128D128D128D128D128D128D128D128D128D128D128D128D128D128D128D128D128D128D128D128D128D8548图6.零件集合中不同标签的数量(Y轴)与该集合的增加特征变化(X轴)。右边的图使用更具区分性的矩阵基于秩的分数,而左边的图使用无法区分2和3标签集合的MSE。标签的真子集,我们随机抽取了200个标记部分的集合。我们的假设是,矩阵秩应该很容易区分具有少数不同标签的集合 图6(右)绘制了不同标签的数量在部分集合中,vs增加秩估计。正如我们所看到的,所有带有单个标签的部件集合的得分都低于带有两个标签的部件集合,而带有两个标签的部件集合的得分又都低于带有3个标签的部件集合。相比之下,如图6(左)所示,朴素方差度量(如均方误差)无法正确区分具有2个和3个标签的部分集合。我们的结论是,我们的排名为基础的指标准确地反映了部分集合的一致性。控制,适应性,和泛化。AdaCoSeg不像大多数现有的深度网络,图7.通过设置K=2,3,4生成的相同输入形状的粗到细共分割。每个形状所发现的实际零件计数是自适应选择的,并且不需要被排除,如以红色界定的示例中所示。(手臂、背部、翅膀等),使用几个示例形状的视觉检查(该步骤可以是自动的,但它不会影响整体论证)。现在我们可以应用标准的Rand Index度量[4]来获得分割精度:. 2 Σ −1Σ形状分割 相反,监管不力的部分先验允许相当多的依赖于输入的灵活性,RI=1−NI j(Cij Pij+(1−Cij)(1−Pij))实际的联合分割是什么样子的。其中i、j是输入点云的不同点。首先,我们可以用dif生成测试集分割由基数界K控制的不同粒度。Cij =1,如果i和j具有相同的预测标签,并且图7示出了对于不同K值的相同形状的共同分割。在这些示例中,我们的方法偶然地产生了从粗到细的零件层次结构。然而,这种嵌套结构并不保证由该方法,我们把它作为未来的工作。此外,即使对于固定的K,不同的测试形状集合也可以引起不同的共分割。图1示出了两个不同椅子集合的共分割,两者都具有K=4。左边的收藏品有几把带扶手的椅子:因此,优化检测臂为以下之一:突出的部分,并将所有椅子腿组合成一个单独的部分。另一个集合没有手臂,因此将四个零件类型指定给靠背、座椅、前腿和后腿。定量评价。由于AdaCoSeg产生具有变化粒度的分割,因此难以将其结果与固定的真实分割相比较,例如,[30 ]第30段。我们采取以下战略。首先,我们将K设置为形状类别的地面真值标签的总数其次,在分割之后,我们手动映射我们的抽象标签{L1,L2,. - 是的- 是的 ,L,K}映射到语义标签P ij= 1当且仅当它们具有相同的地面真值标签。较低兰德指数意味着更好地匹配地面真相。请注意,RI相对于IOU的主要优势在于,它计算分段重叠而无需分段对应。这使得它特别适合于评估共同分割,其中重点是分割一致性,而不知道部分标记或对应关系。在表2中,我们比较了我们的方法与先前工作的Rand指数得分[7,23,24]。由于我们的方法默认训练特 定 于 类 别 的 弱 先 验 , 因 此 我 们 对 也 存 在 于ComplementMe组件数据集中的COSEG类别进行我们的方法与点云本机工作,而三个先前的方法都可以访问原始网格数据。即便如此,我们也证明了最高的整体准确性(最低RI)。为了证明AdaCoSeg不依赖于部分先验网络的初始训练分割,我们在训练数据的一个子集上给出了初始分割和我们的联合分割结果之间的定量一致性评估;这种评估的基本事实被专家标记。表3显示AdaCoSeg8549图8. AdaCoSeg针对来自ComplementMe数据集的所有六个对象类别获得的联合分割结果库。输入集的大小从7到10不等。更多的结果可以在补充材料中找到。训练数据联合细分结果训练数据联合细分结果图9. AdaCoSeg在使用不一致的训练数据时获得的共分割结果。第一行和第三行显示来自训练数据的分段。第二行和第四行显示了我们的网络获得的联合分割结果。甚至可以提高其自身训练数据的分割质量图9展示了我们的联合分割对噪声训练数据的显着改进。更多的结果可以在补充材料中找到。消融研究。我们通过几项消融研究探索了我们的设计选择的影响,并在图10中显示了一些结果。这些设计选择包括:• 无部分先验:去除部分先验网络,并将K路分类器与点特征编码器相连接.• 无去噪:在训练我们的部分先验网络时,不添加随机噪声。• 无分割完整性损失:仅使用组一致性损失优化Ada-CoSeg。• 组一致性损失中没有对比项:只保留损失函数中的第二项。• 部分特征编码器的MSG与MRG:使用MRG代替MSG对每个形状部分进行编码。我们发现,在没有部分先验模型和训练过程中的对比项的情况下,损失不能显著降低。有关未使用先前部件的视觉分割结果,请参阅补充材料。此外,去噪对于训练我们的共分割网络也很重要。最后,我们发现,部分编码器的MSG功能,它更侧重于本地比全局上下文,可以实现更好的性能比MRG在我们的任务。与BAE-NET比较。图11在一个9把椅子的小测试集上,使用一个完美的样本,直观地比较了AdaCoSeg 与BAE-NET的一次性学习[ 5 ];在补充材料中可以找到更多的比较结果。这两种方法都可以被认为是弱监督的,但具有不同的监督策略。我们的实验表明,通过使用组一致性损失对输入集进行显式优化,AdaCoSeg在小测试集和存在强部分差异的情况下通常优于BAE-NET8550无零件优先类别AdaCoSeg舒虎西迪0.055美元。0760.1210135灯0.0590. 0690. 1030. 092花瓶0. 1890. 1980. 230 0.102吉他0.0320.0410。0370. 081表2. AdaCoSeg与以前的作品。除了花瓶,AdaCoSeg表现最好。Sidi等人的手工制作功能。[24]最适合做花瓶。椅子表自行车灯车平面GT0.210.270的情况。310.180.380.24我们0.090.140.220.160.270.13表3.训练数据(GT)中的分割与AdaCoSeg结果之间的Rand指数评分比较。AdaCoSeg甚至在自己的训练数据中也提高了一致性。目视检查结果见补充材料。图10.显著特征消融研究的训练等级损失更多评价请参见补充材料。图11.在小测试集上比较AdaCoSeg和BAE-NET。AdaCoSeg不需要任何样本,使用一个样本就可以6. 结论、局限性和未来工作我们提出了AdaCoSeg,一个用于形状共分割的自适应深度学习我们的方法的一个新特征是,除了通过部分先验网络进行离线训练之外,在线共分割网络还适应于输入的形状集,通过在深度网络上经由反向传播迭代地最小化组一致性损失来产生一致的实验表明- AdaCoSeg对输入集合中的大程度的几何和结构变化的鲁棒性,这优于现有技术。不需要地面实况一致的共分割来训练AdaCoSeg。离线和在线阶段在不同的数据集上进行唯一的监督是在第一阶段,在单个形状的基础上对零件建议进行降噪,其中可以使用由不一致的分割组成的现有数据集来执行训练,例如,[25 ]第20段。第二种方法以部分先验作为正则化子,在特定的测试集上优化一致性分割。我们的两阶段流水线通过只训练弱先验一次并在不同的联合分割任务中重用它来节省计算。我们重申,我们的在线共细分网络不会推广到新的输入,这是通过设计:导出网络权重以使当前输入集的损失函数最小化,并且针对每个新的集重新计算网络权重。此外,AdaCoSeg不是端到端训练的。虽然端到端深度共分段网络是可取的,但为未监督问题开发此类网络的挑战是众所周知的[17]。另一个限制是,我们的部分先验网络不是在不同的对象类别中训练的。这本来是理想的,但每类别训练对于大多数现有的分割模型是典型的[9,15,21,29]。我们目前的网络似乎能够处理一些类别内的变化,但学习所有类别混合在一起的零件及其特征描述更具挑战性。在未来的工作中,我们计划扩展我们的弱监督学习框架,用于跨类别部分学习。我们还想通过在线学习探索共分割,这代表了一系列机器学习算法,这些算法学习从顺序输入的数据流中增量地更新模型[10,22]。相比之下,我们当前的共分割网络并没有真正学习可泛化的模型,并且学习的网络权重不能随着新形状的出现而不断更新。用于无监督共分割的在线学习模型可能需要创建和维护多个分割模板。确认我们感谢所有匿名评论者的宝贵意见和建议。这项工作得到了NSERC赠款的部分支持(第100号)。611370 ) , 国 家 自 然 科 学 基 金 ( 61572507 ,61532003,61622212),国防科技大学研究基金(No. ZK 19 -30)、国家重点研究发展计划(No. 2018AAA 0102200 ) , NSF 授 予 CHS-1528025 和 IIS-1763268,Vannevar Bush教师奖学金,达索基金会的资助,湖南省杰出青年科学家自然科学基金会资助(2017 JJ 1002),以及Adobe的礼品基金。8551引用[1] VijayBadrinarayananAlexKendall 和 RobertoCipolla SegNet:一种用于图像分割的深度卷积编码器-解码器架构。TPAMI,39(12):2481-2495,2017。1[2] Angel X Chang , Thomas Funkhouser , LeonidasGuibas,Pat Hanrahan,Qixing Huang,Zimo Li,Silvio Savarese, Manolis Savva, Shuran Song ,Hao Su,et al. ShapeNet:信息丰富的3D模型库。arXiv预印本arXiv:1512.03012,2015。二三五[3] Liang-Chieh Chen , George Papandreou , IasonasKokkinos , Kevin Murphy , and Alan L. 尤 尔 。DeepLab:使用深度卷积网络、atrous卷积和完全连 接 的 CRF 进 行 语 义 图 像 分 割 。 CoRR ,abs/1606.00915,2016。1[4] Xiaobao Chen,Aleksey Golovinskiy,and ThomasFunkhouser. 3D网格分割的基准在Trans. Graph中。,第28卷,2009年。6[5] Zhiqin Chen , Kangxue Yin , Matt Fisher ,Siddhartha Chaudhuri , and Hao Zhang. BAE-NET:用于形状共分割的分支自动编码器。在ICCV,2019年。一、二、三、七[6] 阿列克谢·戈洛文斯基和托马斯·芬克豪泽3D模型的一致分割。Computers Graphics,33(3):262-269,2009. 2[7] Ruizhen Hu,Lubin Fan,and Ligang Liu.基于子空间聚类的三维形状联合分割。Computer GraphicsForum,31(5):1703-1713,2012. 二、六[8] 黄启星,弗拉德伦·科尔通,列奥尼达斯·古巴斯。关节形状分割与线性规划。Trans. Graph. ,30(6),2011. 2[9] Qiangui Huang , Weiyue Wang , and UlrichNeumann.用于点云 3D分割的递 归切片网络在CVPR,2018年。二、八[10] 容进,Steven CH Hoi,和天宝杨。在线多核学习:算法和错误边界。In8[11] EvangelosKalogerakis , MelinosAverkiou ,Subhransu Maji,and Siddhartha Chaudhuri.3D形状分割与投影卷积网络。在CVPR,2017年。一、二[12] Evangelos Kalogerakis,Aaron Hertzmann和KaranSingh。学习3D网格分割和标记。Trans. Graph.( SIGGRAPH) , 29 (3 ) ,2010年。2[13] Purushottam Kar , Harikrishna Narasimhan , andPra- teek Jain.不可分解损失函数的在线随机梯度法。NeurIPS,2014。58552[14] Diederik P. Kingma和Jimmy Ba。Adam:随机最佳化的方法。2015年,国际会议。4[15] 罗曼·克洛科夫和维克多·伦皮茨基逃离细胞:用于识别3D点云模型的深度kd网络。InICCV,2017. 二、八[16] Weihao Li , Omid Hosseini Jafari , and CarstenRother.深度对象共分割。在ACCV,2018年。2[17] 弗朗切斯科·洛卡泰洛、斯特凡·鲍尔、马里奥·卢西奇、西尔·瓦因·盖尔、伯恩哈德·斯科尔·科普夫和奥勒·维耶·巴赫姆。挑战非监督学习中的常见假设。在ICML,2019。8[18] Niloy Mitra , Michael Wand , Hao RichardZhang , Daniel Cohen-Or , Vladimir Kim , andQi-Xing Huang. 结 构 感 知 形 状 处 理 。 在SIGGRAPH Asia 2013 Courses,2013. 1[19] 桑吉夫·穆拉里克里希南,弗拉基米尔·金,希德·达萨·乔杜里.Tags2Parts:从形状标签中发现在CVPR,2018年。第1、3条[20] Charles Ruizhongtai Qi , Li Yi , Hao Su , andLeonidas J Guibas.PointNet++:在度量空间中的点 集 上 进 行 深 度 分 层 特 征 学 习 。 NeurIPS ,2017。一、二、四[21] Gernot Riegler 、 Ali Osman Ulusoy 和 AndreasGeiger。OctNet:以高分辨率学习深度3D表示。在CVPR,2017年。二、八[22] Shai Shalev-Shwartz和Yoram Singer在线学习:理论,算法和应用。2007. 8[23] Zhenyu Shu,Chengwu Qi,Shiqing Xin,ChaoHu,Li Wang,Yu Zhang,and Ligang Liu.通过深度学习进行无监督的3D形状分割和联合分割。计算机辅助几何设计,43:39- 52,2016。二、六[24] Oana Sidi, Oliver van Kaick, Yanir Kleiman ,Hao Zhang,and Daniel Cohen-Or.通过向量空间谱聚类对一组形状进行无监督联合分割。Trans.Graph. ( SIGGRAPHAsia ) , 30 ( 6 ) , 2011.二、六、八[25] 放 大 图 片 作 者 : Hao Su , Vladimir G. 金 , 希德·达尔萨·乔杜里 ,还有列奥 尼达·古巴斯.Comple- mentMe:3D建模的弱监督组件建议。Trans. Graph.(SIGGRAPH Asia),2017. 二、三、五、八[26] Minhyuk Sung , Hao Su , Ronald Yu , andLeonidas Guibas.深度函数字典:从函数学习3D模型上的一致语义结构。NeurIPS,2018。第1、3条[27] 莎拉·维森特,卡斯滕·罗瑟,弗拉基米尔·科尔莫戈罗夫. 对象共分割。 CVPR,2011。 28553[28] Pengyu Wang,Yuan Gan,Panpan Shui,FenggenYu , Yan Zhang , Songle Chen , and ZhengxingSun.通过形状完全卷积网络进行3D形状分割。计算机图形,70:128-139,2018。2[29] Peng-Shuai Wang , Yang Liu , Yu-Xiao Guo ,Chun-Yu Sun,and Xin Tong.O-CNN:用于3D形状分析的基于八叉树的卷积神经网络。ACMTransactions on Graphics,36(4),2017。二、八[30] Yunhai Wang , Shmulik Asafi , Oliver VanKaick , Hao Zhang , Daniel Cohen-Or , andBaoquan Chen.一组形状的主动协同分析 译Graph.(SIG-GRAPH Asia),31(6),2012年。二三五六[31] Kai Xu,Honghua Li,Hao Zhang,Daniel Cohen-Or,Yueshan Xiong,and Zhi-Quan Cheng.通过各向异性的部分尺度分离样式-内容。Trans. Graph.(SIGGRAPH Asia),29(6),2010. 2[32] Li Yi,Vladimir G Kim,Duygu Ceylan,I Shen,MengyanYan , Hao Su , Cewu Lu , QixingHuang,All
下载后可阅读完整内容,剩余1页未读,立即下载
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)