基于学习的CAD参数化联接方法：JoinABLe

15849JoinABLe：学习参数化CAD联接的自卡尔·D·D 1李一飞1刘晓波1刘兰伯恩1Armando Solar-Lezama2WojciechMatusik21 Autodesk Research2 MIT CSAIL摘要物理产品通常是复杂的组件，由计算机辅助设计（CAD）软件中建模的大量3D部件组合而成。CAD设计师通过使用称为接头的约束将各个部件彼此对齐来构建这些组件在本文中，我们介绍了JoinABLe，一种基 于 学 习 的 方 法 ， 组 装 零 件 在 一 起 形 成 关 节 。JoinABLe使用标准参数化CAD文件中可用的弱监督，无需对象类标签或人工指导。我们的研究结果表明，通过在实体模型的图形表示上进行网络预测，我们可以以接近人类表现（80%）的准确度（79.53%）胜过多个基线方法。最后，为了支持未来的研究，我们发布了Fusion 360 Gallery装配数据集，其中包含关于接头、接触面、孔和底层装配图结构的丰富信息。1. 介绍我们日常生活中的物理产品通常是复杂的装配体，由大量使用计算机辅助设计（CAD）软件建模的部件组成。精心设计的组件对于确保产品具有成本效益、可靠性和易于物理装配至关重要。CAD设计人员通过使用称为接头的约束将成对的零件对齐在一起来构建组件。这些关节确定组件中零件的相对姿态和允许的自由度（DOF）[43]。例如，可以将螺栓约束到孔中，然后将螺母约束到螺栓中，依此类推，直到设计完整个部件。装配体可能包含数千个零件，在边界表示（B-Rep）for- mat [33，61]中表示为实体模型，并且用于从家具到车辆到电子设备的一切。在不使用关节的情况下为每个零件定义单独的全局位置会很快变得繁琐且容易出错。运动类型使设计人员能够对设计进行快速参数化更改，同时保留现有零件关系和设计意图。输入可接合输出编码器关节姿势关节轴预测图1. CAD组件包含有价值的联合信息，说明如何在局部约束和定位零件在一起。我们使用这种弱监督来学习自底向上的组装方法。JoinABLe将编码器和关节轴预测网络与神经引导的关节姿势搜索相结合，以在没有类别标签或人类指导的情况下组装成对的部件。然而，在装配中完全定义接头是耗时的-因此，许多组件缺少或部分定义了运动类型。一种能够预测关节的基于学习的方法可以减轻关节定义的负担，并实现其他应用，如CAD as-software合成[56]，机器人装配[34]，动态装配优化[72]，零件运动预测[58]，装配感知相似性搜索[5]等等。真实世界部件的Al-though运动类型在自下而上的方式，最近的工作主要采取自上而下的方法来组装相关的任务[19，23，38]。自上而下的方法从仔细注释的数据中的集合对象和部件类中学习部件的全局排列一个公开的挑战仍然是学会组装零件，而不依赖-15850在大量注释的数据集中提供的强对象和零件类先验上。在这项工作中，我们提出了以下问题，如图1所示：给定一对零件，我们可以自动组装它们，而无需事先了解全局设计，类标签或其他人工输入？解决这个问题是利用基于学习的方法与assem- blies的基本构建块。我们的长期目标是实现下一代装配感知工具，这些工具可以增加现有组件的重用，简化机器人装配和拆卸-这是为了应对这一挑战，我们引入了JoinABLe（联合装配自下而上学习），这是一种自下而上的装配方法，可以学习零件如何在本地连接以形成参数化CAD关节。JoinABLe使用参数化CAD文件中提供的弱监督（仅包含部分接头标签）来自动装配零件对。我们做出以下贡献：• 我们提出了一种新的学习为基础的方法，自动组装对零件使用弱监督视觉参数化CAD文件。我们第一次在没有对象或部件类标签、人工注释或用户指导的帮助下做到这一点。• 我们创建并发布Fusion 360 Gallery装配数据集，其中包含CAD装配，其中包含有关接头、接触面、孔和底层装配图结构的丰富信息。• 我们提供了关节轴和关节姿态预测任务的实验结果，人类基线研究，并与其他多种方法进行比较。我们的研究结果表明，通过在实体模型的图形表示上进行网络预测，我们可以在使用更少的网络参数的情况下执行多个基线方法。我们证明，我们的方法表现良好，与困难的情况下，启发式算法可以斗争，并实现了准确性（79.53%），接近人类的表现（80%）的联合轴预测任务。2. 相关工作几个世纪以来，装配体一直是设计和工程的关键部分。自20世纪80年代CAD数字化以来，已经探索了许多研究领域。形状组合早在2004年，通过组合和重用现有零件来设计装配体的能力就在示例建模中得到了证明[13]。从那时起，大量的工作集中在寻找兼容的部件组合成组件[9，22，24，66，73]。将零件参数化组装成新颖设计的能力在媒体和娱乐行业，其中数字世界可以填充新的内容。其他工作线集中在可以物理制造的组件[12，32，40，51，52，55，59，60]或转换为/从组装指令[1，52]。我们的工作的不同之处在于，我们使用基于学习的方法自动化现实世界的CAD部件的成对组装，无需类标签或人工指导。结构感知深度生成模型3D形状合成随着结构感知深度生成模型的使用而迅速发展[10，14，15，28，36，46，50，64，69]，这些模型结合了装配结构的一些概念来描述形状的部分如何形成整体。我们不是合成零件本身，而是专注于以行业标准B-Rep格式组装现有零件。CAD知情的机器人装配CAD装配的先验知识已被用于机器人装配规划[16，17]和排序[11，26]，以约束搜索过程并验证装配序列。虽然在这项工作中没有解决，但我们设想我们的方法可以通过在关节信息不存在或未完全指定时推断关节信息来帮助提高基于强化学习的机器人装配[57学习装配文献中基于学习的装配方法主要遵循自上而下的方法，该方法预测要形成的一组零件的绝对姿态一个大会[23，38，56，70]。然而，预测绝对姿态可能导致部件无法完全对准的噪声结果。为了解决这个问题，最近的几项工作已经利用了来自部分之间的本地接触点的监督[18，19]。我们相信自下而上的方法是解决组装问题的关键部分。我们的工作不是依赖于接触点，而是使用参数化CAD文件中的关节信息作为弱监督。这允许我们的方法的输出被重建为完全可编辑的参数化CAD文件。对先前工作至关重要的是训练属于集合对象类的合成组件[47，65]，例如椅子、抽屉等，并且以一致的方式被手动分段、用零件类别标签注释并定向然而，语义分割通常与通过制造过程分割零件的真实世界CAD组件不兼容[43]。此外，虽然在集合对象类上进行训练大大提高了类内性能，但对不可见类别的泛化是一个正在进行的研究领域[18]。我们的工作不是依赖于具有强类先验的大量注释数据集，而是利用标准参数化CAD文件中可读的弱监督，并且在没有对象类的情况下进行训练在我们工作的同时，AutoMate [27]利用类似的联合信息与基于学习的推荐系统一起使用。在这里，用户选择每个零件上的一个区域作为指导，并使用这些选择，AutoMate向用户推荐多个关节解决方案，仅限于15851B-Rep面GjB-Rep边缘G1G2nM×关节轴第1联合实体等同实体关节轴第2a) B-Rep零件输入b) B-Rep图表示c) 关节连接预测d) 预测关节轴图2. JoinABLe用于以B-Rep格式（a）装配一对零件。我们使用参数化CAD文件的监督，这些文件包含用户选择的定义关节的B-Rep面和边（青色）。我们还确定了共享相同关节轴的“等效”面和边（粉红色），以便在评估期间使用。 每个部分G1，G2的图由相邻的B-Rep面和边（b）构造，然后在包含所有图顶点之间的密集连接的图Gj上进行联合连通性预测。Gj被示出为n m矩阵（c）以可视化预测空间。最后，沿着预测的关节轴（d）对齐部件，为后续搜索阶段做好准备用户选择的输入区域。与AutoMate类似，我们的方法可以在CAD中创建可编辑的关节，但我们以自动化的方式进行，不需要用户指导，也不限于预定义的区域。我们相信，提供自动化解决方案对于实现CAD和机器人的高级装配应用至关重要。零件移动性了解装配零件如何移动，即零件移动性，是CAD和机器人技术中的一个重要问题，其目标是连接一个给定的部分，如一个铰链门，而不知道该部分的移动性提前。与我们的工作最相关的是自动预测零件对之间的相对关节配置的系统[37，58，68]。这里的输入是一个点云和输出关节轴参数，定义如何移动的部分相对于彼此。同样，这些作品依赖于强大的类先验和大量注释的合成组装数据。我们将我们的方法与第5节中的几个部分移动性基线的适应进行比较。3. 方法我们现在介绍我们的方法，JoinABle，用于自动装配零件对接头。3.1. CAD关节装配部件通常以B-Rep格式表示，包含通过结构良好的图连接在一起的修剪参数表面的水密集合[61]。每个面都包含一个参数曲面，并由使用参数曲线（如直线、圆弧和圆）定义曲面修剪范围的边限定边界。cles. B-Rep格式用于所有机械CAD工具和B-Rep实体的选择，即面和边是设置运动类型所需的一项重要但耗时的手动任务。我们的方法建议从这些用户选择中学习，以自动化联合创建的过程。CAD装配的最佳实践是定义成对零件之间的相对关系，以形成接头，也称为配合。关节定义两个零件之间的自由度、静止状态姿势的参数以及整体运动限制。CAD用户在每个零件上选择B-Rep实体（图2a中以青色突出显示），以定义由原点和方向矢量组成的每个零件关节轴。关节轴由几何选择的类型确定，对于圆，中心点成为原点，法线成为方向矢量。这两个部件可以沿着它们的轴线对齐，形成组装状态（图2d）。3.2. 联合预测问题陈述给定一对零件（图2a），我们的目标是在它们之间创建一个参数化关节，使得两个零件相对于彼此受到约束，具有相同的关节轴和地面实况定义的姿势（图2d）。这里，关节轴由两个关节原点和相对于每个部件的关节方向矢量定义，并且姿势由绝对坐标中的单个刚性变换定义。我们将预测这些值的任务分别称为关节轴预测和关节姿态预测我们只考虑形成刚性连接的成对零件，而将完整的多零件装配和非刚性连接留给将来15852×××工作我们假设对象或部件类标签和任何形式的人工指导都不可用。我们只训练使用由标准参数化CAD文件提供的弱监督，而没有任何人工注释，如规范对齐。3.3. 输入表示我们的方法采用B-Rep格式的一对部件（图2a），建立在最近的工作[25，31，62，67]的基础上，该工作利用了B-Rep CAD数据中可用的拓扑结构和几何结构这种方法使我们能够对用于定义关节的确切实体进行预测，而不是像网格或点云这样的中间表示。 重要的是，它允许我们通过对包含关节轴真实信息的离散B-Rep实体集进行预测，将问题框定为分类问题。关节通常在B-Rep面和边实体之间定义，例如一个圆柱体（ 面 ） 可 以 被 约 束 到 另 一 个 圆 柱 体 （ 面 ） 或 圆（边）。为了适应这一点，对于每个部分，我们从B-Rep拓扑中构建一个图表示G（V，E），其中图顶点V是B-Rep面或边，图边E由邻接定义（图2b）。对于图形顶点功能，我们使用的信息indi- vidual B-Rep的面和边容易在B-Rep的数据结构。对于B-Rep面，我们为曲面类型（平面、圆柱体等）使用一个独热向量以及指示表面是否相对于面部反转的标志。对于B-Rep边，我们使用曲线类型（直线、圆等）的独热向量边的长度，以及指示曲线是否相对于边反转的布尔标志我们在补充材料的第A.2最后，给定两个图G1，G2，我们希望作为-，分别与n和m个顶点，我们形成了第三个'联合连通图' Gj，密集地连接G1和G2之间的顶点。G j有n m条边，允许我们通过识别G1和G2 之间形成联合的连接来公式化链接预测问题[ 39 ]。Gj可以很容易地被看作是一个n×m矩阵（图2c）。3.4. 来自CAD连接的弱监督B-Rep格式中的一对零件具有有限数量的面和边，这些面和边可以配对以形成接头，具体地说是Gj中的nm个边。每个地面真值联合在nm预测空间中产生单个正标签，并且所有剩余组合都是负标签。对于复杂零件，例如可能包含数千个离散B-Rep实体的机械齿轮，这会导致正负标签之间的极端在标准参数化CAD文件中仅具有弱监督，这进一步加剧了问题。这是由于以下几个原因：首先，零件之间的交互非常耗时，CAD设计人员通常会跳过;其次，每个CAD组件都是为特定目的而设计的，而不是创建一组详尽这种弱监督导致了一个正和无标签（PU）学习问题[4]，其中关节是已知的正标签，但剩余的负标签可能是正的（即看不见但似乎合理的关节）或负的（即不可信的关节）。为了解决数据不平衡和PU学习问题，我们使用以下三种技术组织和增强数据。联合合并为了增加阳性标签的数量，我们将相同零件对之间的联合合并到联合集中。图4右侧示出了其中相同的两个部件以多种不同方式连接的示例关节组。这种方法允许我们用单个数据样本来呈现网络，即关节集，其包含一对零件之间的所有已知关节。重要的是，联合合并避免了向网络呈现多个矛盾的数据样本，其中一个样本中的负标签可能是另一个样本中的正标签。我们在补充材料的第A.1为了进一步应对极端的数据不平衡，我们识别并标记与地面实况共享相同关节轴的“等效”实体。例如，如果一个圆是标记的实体（在图2a中以青色突出显示），则其相邻面（例如以粉红色突出显示的圆柱体）将被标记为等效。这些图元表示相同的用户选定关节轴，仅在3D空间中定位关节轴的原点不同。由于如果预测关节轴与地面真实关节轴共线，则我们认为预测关节轴是正确的，因此我们在评估期间包括等效标签。我们在补充材料的第A.2节中进行了消融研究，以评价等同标签的贡献。PU学习的一个挑战是建立一个如果只有部分接头标签存在，则具有多个可能接头的部件（例如具有多个紧固件孔的板）会出现问题，从而导致测试时的模糊性。我们尽最大努力避免测试和验证集中的阳性未标记样本，排除几何相似但未标记的未标记孔的面和边与已标记孔的面和边具有相同的尺寸。我们通过将实体类型、面积或长度以及连接的图边缘的数量与标记的实体相匹配来识别兄弟实体。在补充材料的第A.2节中，我们研究了在与原始数据分布匹配的保留测试集上使用兄弟实体进行评估的效果。15853X12H1M偏移1第1第2MLPB-Rep面B-Rep边+H22n边缘转换旋转12MPNhuv翻转X21MLP+联合B-Rep输入轴线组装输出›→⊕Σ−LL1+2图3. JoinABLearchitecture.给定我们的图表示中的两个B-Rep部分，来自B-Rep面（绿色）和边（橙色）的顶点特征在被连接在一起并通过消息传递网络（MPN）之前通过单独的多层感知器（MLP）。这将产生表示两个部分中的每个B-Rep实体的局部顶点嵌入。然后，我们的关节轴预测分支在两个图之间执行边缘卷积，以估计所有可能的连接对上关节的存在。最后，通过搜索发现的关节参数，相对于预测的关节轴，以完成装配。3.5. JoinABLe建筑我们的整体架构如图3所示，由一个编码器模块组成，该编码器模块在我们的输入部分的图形表示中为每个B-Rep面和边输出使用这些嵌入，我们可以预测关节轴，然后搜索关节姿态参数。3.5.1编码器我们的编码器神经网络fenc是一个连体式网络，两个部分具有共享的权重它首先通过将来自两个图的顶点特征x1和x2通过两个单独的多层感知器（MLP）来创建图顶点嵌入一个MLP用于表示B-Rep面的顶点，另一个用于表示B-Rep面的使用沿着Gj的边缘的边缘卷积在部分之间进行。来自图G1和G2的节点特征x1和x2通过我们的共享编码器网络fenc，以获得384维嵌入h1和h2（等式10）。1）。 然后，对于密集连接G1和G2的图Gj中的每条边（u，v），我们预测指示接头存在的logit：huv=（hu<$hv），（2）其中，R是3层MLP，是级联算子，并且hu和hv是基于Gj中的每条边的源顶点和目标顶点从h1和h2收集的。我们用一个有两项的损失函数来训练网络。 第一项LCE是两个变量之间的交叉熵。边缘预测huv和真实边缘标签juv∈{0，1}归一化为概率分布juv。边;然后将得到的顶点嵌入关联在一起。接下来，我们在h^uv =softmaxall（huv），^每个部分LCE =CE。^juv，h^uvΣ。（三）h1和h2的值。h1= fenc（x1，G1），h2= fenc（x2，G2）.（一）这里的想法是在考虑每个B-Rep实体及其邻域的每个部分内提取局部特征。3.5.2关节轴预测创建运动类型时，设计意图的一个关键部分是定义运动类型轴，通过该轴可以将两个零件彼此对齐关节轴构成了这里，softmax操作中的下标指示其应用于G j中的所有边，并且CE（p，q） =ipilogqi.这种损失促使真实关节具有更高的值，同时抑制非关节。我们观察到，由于阳性标签的稀疏性，这是次优的，其中CE是在大量术语上求和的。为了更好地集中损失项，以便关节与更可能的非关节形成更好的对比，我们使用对称交叉熵损失Sym作为损失函数中的第二项。自由度的定义，并使向下-h^ro w=softmaxrowh^col=softmaxcol（四）流任务，如装配、零件移动和动画。我们将关节轴预测公式化为链接预测问题，其目标是正确识别G1和G2之间的连接，该连接将两个部分沿着地面实况关节轴对齐。这是通过汇总信息来实现的编码器关节轴预测关节姿势15854^^^LSym= CE（j2D，hrow）+CE（j2D，hcol）。这里，softmax的下标表示它是在单个轴上获取的，而2D下标而不是uv表示Gj的边缘上的预测和地面真值标签被重塑为n×m矩阵。15855C cCC−3.5.3联合姿势搜索我们的网络预测的B-Rep实体允许我们查询地面真实B-Rep数据，以获得每个部件的关节轴预测。一旦这些轴对齐到一起，三个次要参数定义刚性关节，并可用于关节姿态预测。沿关节轴的偏移距离、绕关节轴的旋转以及用于反转关节轴方向的翻转参数。我们使用神经引导搜索找到这些参数，该搜索允许我们枚举top-k关节轴预测并直接考虑两个部分之间的相互作用。为了 评 估 候 选 关 节 配 置 ， 我 们 提 出 了 成 本 函 数joint=overlap+λcontact，其考虑了良好定义的关节的两个一般标准：部件之间的重叠体积和接触面积，公式为：图4. Fusion 360 Gallery关节数据概述C重叠=V最小值（V接触=A12。（ 五）最小值（A1，A2）装配数据集（左）。每个样本由一对独特的部件组成，一个或多个关节定义了它们如何局部约束和定位在一起（右）。这里，V- 1和V - 2是两个部分的电压，并且V - 1和V-2表示它们的重叠电压。类似地，A1和A2是两部分的表面积，并且它们的接触面积为A1·2。直观地，对于彼此紧密对准的两个部分，最小化成本函数应该鼓励更大的接触面积，同时惩罚重叠体积以防止穿透。 因此，我们设λ=10如果重叠<0。1.一、否则，我们设置λ=0以增加重叠惩罚。给定此成本函数，我们使用Nelder-Mead算法[48]作为标准的无导数优化来搜索最佳关节姿势4. 数据集为了评估我们的方法的性能，我们创建了Fusion360 Gallery装配数据集，该数据集源自在AutodeskFusion 360中创建的设计，并提交到公开的AutodeskOnline Gallery [3]。该数据集由两个相互关联的数据集组成：装配数据，包含8，251个装配和154，468个单独的零件;接头数据，包含在23，029个不同零件之间定义的32，148个接头。数据和支持代码在GitHub1上公开提供，并有允许非商业研究的许可。我们现在描述我们实验中使用的联合数据，并在补充材料的第A.1图4（左）显示了我们数据集中的关节数据的概述。我们将一个数据样本视为一个关节集，如图4所示，包含一对零件，它们之间定义了一个或多个关节。用户选择的B- Rep面和边与每个关节的关节轴和姿势信息一起形成地面实况标签。我们提供了大约70/10/10/10%的数据分割，1https://github.com/AutodeskAILab/Fusion360GalleryDataset训练集、验证集、测试集和原始分布测试集。验证集和测试集不包括具有潜在模糊兄弟实体的样本，而原始分布测试集包括。5. 实验在本节中，我们进行实验，定性和定量地评估我们的方法在两个任务：关节轴预测和关节姿态预测。我们研究了我们的方法与人类CAD专家和文献中的其他方法的比较。 评估性能的一个关键标准是衡量网络在传统算法发现具有挑战性的场景中的表现。一种这样的情况涉及不包含圆柱形轴和孔之间的连接的设计，例如类似于图2a的螺栓和孔。存在通过搜索具有相似半径的紧固件和孔来推断这种类型的接头的商业产品[54]。在我们的数据集中，我们看到82%的数据样本包含孔，47.5%的关节将一个零件上的圆形或圆柱形实体约束到相对零件上的孔在我们的实验中，我们报告的结果，衡量我们的方法正确推断关节的能力，无论是在简单的孔的情况下，更复杂的无孔的情况下。补充材料第A.2节提供了实验程序的详细信息5.1. 人体CAD专家基线了解人类CAD专家在类似环境中的表现对于衡量每种方法的有效性非常重要。我们进行了一项研究，通过招募一名从事商业CAD设计的CAD专家，并要求他们从C15856所有孔无孔参数。应计百分比↑Acc.% ↑应计百分比↑#↓我们79.53 80.1576.591.3MB-密集十点五九十点三十六10.593.2MB-离散四点二八四点一八4.794.0MB-Grid65.21 65.0965.813.1MB-启发式71.39 72.7464.97-B-随机21.55 21.9223.29-人类80.00---表1.显示测试集中所有数据样本（全部）、有孔数据样本子集（孔）和无孔数据样本子集（无孔）的关节轴预测精度结果。还显示了网络参数的数量最后，显示了人类CAD专家对100个测试样本的结果。我们的数据集与已知的地面真实联合。我们使用100个数据样本随机挑选的分布排除潜在的模糊兄弟实体。我们随机旋转和平移每个部分，并使用Fusion 360进行研究。我们将CAD专家创建的关节轴与地面实况进行比较。我们发现CAD专家的结果在80%的情况下与地面实况相匹配。这表明，在没有对象装配提供的有价值的上下文的情况下，确定两个孤立的部件应该如何装配对于CAD专家来说是具有挑战性的。我们在补充材料的第A.25.2. 关节轴预测虽然没有以前的作品，解决了完全相同的设置，我们适应几个相关的方法来比较我们的方法。点云基线我们采用了两种基于点云的对于每个基线，我们使用基于PointNet++ [49]编码器的通用架构，并从相关工作中调整解码器策略和损失函数。B-Dense遵循Li等人[37]，对点云中的每个点密集回归关节原点投影向量、投影距离和关节方向。B-Discrete遵循Shape 2 Motion [58]，并使用离散分类和回归的混合来预测联合原点和方向向量。B-Rep基线我们将我们的方法与将B-Rep图作为输入的几种基线方法进行了比较。B- Grid遵循UV-Net [25]并使用在B-Rep面和边上采样的网格特征（点，法线，修剪遮罩和切线）以及CNN编码器。我们使用与我们的网络相同的图拓扑、预测头和损失。B-Heuristic使用基于规则的方法，该方法在B-Rep图上操作并为每个B-Rep实体分配分数。根据实体类型、面积和长度信息，将较高的分数分配给相似的实体，并匹配实体类型的训练数据分布所有孔无孔参数。表2.联合姿态预测结果使用平均倒角距离（CD），其中越低越好。我们显示了测试集中所有样本的结果（All），以及有孔（Hole）和无孔（No Hole）的数据样本子集。还显示了网络参数的数量（Param.）配对对于圆柱体和圆，也使用图元的半径对于半径匹配在5%以内的实体对，给出更高的分数B-Random对所有B-Rep实体进行随机预测，并表示B-Rep性能的下限。表1显示了测试集上关节轴预测任务的结果我们报告了基于回归的方法的准确性，如果关节轴预测在5%的距离和角度阈值内共线，则将其视为“命中”。对于基于分类的方法，我们报告了top- 1准确度。我们还报告具有孔（孔）和不具有孔（无孔）的数据样本子集的精度。回想一下，传统算法擅长处理将紧固件与孔匹配的特殊情况我们观察到，我们的方法和下一个性能最高的B-启发式方法之间的性能差距是8.14%，但这扩大到11.62%的重要无洞子集，传统算法是已知的斗争。我们发现，基于B-Rep的方法优于基于点云的方法，同时使用更少的参数。虽然点云方法对于来自相同对象类的轴对齐部件表现良好[58]，但我们的结果表明，真实世界的数据更具挑战性。最后，我们注意到，我们的方法是在0.5%的人类CAD专家的平均值。我们在补充材料的第A.25.3. 联合姿态预测对于联合姿态预测任务，我们再次从文献中调整基线方法到我们的设置。B-Pose遵循Huang等人[23]，使用L2和倒角距离（CD）损失项的组合回归平移点和旋转四元数。虽然未创建参数化运动类型我们评估我们的方法在两种不同的配置的性能。我们使用从网络预测中导出的关节轴将两个零件对齐在一起，而不进行偏移、旋转或翻转。Ours + Search还可以在前50个预测中执行联合姿势搜索，以找到合适的偏移、旋转和翻转参数。表2示出了联合姿态预测任务的结果我们记录在≥1之间计算的最小CDCD↓CD↓CD↓#↓我们的+搜索0.05800.05700.06281.3M我们0.06270.06240.06571.3MB-Pose0.07000.06930.07302.3M15857地面实况我们的+搜索我们B-Pose图5.定性比较联合姿态预测结果比较我们的方法，有和没有搜索，与B-Pose基线。来自关节集合的地面实况关节和预测的关节。然后我们报告测试集中所有样本的平均CD。我们发现，单独使用我们的网络预测（我们的）可以在与B-Pose基线一 致 时 更 好 地 匹 配 地 面 实 况 。 引 入搜 索 （ Ours +Search）可以帮助解决重叠区域（图5e），并在某些情况下解决不正确的轴预测（图5b，g）。重要的是要注意，地面实况数据仅包含离散状态（例如，门打开、门关闭）的有限集合，而不是也可能有效的连续状态（例如，门打开）。例如，我们对图5d中皮带扣的预测与地面真实状态不匹配，但似乎是合理的因此，CD应被视为比较每种方法相对性能的近似度量我们在补充材料的第A.26. 讨论未来应用我们的关节轴预测网络和搜索方法可以作为许多应用的基本构建模块。一个这样的应用是设计中多个部件的自动装配作为初步演示，我们组装了一个多部件第一步第二步第三步第四步图6.多部件装配演示。使用我们的关节轴预测网络和姿势搜索，从给定的装配序列中顺序对齐零件。设计只给出单个零件和从我们的装配数据集导出的零件对序列。我们修改我们的搜索策略，以尽量减少新的部分和部分组装的设计之间的重叠体积图6显示了以自下而上的方式正确组装的部件的示例序列。我们在补充材料的第A.3节提供了进一步的细节限制自底向上的组装方法在扩展到全局组合很重要的大型组装时可能会受到限制。对B-Rep CAD数据的依赖是当前工作的另一个限制尽管数据可用性正在提高[27，30，63]，但我们的方法尚未在机械CAD数据之外进行测试。最后，我们的网络没有利用几何损失项，这可能有助于避免零件之间的不期望的重叠，并推广到预测其他关节参数。7. 结论我们的长期目标是实现装配感知设计工具，能够建议和自动放置零件。这样的系统可以在新设计中更好地重复使用旧的物理组件，并可能降低与制造和相关供应链相关的成本和环境影响[29]。了解零件是如何组装的对于机器人组装和拆卸也是至关重要的CAD通知的机器人disas-sourcing系统可以提高我们的能力，重新使用和回收组件[8，35，41，45]。在这项工作中，我们已经开始了第一步，通过学习自下而上的参数化CAD关节装配来解决这些挑战。我们的研究结果表明，基于学习的方法有希望接近人类CAD专家的性能，并与我们的数据集的验证，我们希望进一步帮助未来的研究。一BCDeFGH我J总装15858引用[1] Maneesh Agrawala，Doantam Phan，Julie Heiser，John Haymaker，Jeff Klingner，Pat Hanrahan，andBarbara Tversky.设计有效的分步装配说明。ACMTransactions on Graphics（TOG ），22（3）：828-837，2003. 2[2] Steven M Arnold，David Cebon和Mike Ashby。航空航天系统材料选择。技术报告，NASA，2012年。19[3] Autodesk. Autodesk Online Gallery，2015年。6、17[4] 洁莎·贝克和杰西·戴维斯从阳性和未标记数据中学习：一项调查。机器学习，109（4）：719-760，2020。4[5] Flavien Bousuge，Christopher M Tierney，TrevorT Robinson，and Cecil G Armstrong.十因子分解法在cad装配模型相似性分析中的应用在2019年国际网格圆桌会议和用户论坛上1[6] 动摇布罗迪，乌里阿隆，和埃兰Yahav。图形注意 力 网 络 的 注 意 力 有 多 arXiv ： 2105.14491 ，2021。五、二十一[7] Angel X Chang ， Thomas Funkhouser ， LeonidasGuibas，Pat Hanrahan，Qixing Huang，Zimo Li，Sil-vio Savarese，Manolis Savva，Shuran Song，Hao Su ， et al. Shapenet ：An information-rich 3dmodel repository. arXiv：1512.03012，2015。13[8] MML Chang，SK Ong和AYC Nee。面向可持续性的产品拆卸规划方法与挑战。Procedia Cirp，60：506-511，2017。二、八[9] Siddhartha Chaudhuri ， Evangelos Kalogerakis ，Leonidas Guibas，and Vladlen Koltun.基于装配的三维建模之概率推理。ACM事务处理图表，30（4），2011. 2[10] Siddhartha Chaudhuri ， Daniel Ritchie ， JiajunWu，Kai Xu，and Hao Zhang.学习三维结构的生成模型在计算机图形论坛（CGF），第39卷，第643-666页中。Wiley在线图书馆，2020年。2[11] LS霍姆·德梅洛和亚瑟·C·桑德森。机械装配序列生成的一个1989年IEEE机器人与自动化国际会议，第56-57页IEEE计算机学会，1989年。2[12] Chi-Wing Fu，Peng Song，Xiaoqi Yan，Lee WeiYang ， Pradeep Kumar Jayaraman ， and DanielCohen-Or.计算联锁家具组装。ACM Transactionson Graphics（TOG），34（4）：1-11，2015。2、19[13] 托马斯·芬克豪泽、迈克尔·卡日丹、菲利普·施莱恩、帕特里克·闵、威廉·基弗、阿耶莱特·塔尔、西蒙·鲁辛凯维奇和大卫·多布金。 通过实例建模。ACM Transactions on Graphics（TOG），23（3）：652-663，2004。2[14] Matheus Gadelha、Giorgio Gori、Duygu Ceylan、Radomir Mech、Nathan Carr、Tamy Boubekeur、Rui Wang和Subhransu Maji。学习形状控制柄的生成在IEEE计算机视觉和模式识别会议（CVPR）上，第402-411页，2020年。2[15] Lin Gao ， Jie Yang ， Tong Wu ， Yu-Jie Yuan ，Hongbo Fu，Yu-Kun Lai，Hao Zhang.Sdm-net：结 构 化 可 变 形 网 格 的 深 度 生 成 网 络 ACMTransactions on Graphics（TOG），38（6），2019。2[16] Somaye Ghandi和Ellips Masehian。装配与拆卸路径规划问题与方法的综述与计算机辅助设计，67：58-86，2015。2[17] Dan Halperin ， J-C Latombe ， and Randall HWilson. 装 配 规 划 的 一 般 框 架 ： 运 动 空 间 方法.Micromica，26（3）：577-601，2000. 2[18] Songfang Han，Jiayuan Gu，Kaichun Mo，Li Yi，Siyu Hu，Xuojin Chen，and Hao Su.组成可生成的三维结构预测。arXiv：2012.02493，2020。2[19] 阿比纳拉扬哈里什，拉金德拉纳加尔，和山-穆加纳坦拉曼。Rgl-net：一个用于渐进式零件装配的递归图学习框架。arXiv：2107.12859，2021。一、二[20] GD孵化器，WL Ijomah和JFC风车。再制造设计 ： 文 献 回 顾 与 未 来 研 究 需 求 。 Journal ofCleaner Production，19（17- 18）：2004-2014，2011. 30[21] Ruizhen Hu ， Wenchao Li ， Oliver Van Kaick ，Ariel Shamir，Hao Zhang，and Hui Huang.学习从单 个 静 态 快 照 预 测 部 件 移 动 性 。 ACMTransactions on Graphics（TOG），36（6）：1-13，2017。13[22] Haibin Huang ， Evangelos Kalogerakis ， andBenjamin Marlin.三维形状族15859通过深度学习的表面生成模型。在计算机图形论坛，第34卷，第25Wiley Online Library，2015. 2[23] 黄佳蕾，詹冠奇，范庆南，莫凯春，林绍，陈宝泉，列奥尼达斯·古巴斯，董浩。基于动态图学习的三维零件装配生成。神经信息处理系统进展（NeurIPS），2020年。一、二、七、二十八[24] ArjunJain，ThorstenThorméhlen，TobiasRitschel，Hans-Peter Seidel。通过3d模型分解和基于部件的重组探索形状变化。在计算机图形论坛，第31卷，第631-640页Wiley Online Library，2012. 2[25] 放 大 图 片 作 者 ： Pradeep Kumar Jayaraman ，Aditya Sanghi，Joseph G. Lambourne，Karl D. D.Willis ， Thomas Davies ， Hooman Shayani ， andNigel Morris.UV-net：从边界表示学习。在IEEE计算机视觉和模式识别会议（CVPR），第11703-11712页，2021年6月。四、七、十三、二十四、二十五、三十[26] PabloJi me'nez. 组装排序综述：组合与几何观点。Journal of Intelligent Manufacturing，24（2）：235-250，2013. 2[27] Benjamin Jones，Dalton Hildreth，Duowen Chen，Ilya Baran ， Vova Kim ， and Adriana Schulz.Automate：一种用于CAD装配自动匹配的数据集和学习方