基于物体-手语义表示的灵巧抓取

15741走向类人之握：基于物体-手语义表示的灵巧抓取孙天强朱日娜吴祥波林毅*大连理工大学{zhutq，hswrn}@ mail.dlut.edu.cn，{linxbo，lslwf}@dlut.edu.cn图1：左侧显示了物体的功能区域，每个功能区域都标注了语义触摸代码，以指导我们的模型生成灵巧手的功能抓取，如右侧所示。摘要近年来，许多灵巧的机器人手已经被设计成在执行各种任务中辅助或替代人手但如何教他们像人手一样进行灵巧的操作仍然是一项具有挑战性的任务。在本文中，我们提出了一个把握综合框架，使机器人掌握和操纵像人类一样的对象。我们首先通过精确分割物体的功能区域并为每个功能区域标注语义触摸代码来构建数据集，以指导灵巧手完成功能抓取和抓取后的操作。该数据集包含从4个数据集中选取的18类129个对象，15人参与了数据标注。然后，我们精心设计了四个损失函数来约束模型，成功地生成了语义触摸代码指导下的灵巧手功能抓取。在合成数据上的实验表明，该模型能够鲁棒地产生功能抓取，即使对于模型以前没有见过的物体也是如此。1. 介绍我们一直在追求使机器人能够像人一样抓取和操纵物体，从而帮助人类完成各种任务。虽然已经有一些dex-由于机械手像人手一样复杂，因此控制它们像人一样操作是非常具有挑战性的。灵巧手抓取综合的方法主要分为以手为中心的方法和以物体为中心的方法。以手为中心的方法中的先前工作集中于通过界标跟踪[19]、基于模型或基于数据驱动的手部姿势估计[6，18]以手关节配置或抓握类型的形式记录抓握活动。然而，由于手指之间的高自由度、自遮挡和自相似性，准确地注释每个手关节的坐标或角度是具有挑战性的近年来，研究者开始将研究重点转向以物体为中心的抓取综合。他们的方法更注重姿势[10，34]，形状[28，39，42，43，4650，51，59]和用于抓握和操纵的对象的功能[5，16，17，23，36，44，45，60]，观察对象和人手之间的接触位置抓！[37]方法用于预测具有力封闭条件的物体几何形状的可行抓取，但不能保证生成拟人抓取。为了预测类似人类的抓握，它应该知道物体可以被灵巧的手抓握的位置。ContactDB [4]作为第一个记录人类抓握家居物品的详细接触图的大规模数据集，从接触图合成抓握，并且不需要手动指定每个手指15742接触点然而，由于手的每个部分不对应于接触图的特定部分，因此在该方法中，多个手配置有时可能导致相同的UniGrasp [52]将对象几何形状和夹持器属性视为输入，以选择对象表面上的一组接触点，使得这些接触点满足力闭合条件，并且可由夹持器在无碰撞的情况下到达，但很相比之下，我们的方法使用对象的真实功能区域来指导功能抓握的生成，避免了由接触图引起的具体地，我们分割物体的功能部分用于抓取，并且记录触摸代码以描述手的手指或手掌是否接触物体的每个部分。在这种情况下，手的位置被优化以触摸对象3D表面。此外，所提出的高级语义触摸代码不需要手的关节坐标或角度的低级注释，这极大地简化了抓取任务中的手部姿势注释。并且最重要的是，触摸代码还包括将手指引导向任务导向的类人抓握的抓握功能给定对象表面上的分割的功能部分和语义触摸代码作为输入，我们训练一个深度学习模型，以寻求一个类似人类的把握，优雅地适合功能部分和触摸代码的规范。所提出的数据集和抓取合成结果如图所示。1.一、此外，我们还训练了一个语义分割网络来预测对象的功能同时，将分割网络与上述抓取合成网络相连接，在测试集上实现了基于物体点云的功能性抓取合成。代码和数据将在这里提供。本文的贡献可以概括如下。• 我们提出了一个把握综合框架，认为，ERS的对象功能部件和触摸代码的灵巧机械手的每个部分的对象。这种物体-手交互的联合表示是紧凑且有效的，这导致像人手一样成功的面向任务的抓握。• 我们创建一个数据集来训练我们的网络。该数据集包含从4个数据集中选择的18个类别中的129个对象。对于每个物体，我们分割物体的功能区域，并为每个功能区域标注触摸代码，以指导灵巧手完成功能抓取和抓取后的任务。• 我们已经在合成数据中验证了我们的方法，并表明我们的模型也可以生成类似人类的抓握。这证明了所提出的语义对象-手表征对抓握的重要性。2. 相关工作灵巧机器人抓取近年来，许多研究致力于具有高自由度的灵巧机械手的抓取规划[3，10，11，14，27，31这些研究主要分为以手为中心的研究方法和以物为中心的研究方法。大多数以手为中心的方法[16，23，44，45，60]专注于通过人类演示向机器人传达抓握意图其中，视频[20]或运动演示[21，53，54]用于记录人体演示，数据手套[2，13，15]或视觉识别[49]用于捕获手部姿势。然而，为了将人类操作映射到不同的末端执行器，需要设计不同的映射方法，并且映射规则应该仔细调整以适合于各种场景。最近，研究人员开始将他们的重点转移到以对象为中心的抓取合成[14，27，32，33]。[12，22，38，57]通过指定对象的可接触区域来引导机器人完成操纵任务，但这不足以教导机器人实现细粒度和灵巧的操纵。ContactGrasp [5]使用ContactDB [4]中的接触热图作为抓握示能表示，并在线优化GraspIt！[37]以匹配接触热图，从而获得类似人类的抓握。类似地，[36]在模拟环境中使用深度强化学习（RL）模型来生成符合接触热图的抓握。然而，由于接触热图的大小取决于人手，因此不可避免的是接触热图可能大于对象的功能区域，并且对于接触热图没有明确的接触指导。因此，它可能导致手指接触物体的功能区域之外，甚至使手的错误部分接触物体的功能区域与此相反，我们准确地分割了物体的功能区域，并使用简洁明了的语义代码来指导灵巧手像人一样与物体进行交互。抓取示能表示抓取示能表示通常以对象为中心，用于指导操纵器和对象之间的交互。以前的研究主要集中在标记图像中物体的可接触区域[9，12，23，26，29，30，35，41]，但它太粗糙，无法引导灵巧手完成细粒度的操作任务。最近，随着深度学习在计算机视觉领域的发展，[10，32，33]通过在抓取期间标记特定操纵器但是，这些方法都是针对所标注的机械手的，因此很难应用于其他灵巧手。ContactDB [4]将对象上的手-对象交互的接触热图呈现为抓握示能表示，并且ContactPose [6]进一步注释交互期间的手部姿势。但如上所述，因为接触热图是从157431011131412152163（b（一·图点颜色触摸代码意向代码拇指食指中环小手掌按下，用力滑动触摸12345678910 11 12 13 14 15 16一BCD（一）白色00000000000000000000绿色10010010000000000001（b白色00000000000000000000黄色1000000000000000100074远侧85中间96近侧1（c）第（1）款图2：（a）描述了当打开瓶子时参与者的演示和对象功能区域的分割。（b）是另一个例子。（c）中的手的16个部分依次对应于“触摸代码”的16位该表记录了（a）和（b）对于人手，它可能不匹配对象的功能区域，并且可能不适用于其他操纵器。相比之下，我们执行细粒度的语义分割的对象，根据其功能和结构，并使用带注释的触摸代码，以指导机械手正确接触的功能区域的对象。3. 方法要使灵巧手像人一样抓取和操纵物体，就必须让机器人了解在当前任务下应该抓取物体的哪些部位，应该用哪些手部部位接触这些物体部位，接触后应该采取什么样的动作.因此，为了实现上述三个要求，本文提出了一种新的数据集，该数据集将抓取对象的功能部分进行分割，直观地向操作者展示哪些对象部分可以抓取，并使用显式语义标注告诉灵巧手应该用哪个手指或手掌接触这些部分，以及完成预定抓取后应该采取什么样的动作.此外，我们提出了一种深度学习方法来生成灵巧手的功能性抓取由于本文的主要目的是提出一个新的数据集，并讨论如何利用该数据集指导灵巧手产生功能抓取，由于篇幅有限，我们在补充材料中给出了语义分割网络。本节组织如下：3.1 详细描述了我们的数据集，第3.2描述了如何实现功能性抓取，第3.3节描述了我们的方法中使用的损失函数。3.1. 用于抓取的物-手语义表征数据集许多家用物品被设计成由人类的手来使用，并且为了正确地使用物品，通常需要我们触摸该物品的特定部分，我们称之为该物品的功能区域。同时，正确的抓握或操作也离不开手的配合，需要用手的特定部位去触摸这些功能区[8]，然后执行特定的动作。例如，如图2所示2（a）、开瓶时，大多数人会用左手抓住瓶子，而右手的拇指、食指和中指会牢牢抓住瓶盖。基于这一观察，我们提出了我们的语义分割数据集，其中包含了右手和对象之间的互动时，对象被操纵。至于其他情形，如左手与物体的互动将是我们未来的研究工作。数据集的生成过程如下。我们从四个常用的对象数据集中选择了18个类别中的129个对象，这些对象数据集包括Big-BIRD [55]，KIT 对 象 模 型 数 据 库 [25] ， YCB Bench-marks [7] 和Grasp数据库[24]，其中包括各种家用对象的网格。这18类物品是电钻、夹子、锤子、手电筒、螺栓、螺丝刀、剪刀、抹刀、喷雾罐、喷雾瓶、香蕉、水罐、照相机、哑铃、灯泡、钳子、钉子15744M|--(000,100,…,1000)(100,000,…,1000)(000,100,…,1000) (100,000,…,0100) (100,000,…,1000)(000，100，...，1000）(100,000,…,1000) (111,111,…,0001)(111,111,…,0001) (111,111,…,0001) (111,111,…,0001) (100,000,…,0001) (100,100,…,0001)图3：功能区域的分割和我们数据集中18类对象的“触摸代码”的简要介绍枪和订书机我们根据对象的功能部分进行分割。根据该对象的用户手册或通过年龄在20至65岁之间的身体健全的男性和女性的15名参与者的投票来确定功能部件。为了保证目标功能部件语义切分的准确性和一致性，两位博士生使用“语义切分编辑器”软件进行标注和检查。最后，一个分割方案保留用于每个对象的一个任务。具体地说，为了清楚地表达手和物体之间的抓握行为，如图1所示。2，每个功能部件都标有16位“ 触 摸代 码 ”， 指示图3、对象有18个类别，每个对象的功能区域都用20位语义码进行了分割和标注。3.2. 网络结构功能性抓取综合是机器人学中具有挑战性的研究任务[5]。良好的功能性抓握是指灵巧手需要正确地触摸物体的功能区域，以便于执行抓握后的动作，如使用电钻时，食指应触摸开/关开关，而手的其他部位应握住电钻手柄。在本节中，我们将描述如何使用我们注释的16位“触摸代码”来引导网络生成ShadowHand的功能性抓握，而无需费力地我们将功能性抓握合成的过程公式化如下：给定对象点云O和“触摸代码”C，我们训练输出ShadowHand的配置的模型以实现功能性抓握。手配置包括每个关节的角度（J），以及手相对于对象的空间旋转（R）和平移（T总体配方为：M：{O，C} ⇒ {J， R， T}（1）如图4，我们将物体的原始点云与16位“触摸代码”连接起来作为模型的输入。输入数据首先通过由核点构成的点云特征提取网络，然后通过特征提取网络进行特征提取。是否能被相应的手部触及（图2（c））和4位“意图代码”，其指示接触后按压、点击、滑动和牢固接触的四种动作意图。例如，图1B中所示的订书机。图2（b）被分割成头部（黄色）、基部（红色）和其他部分（白色）。而吻合器头的代码为 20位语义代码 对于灵巧手学习像人手一样的操作是必要的和重要的，因为第一个16位的“触摸代码”可以引导灵巧手正确地触摸物体的功能区域，从而指导功能抓取的合成，而最后4位的“意图代码”可以告诉每个手部分需要执行什么抓取后的动作，从而可以正确地使用物体。因此，虽然本文只讨论了如何使用总之，我们的数据集描述了操作对象的必要条件，具有直观的分割和简洁明了的语义触摸代码。所示卷积（KPConv）[56]，其通过设计球形卷积核来实现对无序点云的卷积随后，由点云特征提取网络提取的特征被馈送到全连接层中，其输出手部配置J、R、T。为了避免我们的模型陷入局部最优，同时提高生成的抓握的稳定性，我们使用[32，33]中的抓握数据预训练 模 型 ， 从 而 使 用 GraspIt 生 成 足 够 且 稳 定 的ShadowHand抓握！[37 ]第37段。然而，很明显，预训练只能确保网络产生的抓取是稳定的，这与灵巧手的特定部位要触摸的物体的功能区域的功能抓取为了满足功能抓取的基本要求，我们提出了吸引损失（L吸引），它将每个功能区域与灵巧手需要触摸该功能区域的部分根据16位“触摸代码”进行匹配，然后最小化它们之间的距离。为了使16位“触摸代码”适用于ShadowHand，我们从ShadowHand的21个链接中选择16，如图所示。5（a），其对应于图5中的人手的16个部分。第2段（c）分段。然后，为了计算15745nn--输入网络输出网络FK层输出损失点（3×n）触摸码（16×n）J、R、T关节角度关键点L吸引（x1，y1，z 1）（x2，y2，z 2）…(000，100，...，1000）(000，100，...，1000）…(000，000，.，0000）……JJ（x，R重点L斥力损失跨步KpconvKpconvJ：关节角度R：旋转T：翻译L角L自碰撞完全连接图4：我们的功能性抓握综合框架的整体架构。将具有16位12远侧中间近侧1734561878910111219162013141521(a)（b）第（1）款图5：ShadowHand的21个链接如（a）中所示被标记，并且选择对应于图中人手的16个部分的1至16个链接。二、(b)显示了计算选定链路上损失函数的16个距离，我们在手掌的内表面上选择16个手部链接的16个关键点，如图所示5（b），并通过链路的关键点与目标功能区域的点集之间的最小距离来使用这些关键点计算距离的必要条件是需要在模型训练过程中实时获得它们的空间坐标。为此，我们使用Pytorch [40]编写了ShadowHand的可微分正向运动学推导（FK）层，它可以根据灵巧手配置J，R，T计算每个关键点的空间坐标。Tensorflow [1]版本的类似工作可以在[58]中看到。通过这种方式，我们可以通过最小化L吸引力来迫使手部连杆靠近对应的功能区域，L吸引力是每个连杆的关键点与其对应的功能区域之间的距离的加权和然而，由于ShadowHand的高度自由度，当仅使用L吸引力来约束模型以生成功能性抓取时，可能会出现以下问题：i）不受L吸引力约束的那些链路可以出现在任何地方。如打开一个瓶子，L吸引只能保证远端拇指、远端食指和远端中指在瓶子上（2）L吸引力不能限制灵巧手产生的关节角度，可能会超出其运动极限，导致手形不合理; iii）有些功能区域可以同时被多个连杆触及，如瓶盖，因此可能会发生多个连杆接近同一点的情况，导致机器人手的自碰撞。针对以上三个问题，我们分别提出了以下解决方案。对于第一个问题，我们提出了排斥损失（L排斥），其目的是保持每个链接远离对象的一部分，不corre- spond到这个链接。 如图4、电钻的开关在通过L吸引来吸引远端食指的同时，也通过L排斥来排斥其余的手部连杆。这样，那些不受L吸引力约束的链接将受到L排斥力的约束。同时，由于所有的环节都在同一运动链上，手的姿态基本上可以由组合约束吸引力损失和排斥力损失。对于第二个问题，因为机器人手的每个关节具有有限的运动范围，所以我们提出角度损失（L角度）以将所生成的关节角度θn保持在其下限θmin和上限θmax之间。至于第三个问题，可以通过保持链路彼此远离来解决，因此提出了自冲突避免损失（Lself-collision下面描述这四个损失函数的细节3.3. 损失函数如前所述，吸引力损失（L吸引力）是每个对象功能区域的点集与其对应链路在训练过程中，我们通过使L吸引力接近0来迫使手部链接接近其相应的功能区域。L吸引力定义如下：15746ΣΣ˜NnnΣΣnnΣL吸引力=16αj·dis（kj，oij））（2）L=λ1·L吸引+λ2·L排斥+λ3·L角+λ 4·L自碰撞（六）i=1j =1其中，在每个训练批次中，N个对象的数据被馈送到模型中。αj是由每个链接的重要性确定的权重。例如，拇指在日常操作中使用最多，因此我们为它设置了更高的权重。dis（kj，oij）表示各连接点与其目标功能区点集之间的最小欧氏距离，其中kj为第j条连接点上的key点，oij为第i个目标上与第j条连接点对应的功能区点集.排斥损失（L排斥）通过排斥来限制不受L吸引约束的链路如下式所示：4. 结果如3.2节所述，我们以物体-手交互的语义信息为指导，通过精心设计的预训练和损失函数，引导模型生成灵巧手的功能抓取。本节将通过实验评估我们的结果。在简单介绍了实验设置后，我们将在第4.1节中介绍我们提出的损失函数如何引导模型逐步生成功能性抓握，以及预训练对最终生成的抓握的影响。在第4.2节中，我们将进一步讨论训练的抓取合成模型在16L排斥=γj·maxi=1j =1∫logβjdis（kj，o~ij）+ε，0，（三）训练集，以及显示连接语义分割网络和抓取合成网络后在测试集上生成的抓取结果。我们把129个有标签的物体分成104列-阈值β可以认识到，当dis（k，o）测试集和25个测试集。进行了所有实验j j~ij将减少到0。 而dis（k，o在台式机上使用英特尔®酷睿TMi7-7700 CPU @吉吉第j个链路链接需要远离的第i个对象的ij部分在这里，我们采用对数（log）函数来惩罚这个距离，基于它的性质，即惩罚随着距离的减小而变得更强，而惩罚随着距离的略微增加而迅速下降。 这样既能起到很好的排斥作用，又有助于与L吸引力平衡，以免排斥远离物体的手。此外，ε是一个小正数，以防止分母为0。角度损失（L角度）是对模型生成的角度θn的线性惩罚，使其保持在其下限θmin和上限θmax之间。角度损失的表达式如下，其中N是接头的总数：本文提出的模型需要24小时以上。4.1. 消融研究在第3.2节中，我们详细描述了预训练的作用和四个损失函数，包括吸引损失、排斥损失、角度损失和自碰撞避免损失。接下来，我们将通过实验验证每个组件的贡献。图6示出了在预训练之后通过用4个损失函数的不同组合来约束网络而生成的一些功能性抓握。第一行图像示出了用于抓取的每个对象的分割部分，第二行图像呈现了仅使用L吸引力的结果。它可以看出，手链接试图接近L角=nΣ=1 max（θn−θmax，0）+max.θmin−θn，0Σ（四）对象的功能区域，例如图1的第一图像6，远端拇指指向自冲突避免损失（Lself-collision）的作用是保持链路彼此远离，其表达式如下：16 16L自碰撞=µij·max（δij−dis（ki ，kj ），0）（五）i=1j =1其中δij是距离阈值，以确保当第i个链路和第j个链路之间的欧几里得距离超过δij时，不发生惩罚而“重”，就是“重”。最后，吸引损失、排斥损失、角度损失和自碰撞避免损失被线性组合成最终损失L，其在训练过程中被最小化：NN其中γj是每个链路的权重。 max函数超过阈值βj，第j个链接的惩罚）表示3.60GHz × 8、32GB RAM和NVIDIA® Geforce GTX15747其余四个手指的远端围绕吻合器的底部闭合然而，如第3.2节中所分析的，不受L吸引力约束的那些链接将碰到物体，诸如手的大部分进入订书机的内部。随着L排斥的添加，如图3的第三行所示。6、手基本上跑出物体。但可以看出手形很奇特。 比如这排第四张图上钳子的抓取，小指关节角度不合理，几个环节发生碰撞。 通过依次添加L角和L自碰撞，如第四行和第五行所示，可以看出15748吸引力排斥吸引排斥角吸引排斥角自碰撞图6：第一行显示了每个物体的功能区域，而第二至第五行显示了依次添加吸引损失、排斥损失、角度损失和自避碰损失这四个损失函数后网络生成的抓取结果。W/O预训练预培训图7：有或没有预训练的抓握结果的比较。第四排灵巧手关节角度在合理范围内，第五排灵巧手无自碰撞。同时，最后一行的手姿势满足预期的功能性抓握。例如，为了使用第五列中的手电筒，远端拇指按压开关，而其余连杆抓住手电筒主体，或者为了使用第七列中的相机，远端拇指按压功能按钮，并且远端食指同时按压快门按钮。对于预训练，这是用来初始化网络与良好的参数，使网络产生更稳定的把握，我们使用两个数值指标来说明其功能。第一个是目标功能区与其对应的链接距离越小，手连杆越靠近其功能区域。我们将此距离表示为平均DoC。第二个是由GraspIt！[37]，指的是抓握抵抗外力干扰的能力。当抓取稳定时，QM值在0和1之间，并且该值越大，抓取的鲁棒性越强。当抓握不稳定时，该值为-1。具体地，我们使用QM> 0来表示稳定抓取率，并且所有稳定抓取率预训练数据集平均Doc（cm）QM> 0平均QM无火车1.2465.05%0.032测试1.7360.0%0.029与列车0.6281.73%0.081测试1.06百分之八十0.059表1：Mean DoC是目标功能区与其对应的链接关键点之间的平均距离，而Mean DoC越小，手链接越接近其功能区; QM用于测量抓取的鲁棒性。当QM> 0时，抓取是稳定的，并且QM值越高，抓取的鲁棒性越强。在这里，我们使用QM> 0来表示稳定抓握的速率，并且使用平均QM来测量所有抓握的稳定性。Grass如Tab.所示。1，从Mean DoC可以看出，在预训练之后，功能区域与其对应链路之间的平均距离变小。这是因为在预训练之后，如图所示。7、灵巧手更倾向于接触物体表面，缓解了穿透或远离物体的情况。从QM> 0和平均QM可以看出，经过预训练后，该模型可以产生更多更好的上述观察结果与我们使用预训练的初衷一致。4.2. 实验结果和讨论在第4.2节中，我们证明了我们的注释的语义分割可以有效地指导模型生成灵巧手的功能性抓取，并且还证明了所提出的约束函数和训练方法具有各自的重要作用。在本节中，我们将进一步分析模型生成的结果。如前所述，我们的模型是在没有功能性抓握的准确手部注释的情况下训练的。相反，它由我们提出的数据集和四个精心设计的损失进行训练，以使模型尝试适合正确的功能把握。因此，本节首先分析网络在训练集上的性能，然后讨论抓取生成网络是否可以推广到抓取网络尚未看到的对象，其功能区域和语义代码由segmen预测站网图8显示了训练集上的一些代表性结果。很明显，对于大多数物体，我们产生的功能性抓握符合人类操纵这些物体的习惯。例如，图1中的第一图像。8显示了射钉枪的使用。 抓到这个无花果- 这对于执行抓取后动作以完成捆绑任务是非常有帮助的。与针对灵巧手的力封闭性的研究工作相比，如图1所示。9，可以发现，我们的方法显-15749好坏图8：关于训练集中的对象的功能性抓握的质量结果。Graspit我们图9：GraspIt！也是我们的它引导灵巧的手触摸物体的功能区域。例如，当使用钳子时，如图2的第二行中的第一图像所示。8、我们的方法可以保证钳子的两个手柄可以被不同的手指正确地触摸。相反，图中的手。9抓住钳子的头部。然而，在我们的方法中仍然存在一些问题，例如在图8的最后一行中的第一图像中抓取灯泡。虽然所有的指尖都在灯泡上，但灯泡螺纹正对着手掌，因此无法完成安装灯泡为了解决这个问题，我们计划在未来的工作中进一步约束灵巧手的接近方向。为了进一步验证我们提出的功能性抓握综合模型的实用性，我们将测试集的对象输入到语义分割网络中，得到预测的功能区和然后，分割网络的预测结果被馈送到训练的抓取合成模型中以生成最终抓取结果。如图10，从左到右，每幅图像都显示了我们标注的对象功能区，ob-好坏图10：功能性把握的质量结果。第一列中的图像示出了测试集中对象的语义分割标签，而第二列和第三列中的图像分别示出了预测的语义分割结果和从结果生成的抓取。由分割网络预测的对象功能区域，以及由上述过程生成的最终抓取结果。从前三行可以发现，抓取生成网络仍然可以对具有良好分割结果的对象合成良好的功能抓取，而从最后一行可以得出结论，分割结果的质量直接决定了是否可以生成功能抓取。5. 结论和未来工作为了使机器人能够像人一样操作物体，我们精确地分割物体的功能区域进行抓取，并为每个功能区域标注触摸代码，引导灵巧手完成功能抓取和后抓取任务。丰富的实验结果表明，我们提出的把握合成框架可以教灵巧手实现功能性抓取。对于其中的一些问题，我们也进行了详细的描述，并将在以后的工作中通过丰富数据集的标注或提出新的约束函数来解决。此外，我们还计划在未来的工作中使用注释的致谢本 文 得 到 了 国 家 自 然 科 学 基 金 项 目 （ No.U1708263、61873046）。15750--引用[1] Mart´ın Abadi，Paul Barham，Jianmin Chen，ZhifengChen，Andy Davis，Jeffrey Dean，Matthieu Devin，Sanjay Ghe-mawat，Geoffrey Irving，Michael Isard，etal. Tensorflow：一个大规模机器学习系统。在第12届USENIX操作系统设计和实现研讨会（{OSDI} 16）中，第265-283页，2016年。5[2] Keni Bernardin，Koichi Ogawara，Katsushi Ikeuchi，andRuediger Dillmann.一种基于隐马尔可夫模型的连续人体抓取序列传感器融合识别方法。IEEE Transactions onRobotics，21（1）：47- 57，2005. 2[3] Antonio Bicchi和Vijay Kumar机器人抓取和接触：审查.在2000年ICRA会议记录中。千年会议。IEEE国际机器人与自动化会议Symposia Proceedings（Cat. No. 00 CH37065），第1卷，第348-353页。IEEE，2000年。2[4] 放 大 图 片 作 者 ： Charles C. 作 者 声 明 ： James Hays.Contactdb ： 通 过 热 成 像 分 析 和 预 测 抓 取 接 触 。 在IEEE/CVF计算机视觉和模式识别会议（CVPR）上，2019年6月。一、二[5] Samarth Brahmbhatt，Ankur Handa，James Hays，andDieter Fox.联系方式：功能性多指抓取合成从接触。arXiv预印本arXiv：1904.03754，2019。一、二、四[6] Samarth Brahmbhatt，Chengcheng Tang，Christopher DTwigg，Charles C Kemp，and James Hays.联系方式：具有物体 接触和手姿势 的抓握数据 集。arXiv预印本arXiv：2007.09545，2020。一、二、四[7] Berk Calli、Aaron Walsman、Arjun Singh、SiddharthaSrini-vasa、Pieter Abbeel和Aaron M Dollar。 操纵研究中的基准：ycb对象和模型集以及基准测试协议。arXiv预印本arXiv：1502.03143，2015。3[8] 翁贝托·卡斯蒂略神经科学的抓取。Nature ReviewsNeuroscience，6（9）：726-736，2005. 3[9] Enric Corona Guillem Alenya Antonio Gabas 和 CarmeTorras。使用深度学习的主动服装识别和目标抓取模式识别，74：6292[10] Enric Corona ， Albert Pumarola ， Guillem Alenya ，Francesc Moreno-Nogue r和 G re'goryRogez 。 Ganhand ：Predictinghumangraspaffordancesinmulti-objectscenarios.在IEEE/CVF计算机视觉和模式识别会议论文集，第5031-5041页，2020年一、二[11] Hao Dang和Peter K Allen。语义把握：规划功能上适合于对象操纵任务的机器人抓握。2012年IEEE/RSJ智能机器人和系统国际会议，第1311IEEE，2012。2[12] Renaud Detry Jeremie Papon和Larry Matthies以任务为导向的语义和几何场景理解的抓取.2017年IEEE/RSJ智能机器人和系统国际会议（IROS），第3266-3273页。IEEE，2017年。2[13] 斯塔凡·埃克瓦尔和丹妮卡·克拉吉奇。自动抓取生成和规划的接近矢量的学习和评估。在Proceedings 2007IEEEInternationalConferenceonRoboticsandAutomation，第4715-4720页中。IEEE，2007年。2[14] Chiara Gabellieri 、 Franco Angelini 、 Visar Arapi 、Alessandro Palleschi 、 Manuel G Catalano 、 GiorgioGrioli 、 Lucia Pallottino 、 Antonio Bicchi 、 MatteoBianchi和Manolo Garabini。像专业人士一样抓住它：基于熟练的人类专业知识，用机器人手抓取未知物体。IEEE Robotics and Automation Letters，5（2）：2808-2815，2020。2[15] Oliver Glauser ，Shihao Wu ， Daniele Panozzo ， OtmarHilliges，and Olga Sorkine-Hornung.使用拉伸感测软手套的交互式手部姿势估计ACM Transactions on Graphics（TOG），38（4）：1-15，2019。2[16] Abhishek Gupta，Clemens Eppner，Sergey Levine，andPieter Abbeel.从人类示范学习机器人软手的灵巧操作。在 2016 年 IEEE/RSJ 智 能 机 器 人 和 系 统 国 际 会 议（IROS），第3786-3793页。IEEE，2016. 一、二[17] Henning Hamer，Juergen Gall，Thibaut Weise，and LucVan Gool.一个对象相关的手姿势之前从稀疏的训练数据。2010年IEEE计算机协会计算机视觉和模式识别会议，第671IEEE，2010。1[18] Henning Hamer ， Konrad Schindler ， Esther Koller-Meier，and Luc Van Gool.跟踪操纵对象的手。在2009年IEEE第12届计算机视觉国际会议上，第1475-1482页。IEEE，2009年。1[19] Shreyas Hampali，Mahdi Rad，Markus Oberweger，andVin- cent Lepetit.Honnotate：用于手部和对象姿势的3D注释的方法在IEEE/CVF计算机视觉和模式识别会议论文集，第3196-3206页1[20] Ankur Handa ， Karl Van Wyk ， Wei Yang ， JackyLiang ， Yu-Wei Chao ， Qian Wan ， Stan Birchfield ，Nathan Ratliff，and Dieter Fox. Dexpilot：基于视觉的机器人灵巧手遥操作系统。2020年IEEE国际机器人与自动化会议（ICRA），第9164-9170页。IEEE，2020年。2[21] 亚历山大·赫尔佐格，彼得·帕斯特，米纳尔·卡拉克里希南，卢-多维奇·里盖蒂，塔米姆·阿斯福尔和斯特凡·沙尔.基于模板的抓取选择学习。在2012年IEEE机器人和自动化国际会议上，第2379IEEE，2012。2[22] Martin Hjelm、Carl Henrik Ek、Renaud Detry和DanicaKragic。学习人类任务约束抓取的先验知识。在计算机视觉系统国际会议上，第207-217页。施普林格，2015年。2[23] Divye Jain、Andrew Li、Shivam Singhal、Aravind Ra-jeswaran、Vikash Kumar和Emanuel Todorov。学习灵巧手操作的深度视觉运动策略。2019年国际机器人与自动化会议（ICRA），第3636-3643页。IEEE，2019。一、二[24] Daniel Kappler，Jeannette Bohg和Stefan Schaal。杠杆式大数据抓规划.在2015年IEEE机器人与自动化国际会议（ICRA），第4304-4311页。IEEE，2015年。315751[25] Al e xanderKaspe r，ZhixingXue，andR u¨ digerDillmann.套件对象模型数据库：服务机器人中用于物体识别、定 位 和 操 作 的 物 体 模 型 数 据 库 。 The InternationalJournal of Robotics Research，31（8）：927-934，2012.3[26] Mia Kokic，Danica Kragic，and Jeannette Bohg.从人类活动数据集学习面向任务的抓取。IEEE Robotics andAutomation Letters，5（2）：3352-3359，2020。2[27] Marek S Kopicki，Dominik Belter和Jeremy L Wyatt。学习更好的生成模型，以实现对新物体的灵巧、国际机器人研究杂志，38（10-11）：1246-1267，2019。2[28] Robert Krug ，Dimitar Dimitrov ， Krzysztof Charusta，and Boyko Iliev.关于力闭合抓取的独立接触区域的有效计算。2010年IEEE/RSJ智能机器人和系统国际会议，第586-591页。IEEE，2010。1[29] Ian Lenz，Honglak Lee，和Ashutosh Saxena.用于检测机器 人 抓 取 的 深 度 The International Journal of RoboticsResearch，34（4-5）：705-724，2015。2[30] Sergey Levine、Peter Pastor、Alex Krizhevsky、JulianIbarz和Deirdre Quillen。通过深度学习和大规模数据收集学习机器人抓取国际机器人研究杂志，37（4-5）：421-436，2018。2[31] Hui Li，Jindong Tan，and Hongsheng He. Magichand：使用拟人化机器人手的上下文感知灵巧抓取2020年IEEE机器人与自动化国际会议（ICRA），第9895-9901页。IEEE，2020年。2[32] Min Liu，Zherong Pan，Kai Xu，Kanishka Ganguly，and Di- nesh Manocha.使用神经网络生成用于高自由度抓 握 的 抓 握 姿 势 arXiv 预 印 本 arXiv ： 1903.00425 ，2019。二、四[33] Min Liu，Zherong Pan，Kai Xu，Kanishka Ganguly，and Di- nesh Manocha.高自由度抓手的深度可微抓取规划器。arXiv预印本arXiv：2002.01530，2020。二、四[34] QingkaiLu，Kau