苏黎世联邦成功虚构人超灵敏抓取 具身自动又进一步！卡内基梅隆&amp Meta&amp

论文链接：

github链接：

亮点直击

本文提出了一种控制虚构人形抓取物体并沿着物体轨迹移动的方法。由于控制具备灵巧手的人形存在应战，先前的方法理论经常使用无身材的手，并且只思考垂直优化或短轨迹。这种有限的范围限度了它们在动画和模拟所需的物体操作方面的实用性。为了补偿这一差距，本文学习了一个控制器，可以抓取少量（>1200）的物体并将它们携带到随机生成的轨迹上。本文的关键见地是应用一种提供相似人类静止技艺并清楚放慢训练速度的人形静止示意。仅经常使用便捷的鼓励、形态和物体示意，本文的方法在不同物体和轨迹上显示出良好的可裁减性。在训练环节中，不须要配对的全身静止和物体轨迹数据集。在测试时，只要要物体网格和抓取、运输所需的轨迹。为了展现本文方法的才干，本文展现了在追随物体轨迹和推行到未见物体方面的最新成功率。

Omnigrasp：抓取多样化的物体并追随物体轨迹

为了处置拾取物体并追随多样化轨迹的应战性疑问，作者首先失掉了一个通用的灵巧人形机器人静止示意。应用这一静止示意，本文设计了一个分层强化学习框架，经过预抓取疏导的便捷形态和鼓励设计来成功抓取物体。本文设计的架构如下图2所示。

PULSE-X：基于物理的通用灵巧人形机器人静止示意

本文引见了PULSE-X，它经过参与关节手指裁减了PULSE，使其实用于灵巧的人形机器人。 本文首先训练了一团体形机器人静止模拟器，该模拟器可以裁减到蕴含手指静止的大规模人类静止数据集。而后，本文经常使用 variational information bottleneck（相似于VAE）将静止模拟器提炼成一个静止示意。

数据增强。 由于蕴含手指举措的全身静止数据集很少（例如，AMASS序列中91%的数据不蕴含手指举措），本文首先经过参与关节手指举措来增强现有序列，并构建一个灵巧的全身静止数据集。相似于BEDLAM中的环节，本文未来自AMASS的全身静止与从GRAB和Re:InterHand中采样的手部举措随机配对，以创立一个灵巧的AMASS数据集。直观上，在这个数据集上启动训练可以提高模拟者的灵巧性以及后续的静止示意。

预抓取疏导的物体操作

试验

抓取和轨迹跟踪

由于静止成果在视频中出现得最好.除非另有说明，一切战略均在各自数据集的训练集上启动训练，并且本文在GRAB和OakInk数据集上启动了跨数据集试验。一切试验运转10次并取平均值，由于模拟器每次运转时会由于浮点误差等要素发生稍微不同的结果。由于全身模拟人形抓取是一个相对较新的义务，基线数量有限，本文经常使用Braun等人[6]作为关键比拟对象。本文还成功了AMP和PHC作为基线。本文在训练AMP时驳回了相似的形态和鼓励设计（不经常使用PULSE-X的潜在空间），并经常使用了义务和甄别器鼓励权重0.5和0.5。PHC指的是经常使用模拟器启动抓取，本文间接将实在的静止学身材和手指静止数据输入预训练的模拟器以抓取物体。

GRAB数据集（50个物体）。 由于Braun等人不经常使用随机生成的轨迹，为了偏心比拟，本文在两种不同的设置下训练了Omnigrasp：一种仅经常使用MoCap物体轨迹启动训练，另一种仅经常使用分解轨迹启动训练。从表1中可以看出，本文的方法在一切目的上都优于之前的SOTA和基线，尤其是在成功率和轨迹跟踪方面。由于一切方法都基于模拟，本文省略了穿透/脚滑动目的，并报告了准确的轨迹跟踪误差。与Braun等人相比，Omnigrasp在物体优化和轨迹跟踪方面都成功了高成功率。间接经常使用静止模拟器PHC，即使提供了实在的静止学姿态，成功率也很低，显示出模拟器的误差（平均30毫米）关于准确抓取物体来说太大。MoCap和本文的模拟人形之间的身材形态不婚配也造成了这种误差。AMP造成低轨迹成功率，显示了在举措空间中经常使用静止先验的关键性。Omnigrasp可以以平均28毫米的误差准确跟踪MoCap轨迹。比拟在MoCap轨迹和随机生成的轨迹上启动训练，本文可以看到在生成的轨迹上训练在成功率和位置误差上体现更好，虽然在旋转误差上体现较差。这是由于本文的3D轨迹生成器在物理上正当的3D轨迹上收敛得很好，但在随机生成的旋转和MoCap物体旋转之间存在差距。经过在轨迹生成器上引入更多的旋转变动可以改善这一点。轨迹成功率（Succtraj）和抓取成功率（Succgrasp）之间的差距显示，跟踪完整轨迹比仅仅抓取要艰巨得多，并且在轨迹跟踪环节中物体或者会掉落。定性结果见下图3。

OakInk数据集（1700个物体）。 在OakInk数据集上，本文将抓取战略裁减到超越1000个物体，并测试对未见过物体的泛化才干。本文还启动了跨数据集试验，在GRAB数据集上训练，并在OakInk数据集上测试。结果如下表3所示。可以看到，1330个物体中有1272个被训练成功抓取，整个优化环节也有很高的成功率。在测试集中本文观察到相似的结果。经过审核，失败的物体理论要么太大，要么太小，造成人形机器人不可建设抓取。少量的物体也对难负样本开掘环节形成了压力。在GRAB和OakInk上训练的战略显示出最高的成功率，由于在GRAB中有双手预抓取，战略学会了经常使用双手。经常使用双手清楚提高了一些较大物体的成功率，人形机器人可以用一只手勺起物体并用双手携带。由于OakInk只要单手预抓取，因此不可学习这种战略。令人惊讶的是，仅在GRAB上训练在OakInk上也取得了很高的成功率，抓取了超越1000个物体而无需在该数据集上启动训练，展现了本文抓取战略在未见过物体上的鲁棒性。

OMOMO数据集（7个物体）。 在OMOMO数据集上，本文训练了一种战略以展现本文的方法能够学习抓取大型物体。如下表2显示，本文的方法能够成功学习抓取一切物体，包括椅子和灯。关于较大的物体，预抓取指点关于疏导战略学习双手操作技艺至关关键（如上图3所示）。

消融 & 剖析

消融试验

在本节中，本文经常使用GRAB数据集的跨对象宰割来钻研本文框架中不同组件的影响。结果如下表4所示。

首先，本文比拟了在有（第6行）和没有（第1行）PULSE-X举措空间的状况下训练本文的方法。经常使用相反的鼓励和形态设计，可以看出经常使用通用静止先验清楚提高了成功率。经过审核，经常使用PULSE-X还发生了相似人类的静止，而不经常使用则造成不人造的静止。

第2行与第6行的对比标明，预抓取指点关于学习稳固的抓取举措至关关键，但没有它，某些物体依然可以成功抓取。

第3行与第6行的对比显示了灵巧AMASS数据集的关键性：假设没有在蕴含多样手部静止和全身静止的数据集上启动训练，战略可以学会拾取物体（高抓取成功率），但在轨迹跟踪方面会有艰巨。这是预期的，由于静止先验或者不足“移动时持物”的举措。

第4行和第5行标明，物体位置随机化和硬负开掘关于学习持重和成功的战略至关关键。

剖析：多样化的抓取战略。 在下图4中，本文可视化了本文方法所经常使用的抓取战略。可以看到，依据物体的形态，本文的战略在轨迹跟踪环节中经常使用了多样化的抓取模式。基于轨迹和物体的初始姿态，Omnigrasp为同一物体发现了不同的抓取姿态，这展现了经常使用模拟和物理定律启动抓取生成的长处。本文还留意到，关于较大的物体，本文的战略会驳回双手和非抓握式的运输战略。这种行为是从GRAB中的预抓取学习到的，GRAB经常使用双手启生物体操作。

限度、总结和未来上班

限度

虽然Omnigrasp展现了控制模拟人形机器人抓取各种物体并在坚持物体的同时追随全方向轨迹的可行性，但依然存在许多限度。例如，虽然输入和鼓励中提供了6自在度（6DoF）输入，系统在旋转误差方面仍需进一步改良。Omnigrasp尚未允许准确的手内操作。轨迹追随的成功率可以提高，由于物体或者会掉落或不可被拾起。另一个改良畛域是成功对物体的特定类型抓取，这或者须要额外的输入，例如所需的接触点和抓取模式。即使在模拟中，成功人类水平的灵巧度依然具备应战性。无关失败案例的可视化，请参见补充网站。

论断与未来上班

总之，本文展现了Omnigrasp，这是一种能够抓取超越1200种物体并在坚持物体的同时追随轨迹的人形机器人控制器。它可以推行到相似尺寸的未见过的物体，应用双手技艺，并允许拾取较大的物体。本文证实，经过经常使用预训练的通用人形机器人静止示意，可以经过便捷的鼓励和形态设计来学习抓取。未来的上班包括提高轨迹追随的成功率，提高抓取的多样性，并允许更多的物体类别。此外，改良人形机器人静止示意也是一个有出路的方向。虽然本文经常使用了一个便捷但有效的一致静止潜在空间，将手和身材的静止示意离开或者会带来进一步的改良。有效的物体示意也是一个关键的未来方向。如何制订一种不依赖于规范物体姿态且能够推行到基于视觉系统的物体示意，将有助于模型推行到更多物体。

原文链接:​ ​​ ​