TeleAI 具身自动体三维感知新链条 上海AI Lab提出多视角融合具身模型 SAM &amp

当咱们拿起一个机械手表时，从正面会看到表盘和指针，从正面会看到表冠和表链，关上手表反面会看到复杂的齿轮和机芯。每个视角都提供了不同的消息，将这些消息综合起来才干了解操作对象的全体三维。

想让 机器人在事实生存中学会口头复杂义务 ，首先须要 使机器人了解操作对象和被操作对象的属性 ，以及 相应的三维操作空间 ，包括物体位置、状态、物体之间的遮挡相关，以及对象与环境的相关等。

其次，机器人须要了解人造言语指令，对未来举措启动常年布局和高效口头。使机器人具有从环境感知到举措预测的才干是具有应战性的。

近期， 中国电信人工自动钻研院（TeleAI）李学龙传授 团队联结 上海人工自动试验室、清华大学 等单位， 模拟人「感知—记忆—思想—构想」的认知环节 ，提出了多视角融合驱动的通用具身操作算法，为机器人学习复杂操作给出了可行处置打算，论文被 国内机器学习大会ICML 2024录用 ，为构建通用三维具身战略奠定了基础。

近年来，视觉基础模型对图像的了解才干取得了飞速开展。但是，三维空间的了解还存在许多应战。是否 应用视觉大模型协助具身自动体了解三维操作场景，使其在三维空间中成功各种复杂的操作义务 呢？受「 感知—记忆—思想—构想」的认知环节启示 ，论文提出了全新的 基于视觉宰割模型Segment Anything（SAM）的具身基座模型SAM-E 。

首先，SAM- E具有弱小可揭示（promptable）「 感知 」才干，将SAM特有的宰割结构运行在言语指令的具身义务中，经过解析文本指令使模型关注到场景中的操作物体。

随后，设计一种多视角Transformer，对深度特色、图像特色与指令特色启动融合与对齐，成功对象「 记忆 」与操作「 思索 」，以此来了解机械臂的三维操作空间。

最后，提出了一种 全新的举措序列预测网络 ，对多个期间步的举措序列启动建模，「构想」举措指令，成功了 从三维场景感知到具身举措的端到端输入 。

从二维感知到三维感知

在数字时代的浪潮中，随着人工自动技术的飞速开展，咱们正逐渐迈入一个崭新的时代——具身自动时代。赋予自动体以身材，使其具有与实在环球间接互动的才干，成为了钻研的重点方向之一。

要成功这一指标，自动体必定具有弱小的三维感知才干，以便能够准确地理解周围环境。

传统的二维感知手腕在面对复杂的平面空间时显得力所能及，如何让具身自动体经过学习把握对三维空间的精准建模才干，成为了一个亟待处置的关键疑问。

现有上班 经过正视图、仰视图、侧视图等等多个视角的视图恢复和重建三维空间 ，但是所需的计算资源较为宏大，同时在不同场景中具有的泛化才干有限。

为了处置这个疑问，本上班探求一种新的途径—— 将视觉大模型的弱小泛化才干运行于具身自动体的三维感知畛域 。

SAM-E提出了使用具有弱小泛化才干的通用视觉大模型 SAM 启动视觉感知，经过在具身场景的高效微调，将其 具有的可泛化，可揭示（promptable）的特色提取才干、实例宰割才干、复杂场景了解等才干 有效迁徙到具身场景中。

为了进一步优化SAM基座模型的功能，引入了举措序列网络的概念，不只能够捕捉单个举措的预测，还能够深化了解延续举措之间的外在咨询，充沛开掘举措间的时序消息，从而进一步提高基座模型对具身场景的了解与顺应才干。

SAM-E方法

SAM-E方法的外围观念关键蕴含两个方面：

可揭示感知与微调

SAM- E外围在于应用义务指令揭示驱动的网络结构，蕴含一个弱小的视觉编码器和一个轻量的解码器。

在具身场景中 义务「揭示」以人造言语的方式出现 ，作为义务形容指令，视觉编码器施展其可揭示的感知才干，提取与义务相关的特色。战略网络则充任解码器的角色，基于融合的视觉嵌入和言语指令输入举措。

在训练阶段，SAM-E 经常使用 LoRA 启动高效微调 ，大大缩小了训练参数，使视觉基础模型能够极速顺应于具身义务。

多视角三维融合

SAM-E引入了多视角Transformer网络，以融合多视角的视觉输入，深化了解三维空间。其上班分为两个阶段： 视角内留意力（View-wise Attention） 和 跨视角留意力（Cross-view Attention） 。

首先，对多视角特色区分启动视角外部的留意力处置，而后融合多个视角和言语形容启动混合视角留意力，成功多视角的消息融合和图像—言语对齐。

举措序列建模

在机械臂口头中，末端口头器的位置和旋转理论出现出延续而平滑的变动趋向。这一个性使得相邻举措之间存在着亲密的咨询和延续性。基于这一观察，提出了一种陈腐的期间平滑假定，旨在 充沛应用相邻举措之间的外在关联，成功对举措序列的有效模拟学习 。

详细来说，SAM-E框架经过序列建模技术捕捉举措序列中的形式和相关，为举措预测提供一种隐性的先验常识，并对 举措的延续性加以解放 ，从而清楚优化举措预测的准确性和分歧性。

在实践运行中，SAM-E 准许在一次性举措预测中口头后续的多步举措，极大地提高了口头效率。

图3.延续举措的位置和旋转变动

试验

试验使用具有应战性的机械臂义务汇合——RLBench，对多视角观测下的3D操作义务启动了片面评价，SAM-E模型在多个方面均清楚优于其余传统方法。

图5.三维操作义务结果比拟

此外，举措序列建模清楚提高了 SAM-E 的口头效率，同时在战略口头阶段，相比于单个举措，举措序列口头清楚降落了模型推理次数，测试中甚至能经过一次性模型推理成功相应义务。

图7.义务口头中的模型推理频率

SAM-E在 实在机械臂控制 中雷同有效，经常使用两个第三人称相机捕捉多视角视觉输入，在五个实在义务上具有实时的推理才干。

总结

该上班开创性地提出了一种以多视角融合的基础的通用具身操作算法，应用视觉宰割大模型和多视角融分解功具身自动体的三维物理空间感知。

经过高效的参数微调，将预训练视觉模型迁徙到具身场景中，能够处置人造言语指令的复杂3D机械臂操作义务。此外，模型可以经过学习大批专家示例，极速泛化到新的义务中，展现出优越的训练效率和举措口头效率。

更关键的是，SAM-E以「 感知—记忆—思想—构想 」的认知链路，成功了从数据到举措的端到端映射。其意义不只在于其在具身自动体中的运行，更在于对优化自动体认知才干的启示。

经过模拟人类的感知和决策方式，自动体能够更好地理解和顺应复杂的环境，从而在更宽泛的畛域施展更大的作用。

团队担任人引见：

李学龙，中国电信CTO、首席迷信家，中国电信人工自动钻研院（TeleAI）院长。关键关注人工自动、临地安防、图像处置、具身自动。

原文链接:​ ​​ ​