PICO 找到新思绪 自研多模态追踪算法 手柄小型化 为

研发背景

作为头戴的追踪配件，VR手柄可以经过HMD（头戴显示设施）的inside-out光学追踪定位原理，计算出手柄的空间运动轨迹，同时联合6轴传感器成功6DoF空间定位。与此同时，联合手柄控制器的物理按键、马达反应、摇杆等，用户还能取得真切、细腻的触觉反应，进一步增强虚构事实人机交互的才干以及沉迷感，这也是目前无手柄打算所难以成功的。

目前干流VR手柄的追踪技术打算，包括光学追踪、自追踪和电磁追踪打算。

因精度高、功耗低、老本低，光学追踪是目前最干流的VR手柄追踪形式。为了保证IR灯（红外灯）不易受遮挡，通常手柄本体上都带有一个清楚凹陷的追踪光环。

但为了适应VR设施小型化得趋向，优化用户携带的便利性，并提供更人造的交互形式，PICO敞开了手柄上的追踪光环，选用在手柄本体有限区域内安顿大批的IR灯。

Centaur多模态融合算法架构

更小的手柄、更少的IR灯，也象征着更频繁的遮挡。 如何处置遮挡状况下的手柄追踪疑问，则是PICO研发团队面临的关键课题 。

基于团队在光学追踪与裸手追踪方面的技术积攒， PICO翻新性地提出了一套基于神经网络的多模态手柄追踪架构 ，其融合了惯性测量单元（IMU）、光学传感器和手部图像消息。在手柄被遮挡的状况下，裸手追踪能够提供愈加精准的观测，同时手柄又能为手部追踪提供准确预测，两者深度融合、相互辅佐。

裸手追踪

因为手柄的遮挡，通常裸手视觉特色并不清楚，这也经常会引发追踪失效。针对该难点，裸手算法团队翻新性地提出Down-Top的端到端6DoF追踪算法，经过有效应用多目时序的全局高低文消息，一次性性准确且稳固地预测手柄位姿消息，能够在手柄追踪失效时，及时提供鲁棒的6DoF位姿。

1. 模型背景

目前广泛的裸手追踪算法是基于Top-Down结构，即基于Detection模型检测出手部的bounding-box框，再应用bounding-box框将手部抠选进去，如下图所示：

该结构可以取得更高的精度，然而在平举、人造垂上等不凡举措场景中，因为小手柄遮挡或离得较远等要素，手部加大之后含糊的中央较多，如下图所示：

这种状况下，Top-Down的结构就很难检测出手段点的位置，从而造成解算失败和手柄失效。但Down-Top的结构，则可以协助PICO从大图中的手臂、身材等消息，判别手段点的位置。

2. 模型结构图

3. 评测结果

从经常使用Top-Down模型结构和Down-Top模型结构在平举和垂上等场景中的试验结果中，可以发现，经常使用Down-Top打算，能够在精度相近的状况下，取得更高的检出率：36%->93%。

融合算法

1. 全新应战

传统光学追踪打算，依赖手柄上一个清楚突出的物理结构（即追踪光环），来确保手柄在各种各样的握持角度和位置条件下，都有足够的LED灯点可以被定位摄像头观测到。多个LED光点在图像上的2D位置被确定后，则可以启动PNP解算，辅以手柄内高帧率的IMU，则可以取得准确的手柄高频定位结果，从而为用户提供准确、流利的追踪体验。

但去掉光环后，追踪算规律面临较大应战。因为LED只能够被稠密的安顿于手柄本体的几个区域，且更少的数量和更易被遮挡的状况，也造成摄像头经常性地只能观测到有限的红外灯，甚至是零个。此时算法仅依赖IMU的惯性递推解算，并不能长期间提供稳固牢靠的定位消息。

PICO算法团队经过多轮探求预研后，翻新提出了融合惯性测量单元（IMU）、光学传感器和手部图像消息的多模态融算打算。该打算基于手势识别和手柄光学追踪的互补性，完美地处置了上述的一系列应战和难点。 团队将其命名为Centaur多模态融合算法。

2. Centaur多模态融合算法的形成

Centaur多模态融合算法将视觉消息和惯性消息启动融合，进而失掉手柄位姿及速度的最优预计，并提供应下层运行层。融合算法形成如下图所示：

图中各模块的配置：

3. 追踪与融合

当算法初次运转，或处于3DOF形态时，因为没有延续追踪发生的时序先验消息，因此须要Bootstrap fromscratch的初始化打算。在LED及手势两种消息的加持下，初始化算法相比传统光学定位也做了相应的更新，并运转LED初始化和手势初始化两种算法，最先解出正确初始形态的算法将经常使用手柄初始位姿及速度初始化融合滤波器，从而清楚改善各种握姿下手柄初始化的速度和成功率。

而当算法初始化成功并进入追踪形态时，算法流程又如下图所示：

4. Centuar多模态融合算法收益

自研同步多相机系统

数据采集与智能标注

PICO数据试验室构建了多模态的同步相机系统，不只能取得少量且高精度的数据消息，也为技术和产品的研发奠定了松软基础。该系统配件方面包括工业 RGB 相机阵列，结构光扫描仪，光学动捕相机系统，以及 VR 头戴，软件方面包括点云注册、时空间标定、手势手柄智能标注等， 数据采集与智能标注流程蕴含采集前的预备和数据采集作业，其中数据采集作业又分为两个阶段。

咱们驳回结构光扫描仪失掉手柄和 IR 光球外表的密集点云取得了光球到手柄模型的转换相关。咱们还将光球绑定到了 tag 标定板上，经过观测标定板取得了包括 VR头戴在内的传感器参数；关于各个传感器的期间线，咱们驳回两种形式来对齐：一是侵入式地共用外部时钟信号，二是经过极速舞动头戴设施，从而取得 VR头戴轨迹和与其绑定的光球轨迹来启动时、空间对齐。

采集前，结构光扫描及注册

经过光球与手柄之间、阶段一取得的手和手柄之间的空间相关，以及阶段二采集的光球轨迹，就能取得手势、手柄在采集空间中的轨迹。另一方面，经过光球与头戴之间的空间相关与阶段二跟踪取得的光球轨迹，就能将手势、手柄投影到头戴相机中取得数据标签了。

总结

PICO研发团队一直努力于为世界用户发明优质的XR技术和产品体验。手柄小型化设计是XR交互打算设计中的翻新性和打破性停顿，而PICO自研的Centaur多模态追踪算法，不只让「手柄小型化」成功了技术打破并成功落地，也为后续的人机交互设计提供了新的思绪和或者性。