谷歌最新研究：低成本内向外6Dof VR控制器追踪系统

前几日发布的Oculus Go主打经济实惠性价比，低配版仅千把出头的售价也让他成为了名副其实的“千元机”。但是Oculus Go仅支持手部三维自由度，带上Oculus Go的我们也只能在原地“站桩输出”，无法展示自己灵活的手法，沉浸感是大打折扣。

和大部分VR显示器一样，Oculus Go不具备6Dof追踪的原因是出于成本考量，倘若Oculus Go实惠的售价再配上6Dof不菲的成本，恐怕厂商是要血亏一波。

截至目前位置6Dof仍然是是高端头显的特有功能，然而最近谷歌研究的低成本内向外6Dof VR控制器追踪系统可能会令6Dof头显搭配6Dof控制器以更实惠的价格走入寻常百姓家。

正如谷歌所说，许多头显缺乏6Dof控制跟踪器的原因就在于硬件成本、计算成本以及遮挡问题。倘若解决如上三个问题，便能够降低成本，普及技术。

为了解决其中的遮挡问题，谷歌采用了利用一对立体单色鱼眼相机跟踪用户的手臂的办法，确定控制器在图像中的位置，简化系统。

“用户的双手和手臂为控制器在图像中的位置提供了很好的参考，”Google研究人员写道，

“即使控制器被手遮挡住，也可以通过对手部轮廓图像的分析得到控制器的位置。而且除了基于标准IMU的控制器之外，并不需要额外的硬件设备。”

简单来说，就是通过VR头显摄像头捕捉手部和手臂各式各样的姿势，然后用“经验丰富”的软件对这些手势进行识别。

为了提高识别精度，识别软件必须训练有素。研究人员为了这项工作以无标记6-DoF注释控制器姿态收集了超过54万对立体鱼眼图像的头显控制器数据集。 这些6-DoF注释都是是使用Vicon动作捕捉系统自动收集的，具有亚毫米级的高精度。以此来训练神经网络，检测图像，并且推断控制器的位置。

在从数据集中学习之后，该算法可以通过实时反馈的图像”猜测“控制器的位置，来自控制器的IMU数据与算法的位置确定也将提高它猜测的准确性。

这个数据集涵盖了多种用户群和具有挑战性的环境，就目前来看，应该是同类型中最大的数据集。研究人员已经证明，他们的的SSD-AF-Stereo3D模型在数据集的3D关键点追踪中实现了33.5mm的低位置误差。它可以以每秒30帧的速度在单个移动CPU内核上运行。可以说兼具了准确性和流畅性。

随着这个方法的进一步改善，未来更多配备IMU控制器的头显将会具备这一功能，并且研究方有信心在未来将能够支持无手动控制器的手动追踪，彻底解放双手。

实际上跟踪控制器位置的方法在Oculus的Santa Cruz上也有用到。

Santa Cruz使用摄像头寻找隐藏在控制器内部的IR LED标志，然后将标记的形状与已知形状进行比较以获得控制器的位置。

Google拿出的方案区别在于直接追踪用户手臂，而不是发光标记。以此来推断控制器位置。

Google的该团队表示目前方案还有进步空间，当前的模式是在逐帧的基础上预测位置，而不是在帧与帧之间共享信息，所以他们计划把帧之间的插值作为下一步方向，从而显著加快追踪速度。