Oculus的负责人介绍了一款新型手动追踪系统

动作捕捉现在已经不是一个时髦的名词了，它在电影、游戏中都得到广泛的应用，赋予了原本动作僵硬面目死板的角色以鲜活的生命，给人们带来惊艳的视觉体验。

要说最早的动作捕捉，还要追溯到马克福莱舍发明的“转描技术”

利用特制的投影设备，将真人投影到画布前，再由画师，人肉作画，一帧一帧的描下来。

（栩栩如生的猪八戒）

后来随着动作捕捉技术的发展，又发展出几种真正意义上的动作捕捉技术。

当然，得到最广泛应用的自然是我们常见的往身上贴马克点的光学式动捕。

不管是电影

还是游戏

配上动捕都如虎添翼，透着屏幕仿佛能感受到画面中角色的呼吸。然而值得注意的是，当实时全身动捕用在灵巧的五指上时，就很难产生类似的实时追踪效果。

手部实时动作捕捉的主要困难在于识别和标记被动马克点。虽然可以使用主动马克点来解决这个问题，但是一根根的连接线路和笨重的传感器显得有些累赘，而且主动马克点可同时追踪的数量也十分有限。若是对于马克点标记的全身追踪，常见解决方案便是从预定义的T型或A型开始，依靠高帧追踪来向前传播标记。可马克点一旦被遮挡或由于虚假反射产生了重影，这种方案就没啥精准度了。而且由于手部体积小、关节多，马克点的分布不得不密集，这就难免不产生遮挡和重影了。

就在前些日子，Oculus的负责人介绍了一款新型手动追踪系统。该系统采用可以自我优化的机器学习算法进行训练，她说：“这种算法比之前所有的手部追踪方案都更为准确。”

由上图也可以看出，Oculus的新型手动追踪系统不管是在单双手还是在手与物体的交互上表现的都很出色。

其实早在去年，扎克伯格就造访了 Oculus研究实验室，在facebook的更新中，他上传了几张照片，其中一张就是带着手套坐在一圈铁架子中，这也与小编在新型手部动捕论文找到的摄像机设备一样。矩形支架上统共摆放了16台Optitrack相机，从而可以全方位捕捉手部的动作。

“我们正致力于将新的方式带入虚拟和增强现实，戴上这些手套，你可以画画，在虚拟键盘上打字甚至可以体验一番漫威超级英雄的生活”扎克伯格说到。

从演示视频来看，扎克伯格对于VR手部追踪的愿景也正一步一步实现。

折一架童年的纸飞机

十八般乐器样样可行

我丢

（每副手套上安装了19个马克点）

研究人员展示了一种新颖的标记和跟踪系统，能够在具有频繁遮挡的挑战性交互场景中实现手部姿势的全自动实时估计。左手标记为橙色，右手标记为蓝色，物体标记为绿色。

这种新型标记与追踪技术既可以用于稀疏马克点集，也可以用于捕捉完整手部26自由度的密集马克点集。Facebook依靠卷积神经网络（CNN）来预测由动捕系统检测到的3D马克点位置标记。然后将记录的数据压缩成2D图像，这使卷积神经网络能够将标记点设置为唯一识别标记位置，从而避免重影和遮挡的出现。为了满足手部高精度的追踪需求，Facebook在精心设计的数据增强程序中使用合成数据对CNN进行训练。在运行时，每当需要重新初始化标记追踪的时候，CNN的输出就用于初始化标记。这种在线标记使得Facebook能够实时重建手部姿势。简单来说，就是将3D空间的问题转化到2D平面上来解决。

将3D标记位置输入标记系统（a），并且呈现为深度图像（b），然后由CNN将深度图像将手上的19个3D标记位置进行颜色编码，用二分匹配将输入标记与其对应的标记标签相关联。

通过将标记聚类成组并用左/右指针随机分配来初始化跟踪器。 左/右手标记被传递到在线标记标记管道以获得每个标记的标记。 应用反向运动学从标记处重建手部姿势。 如果通过研究人员的重建指标，则跟踪的标记和手势将被反馈到下一帧进行在线跟踪。

肢体追踪用活灵活现的肢体语言取代了僵硬无力的死板动作，眼球追踪使空洞呆滞的瞳孔变得炯炯有神。新型的手部追踪也将帮助人们在电影、游戏、VR中获得更为灵巧的体验，跟的上各位单身十八年的手速。