手势识别会成为VR头显主流的交互方式吗

（文章来源：VR陀螺）

随着Oculus将于2020年初在Quest中加入手势识别功能这一消息发布，手势交互终于打破局面，开始真正走向消费端。此次Oculus Quest手势识别使用了基于计算机视觉的手势识别的技术方案。（感谢凌感科技uSens费越博士对本文技术部分的支持）

VR陀螺从费越博士口中了解到，目前基于计算机视觉的手势方案实际上也分为两种：一种是用深度摄像头，一种是用一个或者多个普通摄像头实现。而其中深度摄像头的方案又分为两种，TOF（Time of Flight，光飞时间）和结构光。实际上结构光，或者TOF输出的东西基本一样，都是一张深度图。

相对于两种使用深度摄像头的方案，基于一个或多个普通摄像头实现的手势识别难度更高，但得益于技术发展，其在精度、成本综合性能上正在成为主流。 业内的Leap Motion、凌感uSens就是使用这种方案，Oculus Quest也是使用原有的用于SLAM和手柄跟踪的四个灰度摄像头用深度学习算法来实现的手势识别。

凌感uSens自2015年就开始使用深度学习技术实现手势识别，并在2017年发布了和Oculus Quest类似的基于灰度摄像头的手势识别及SLAM方案。 不久前凌感还研发发布了单目RGB相机上的三维手势骨骼识别，可识别手部全部22个关节点的26DOF（26自由度）信息，关节点包括3D位置信息和3D旋转信息。在单目RGB相机上实现三维手势骨骼识别相对于多个灰度相机的方案来说算法的难度更高。

近年来TOF方案在手机上应用越来越广泛，也是最容易实现深度信息的方案，但在VR、AR设备上却几乎没有。原因可以从以下几个方面来看：另外，对手势识别精度起到决定性的还有两个因素：一个是模型是否好，只有好的模型才能预测出来更多3D的点。第二是需要有足够的高精度的数据，才能训练出来好的模型。

实际上在使用基于计算机视觉方案之前，Oculus Touch手柄已经实现了一部分手势动作，如握拳、竖拇指、开枪等手势，包括Valve Index的指虎手柄，也是为了在游戏中呈现更为自然的手部动作。Quest加入手势识别，意味着这一技术终于真正开始面向消费端用户，也将带来更多开发者针对这一交互开发探索出更多的内容形态。

费越也提到，凌感的手势识别目前主要应用在三大领域，以AR、VR、手机为主的2C领域，汽车领域以及工业自动化领域，其中VR、AR、手机领域需求增长非常迅速。“交互的最终形态不需要定义，他做的就是人在真实世界里面要做的事情。”VR、AR的独特之处在于沉浸感，而在沉浸环境中，最自然的交互莫过于与现实中一样，挥手打招呼、猜拳、握手、抓取、击掌……

从智能终端的发展来看，从PC到手机，一切都在简化，特别是在智能手机时代，交互简化到只需要滑动、点击，就连2、3岁的小孩都能轻易上手。VR、AR的交互复杂，也代表着用户的学习成本越高，同时也容易“出戏”。现在除了纯观影类的内容之外，几乎所有带交互内容都需要一定的学习过程，用户需要在体验过程中记住每个按键所对应的功能。

而在诸如模拟、社交类这类的内容中，越接近真实的场景对于手势越有优势，开发者可拓展性也更强。手势在需要触觉反馈的体验上无法取代手柄，而手柄也无法自然地实现手部动作的呈现以及复杂的手部姿态，但从毋庸置疑的是未来手势将会变成XR设备中不可或缺的一种交互方式，越来越普及。