索尼演示全新VR控制器原型，支持手部全指追踪

索尼曾提交过一份类似于Knuckles风格的VR控制器发明。日前，索尼的研究人员正式展示了利用机器学习和电容传感器来实现全手追踪的实验性技术。

像Leap Motion这样基于视觉的手部追踪系统可允许用户直接用双手操纵，无需控制器，但它们通常会产生手指遮挡的情况，从而无法在虚拟现实中实现一比一的全手映射。

为了给虚拟现实控制器带来更强的手部临在感，索尼研究人员Kazuyuki Arimatsu和Hideki Mori构建了一个集成大批电容式接近传感器的控制器原型，而它非常类似于V社的Index控制器（原Knuckles）和Oculus Touch。

原型包含62个电极，而Kazuyuki Arimatsu和Hideki Mori用所述电极记录了不同手部尺寸与姿态的训练数据。与Index控制器一样，索尼的原型采用了一种基于腕带的开放式手掌设计。

相关论文：Evaluation of Machine Learning Techniques for Hand Pose Estimation on Handheld Device with Proximity Sensor

他们在论文中写道：“我们用2.5D Representation将卷积神经网络方法应用于曲面的电容图像，并利用我们的数据集评估了基于计算机视觉领域最新成果的两种网络架构。我们同时使用原型实现了实时交互应用程序，并演示了在虚拟现实应用程序中使用手指进行直观交互的可能性。”

他们指出：“如果我们向全世界的用户提供我们的方法，这可能会产生问题。由于我们需要一个光学追踪系统来记录训练数据集，所以（视频演示的）每个用户的微调训练无法通过我们当前的训练方法进行。为了更好地适应不同的手部尺寸，我们需要研究一种增强或合成电容图像的方法。”

目前的算法无法估计用户手部的形状，比如说手指的厚度，而这可能会在执行捏合动作时造成实际手部姿态和虚拟手部姿态的不匹配。用户当然可以在挑选更小的虚拟对象时进行自我调整，而这对于Knuckles和初代Oculus Touch控制器都是事实（Oculus Touch控制器是第一款采用相对较小的电容传感器阵列的VR控制器）。

不管是哪种情况，目前尚不清楚索尼是否会继续推进所述技术的商业化，比如说用于支持PS5的控制器。我们依然在屏息等待下一代PSVR的发布，但显然，我们确实希望索尼能够抛弃原有的PS Move+PS Camera的光学组合。