谷歌公布AI手势识别新成果

尽管早期的消费型智能眼镜也尝试过使用触控板和手持或可穿戴控制器用于信息输入，但实际上HoloLens 2的手势控制界面和Magic Leap One代表着智能眼镜输入的未来。

谷歌的研究部门开发了一种新的机器学习模型，可以在轻量智能眼镜中实现高端AR系统中的复杂手势控制，无需额外的体积或者深度感测和运动传感器的成本。

本周，谷歌人工智能团队公布了手掌/手指追踪的最新方法。新方法使用了开源、跨平台的MediaPipe框架，在移动设备上（而不是在云端）即时处理视频，通过机器学习模型映射多达21个手部和手指点。

“我们希望向更广泛的研究和开发团队提供这种手感功能，带来更多创造性案例，刺激新的应用程序和研究途径的产生，”谷歌团队在一篇详博客文章中写道。

手掌/手指追踪方法实际上把任务划分成为三个机器学习模型。谷歌的研究人员没有使用机器学习模型来识别手掌本身，而是用的手掌检测算法，平均准确率接近96%。

检测到手掌后，另一个机器学习模型识别出了相机视图中手掌的21个关节坐标点。第三种算法通过记录每个手指的手势，与预定义的手势进行匹配，学习模型支持分辨计数和其他各种手势。

换句话说，这种机器学习方法可以直接应用在Android或iOS设备上，无需专门的运动或深度传感器。谷歌团队还在研发开放源代码方式的模型，以便其他开发人员和研究人员使用。团队的计划也会不断提高机器学习模型的准确性和性能。

在不久的将来，这款手控跟踪系统将帮助开发者打造类似于Snapchat和Facebook的AR体验，将手控识别和跟踪技术融入自拍中。

谷歌还可以利用这项技术与Pixel 4上的Soli雷达传感器合作，打造一些独特的AR体验，类似于iPhone X系列上的Animojis，后者把苹果的ARKit和TrueDepth相机组合使用。

然而，通过这一进步，我们更要思考机器学习方法可以给智能眼镜带来什么。硬件制造商不再使用运动深度传感器，更接近HoloLens 2和Magic Leap One上的用户输入方法。

越来越多的科技公司需要人工智能来解决AR可穿戴设备在外形和功能方面的问题。甚至微软也在混合使用ARKit和ARcore的人工智能方法来检测界面瑕疵，以更好地实现HoloLens 2的新场景理解能力。软件应该是研发智能眼镜的关键。只能眼镜足够轻薄，可以每天佩戴，而不仅限于家里或办公室区域。