瑞萨方案助力AI加持的触控和手势识别应用

Mohammed Dogar

Vice President

随着电容式触控界面的广泛采用，传统机械按键正在退出历史舞台。用户设计非常好的控制面板现在已经可以支持触摸和手势识别。电容式触控技术能支持设备接受手指和手势的高级操作。通过手指和手势的动作来操作机器已经成为现实，毕竟手势是人类交流最自然的方式之一。在与智能终端产品交互时，也是如此。这都归功于嵌入式计算设备如微控制器和微处理器的巨大发展，使得通过智能传感器实现手势识别成为可能。

触控屏的使用现在已不仅限于智能手机，它已经扩展到对稳定性和对安全要求更高的工业领域。要想实现这样一个通过感应手指触摸就知道你想要什么的智能界面，已经非常容易了。AutoML还有其他嵌入式AI/ML工具都已经支持基于触控的拖放分析了。

手势识别可以进一步改善人机交互的体验并且可以运用到多个场景，例如触控屏、相机或外围设备。手势识别是无触摸用户界面（TUI）的基础，即在无触摸的情况下控制设备，无需触摸屏幕、开关或操作按钮。在人机交互方面，使用手势是最直观、最自然的。基于视觉的手势识别技术采用摄像头和运动传感器来跟踪用户的运动。设备中的运动传感器可以跟踪和识别手势，将其作为主要的输入源。随着用于捕捉手势的传感器的发展，一个值得关注的应用是AI虚拟鼠标，它可以通过设备内置的摄像头跟踪手指移动、识别手势、执行鼠标操作：操作滚轮、移动光标。除此之外，使用手势还有助于管理和监控需要安全操作但人手又难以触及的设备，还可以应用于AR和VR环境、手语识别、游戏等多种场景。

嵌入式手势识别是一种无接触的人机交互方式（HMI）。它们旨在搭配触控屏、摄像头等设备来一起加强人机交互的体验。目前，手势识别和触控，都被用于人机交互（HCI）或物联网（IoT）情况下的人机交互。

人工智能（AI）和机器学习为通过实时分析来执行更智能任务奠定了基础，在人机互动应用中也呈现了很好的效果。同时，物联网给这些任务的运行提供了基础的支撑。人工智能通过机器学习提供决策能力，物联网提供设备连接和数据共享能力，二者的结合还能进一步扩展能力圈，比如基于用户交互、网络服务和其他相关设备的自主学习。

人工智能（AI）可以进一步优化手势识别和触控的用户体验，帮助预测用户的屏幕操作来加快互动响应。其它案例研究进一步表明，人工智能还能提高IoT设备对手势识别的准确性。

在构建支持手势识别和触控交互的方案时，为有效解决电气和射频噪声问题，选择合适的设备来做整体硬件设计是非常关键的，因为准确度是方案的核心。高级相机、智能手表、可穿戴设备或数据传输手套都是这类手势和触控技术可以运用的设备，以及相关AI算法的最佳用武之地。在各种应用场景下，瑞萨都能提供丰富的硬件支持。

随着电容式触控和手势操作场景的扩展，面板的灵敏度和抗噪性，也已成为实现精确控制和复杂操作的关键要求。还有对防水、防尘和对环境温度变化耐受性的要求。在此之上，开发时间和成本也是需要面对的挑战。

瑞萨电子的第二代电容触控解决方案可以帮助用户设计出更先进的控制装置。并且我们提供用户友好的开发环境，降低开发门槛，帮助用户加快对电容式触控和3D手势识别方案的开发。

e-AI×3D手势识别：瑞萨方案助力各种应用

Renesas QE工具支持“3D手势识别”帮助客户开发基于嵌入式人工智能（AI）的手势应用。开发AI应用往往需要许多复杂的知识背景，Renesas QE工具可以帮助嵌入式工程师无需专门的AI知识背景也能顺利和便捷地开发AI应用。

使能“3D手势识别”

在开发智能手势识别应用的过程中，有三个关键环节。

1

记录（训练）

在电容式传感器上大量做出你希望系统识别的手势，得到用于注册的数据，把它们显示在列表中。从列表中删除错误的识别数据；对应的，列表也要支持新数据的导入。

2

AI生成

创建AI的过程（数据预处理、深度学习，把训练好的神经网络模型转换为C代码），Renesas QE工具对手势识别做了优化和自动处理。虽然人工智能的自动创建很难很复杂，但Renesas QE已经可以实现手势识别这个细分应用的全过程自动化。

3

监控和调整

用户可以在真实设备上检查和调整AI模型的准确度。如果手势没有被正确识别，可通过工具的“添加数据”按钮，立即导入新的训练数据，来让AI算法做自动优化调整。

技术的发展在不断解决手势识别准确性方面的各种挑战。比如用户接触不善导致的传感器感知数据质量不好，物体遮挡造成的视觉采集不完整，以及照明不足的影响。进一步的挑战来源于视觉和感官数据混在一起导致数据集合的错误匹配。因此需要分开处理后再合并，这也导致了响应速度变慢。

未来的前景还是很令人振奋的，因为对增强型智能触控和手势识别的需求正在扩大，在消费者市场和工业领域都有了突破性应用。