车载手势交互研究的六种技术路线

佐思汽研发布《2022-2023年中国汽车手势交互发展研究报告》，从手势交互技术、标杆车型手势交互方案、手势交互产业链以及手势交互方案商四个方面进行分析研究。

一、2022年车载手势识别功能装配量同比增长315.6%

随着智能座舱技术的迭代升级，座舱服务从被动智能逐渐演变为主动智能，人机交互模式从单一模态的交互方式转向多模态交互。在这一趋势影响下，车载手势交互功能得到了快速的发展。2022年，中国乘用车手势识别（标配）装配量总计42.7万辆，同比增长315.6%；装配率为2.1%，较2021年增加了1.6个百分点。

二、手势识别控制范围正从软件向硬件、从车内向车外延伸

随着手势交互技术的普及和应用场景的不断扩大，车载手势交互技术也得到了迅速发展。目前，汽车制造商正积极推动座舱交互功能的布局，手势交互技术从最初控制车内信息娱乐系统，包括接挂电话、调整音量、控制导航等功能，发展到可控制车身硬件以及安全系统，如车窗/天窗/遮阳帘开启或关闭、关闭车门、车辆行驶等功能。 此外，车外手势控制也是各大厂商积极拓展的技术领域。例如，WEY摩卡已经实现了驾驶员可以在车外通过手势控制车辆点火、前进、后退、暂停、熄火操作。未来，手势识别功能将不再局限于驾乘人员，而会逐步实现对车外路人的动作识别，例如识别路上交警的指挥手势或汽车周围骑车人做出的手势。

数据堂自制版权的系列数据集产品为“手势识别”这一技术路径的实现提供了强有力的支持。

1314,178张18种手势识别数据

314,178张18种手势识别数据涵盖多种场景、18种手势、5种拍摄角度、多年龄段、多种光照条件。在标注方面，标注21关键点（每个关键点有可见不可见属性）、手势类别和手势属性。314,178张18种手势识别数据可用于手势识别、人机交互等任务。

三、手势识别六种技术路线

从技术路线来看，手势识别技术主要包括基于3D摄像头的结构光、ToF、双目成像，基于雷达的毫米波、超声波，以及基于生物电的肌电技术。

手势识别技术路线

来源：佐思汽研《2022-2023年中国汽车手势交互发展研究报告》

目前，基于3D摄像头的手势感应技术路线是车载手势识别的主流技术路线。该技术路线由3D摄像头和控制单元组成。3D摄像头包括摄像头、红外LED、传感器等部分，用于捕捉手部动作，然后利用相应的图像处理算法识别手势的类型，并下达相关指令。基于3D摄像头的技术路线可细分为结构光、ToF和双目视觉。

结构光技术

结构光技术是将带有编码信息的光投射到人体，由红外传感器采集反射结构图案，最后由处理芯片构建3D模型的方案，适用于10米以内的近距场景，拥有硬件成熟、可识别精度高、分辨率高等优势。于2022年7月上市的哪吒S搭载的手势识别方案即为结构光方案。

哪吒S舱内手势识别传感器位于内后视镜上方，可识别6个手势动作，包括：手掌前后移动调节天幕透光率、比“嘘”静音、手指顺/逆时针调整音量、手掌张开左右移动切换音视频节目、比“V”车内自拍以及点赞收藏节目。

ToF技术

ToF技术即根据光的飞行时间测距，由底层感光元件构建3D图像实现，其可以获得5米内的有效与实时深度信息，适用场景更广，无论环境光较强（如：日光）或较弱，都可获得有效的景深信息。宝马iX、理想L9、极狐阿尔法S全新HI版等量产车型搭载的手势识别方案均为ToF方案。

宝马iX舱内手势识别传感器位于中控屏上方车顶灯处，可识别8个手势动作，包括： ① 手左右挥动拒接电话/忽略提示；

② 食指前后接听电话/确认提示；

③ 顺时针旋转可增大音量或放大导航地图；

④ 逆时针旋转可减小音量或缩小导航地图；

⑤ 手握拳伸出大拇指向左右挥动，调整上一曲/下一曲；

⑥ 两手指指向显示器可自定义；

⑦ 做出五-零-五手势（自定义）；

⑧ 手握空拳，食指与大拇指相碰，左右挥动拉扯可查看车辆四周影像（需要车辆带自动泊车辅助系统PLUS）。

理想L9为保证驾乘人员均可实现手势识别控制，在车内前舱及后舱分别安装了手势识别传感器。前舱传感器位于内后视镜上方，后舱传感器则位于后排娱乐屏处上方。

前舱可识别2个手势动作，包括： ① 控制车窗/天窗/遮阳帘（结合语音交互）；

② 播放页面长握拳，上下移动调整音量。

后舱可识别7个手势动作，包括： ① 五指张开内侧手肘放置于扶手保持2秒，可进行手势定位；

② 五指张开，向下挥手打开屏幕；

③ 五指张开，手掌移动光标；

④ 握拳抓取图标；

⑤ 长握拳，抓取并移动实现画面甩屏；

⑥ 在播放页面，长握拳，左右移动可调节播放进度；

⑦ 在播放页面，五指张开，向上挥手可退出当前内容。

双目立体成像技术

双目立体成像技术基于视差原理，由多幅图像获取物体三维几何信息实现。该技术对硬件要求低，无需额外的特殊设备，是一种性价比高的方案。于2022年5月上市的奔驰EQS搭载的手势识别方案即为双目立体成像方案。

奔驰EQS舱内手势识别传感器位于车顶阅读灯处，可识别3个手势动作，包括： ① 比“V”调出收藏夹；

② 在内后视镜下方前/后挥手，控制天窗关/开；

③ 手向车内挥动，自动关门（需选配四门电动开闭）。

目前，基于雷达的毫米波、超声波以及基于生物电的肌电等手势识别技术，在汽车舱内手势识别功能中尚未被广泛应用。与传统的视觉手势识别技术相比，这些技术仍然存在一些限制和挑战。

毫米波雷达

毫米波雷达是一种无线电波传感器，即使在有障碍物的情况下，也能准确探测手的位置和运动。 2020年，木牛科技美国子公司Ainstein，与美国ADAC Automotive成立合资品牌RADAC，并在CES展上正式发布了基于毫米波雷达的车载手势识别解决方案。该方案中的手势识别传感器位于尾门上方，可通过手部的左右挥动打开车门。

超声波雷达

2020年2月，DS在日内瓦车展上推出的Aero Sport Lounge概念车，集成了Leap Motion体感控制技术和Ultrahaptics超声波触觉反馈技术，可轻松识别、解读驾乘者的每个手势动作，并通过微型扬声器发出的立体超声波予以驾乘者触觉反馈。

DS Aero Sport Lounge舱内手势识别以及超声波反馈传感器位于车内中央扶手处，可识别5个手势动作，包括： ① 舱内温度和吹风速度调节； ② 曲目以及音量调节； ③ 处理导航/地图，包括设置新路线； ④ 接听/拒绝电话；

⑤ 菜单功能切换。

DS Aero Sport Lounge手势识别传感器位置图

生物电

生物电是指人体肌肉运动产生的电信号。生物电传感器可以通过测量这些电信号来识别手势与动作。目前，基于生物电的肌电手势识别技术更多应用于控制外部设备和交互界面，例如控制假肢、虚拟现实和游戏设备等方面。致力于研发智能手势控制产品的加拿大公司Thalmic Labs，推出的首款可穿戴设备MYO腕带采用的就是肌电技术。该腕带内嵌8个肌电传感器记录手臂肌肉的电信号，通过分析这些信号识别不同的手势。在实际应用过程中，用户可以通过MYO腕带的蓝牙连接来控制无人机、电脑、智能手机等电子设备。目前尚无车内应用案例。

审核编辑黄宇