多模态人机交互的融合才是未来的发展趋势

2019年CES展会上，智能驾舱、车载人机交互系统、沉浸式体验成为大家集中的关注焦点。

今年一个明显趋势是各大汽车OEM厂商都在推动手势识别HMI的商用落地，包括实现对天窗、车窗、智能座椅、空调的调节控制、以及车载娱乐多媒体系统的选择、播放等操作。

从当前趋势当中可以看出传统按键的交互方式，已经转变为触控、语音、手势识别等多模态融合的人机交互模式。

手势识别的兴起，背后还是来自于市场需求，一方面是座舱显示的快速普及，一个是用户体验成为大家关注的重点。

“车内显示已经从主仪表盘、单一中控，延伸到多屏主控、后排头枕等座舱娱乐形态。车内车外多形态的显示需求必然会催生未来多模态人机交互的需求。”1月16日，在2018高工智能汽车年会上，未动科技副总裁刘风表示。

刚刚结束的2019CES上，汽车主机厂展示重点纷纷偏向电子座舱、智能座舱、概念座舱，部分知名主机厂的智能驾舱就采用了未动科技提供的手势识别人机交互解决方案。从本届CES展会可以看出，多模态的人机交互和驾驶员监测已显示出锐不可挡的发展势头。

一、多模态人机交互的融合

从驾乘体验来看，车已经不单是一个代步工具，而是一个作为人机交互、满足娱乐需求、办公需求的个性化移动空间。如果要实现以上目标，无论按键还是触屏等单一交互模式都已经不能满足人机交互系统多样化的需求。

未来如果要想做到多模态的融合，其设计原则和实现途径有哪些？

当前多模态人机交互设计的原则，一个是首先要保证智能驾舱的安全；第二，人机交互要舒适和便捷，要符合人体自然的使用习惯和感知需求。

目前的车内人机交互途径基本上分为接触式和非接触式的，非接触式的就是语音和手势，以及不久即将实现的眼动识别和情绪识别等。所以多模态智能人机交互会成为未来人机交互的主流，并且逐步实现大规模商用。

二、多模态人机交互的优势

相比单一的人机交互模式而言，到底智能的多模态人机交互的优势体现在哪里？

未动科技给出了一个多模态命令频率的统计数据，从数据中可以看出，多模态交互的优势体现在空间上可以更快、效率更高、交互识别准确率更高，而且对于关键的任务完成率更高。

刘风举了一个多模态人机交互的案例，比如语音输入“我想看看路左边广场的背面大厦的照片”，需要一个描述准确的完整语句才能完成；而如果采用多模态的交互方式，只需要用手指向交互对象或者通过眼动追踪再叠加语音即可更加准确地实现上述交互目的，由此可以看出通过视觉方式可以有更好的指向性，如人们口头上经常说的“那、这”等代词在语义上容易产生多义性，使用手势就不会产生此类问题，但是通过语音有时候可以更准确的描述对象。

从上面的事例可以看出，单一的交互模式有时候在交互过程当中会有一定的局限性，并且交互效率较低，而采用多模态融合交互模式就不会出现如上问题。

三、多模态交互的应用场景

那么，多模态交互的典型应用场景是什么？

从多模态交互的优势可以看出，其典型应用场景就是单一交互模态受限或者效率较低的场景，下面以HUD和后排乘客娱乐系统举例进行说明。

一个是普通的抬头显示，从主控屏上可以通过手势分享相应的内容到抬显屏幕上；地图导航叠加眼动跟踪，可以让驾驶员体验到更加逼真的导航服务；而使用语音可以叠加相关具体的内容，比如说我想选取某一个指标和信息，投到抬显屏幕上去，通过语音就可以做到很好的交互。

多模态交互的另一个典型场景是后排娱乐系统，一个是通过手势像做游戏方面的交互，还有通过VR为后排的驾乘人员提供更好的沉浸式的娱乐体验。

此外，未动科技凭借创新的技术实力，也获得了2018高工智能汽车金球奖评选“年度国产DMS供应商”及“年度智能网联创新技术”两项大奖。

四、多模态人机交互是未来趋势

从智能驾驶的汽车，未来过度到智能情感交互的智能汽车。如果传统汽车只是代步工具的话，未来的汽车是真正实现人机互动、情感交互的移动载体。

在这个基础上，未来的感知系统会为人机交互，包括情感交互提供一个切实可行的途径和手段。刘风表示，多模态融合是必然的发展趋势，未来的人机交互系统会更加智能化、理解用户的交互意图。

通过眼动跟踪和情绪识别，人机交互系统可提前感知用户的交互意图，叠加语音识别等交互模式，最终可以为用户提供一个高效、便捷、舒适的人机交互系统。

还有一种情况，更深层次的判断当前驾乘者的情绪和个人状态是什么样的，如果是处于极度愤怒和悲伤的状态，也不适合做车辆的接管，这个层次是更高层次的交互需求。

未来的车肯定会发展到这个阶段，当前主要是停留在姿态识别。从驾乘者的姿态方面判断他是否有接管车辆的能力，未来把情绪的能力结合在一起，才能真正做到人车智能化、便捷、合理化的交互。

此外，自动驾驶有一个重要的环节，在紧急的情况下判断人是否有接管车辆的能力，这就需要监测一个人的身体姿态信息，为自动驾驶铺平道理。

DMS驾驶员行为监测，被认为是未来几年汽车智能化的主要基础功能之一，同时也是L3级自动驾驶的标配，用于随时监控司机是否将注意力放在道路上，保障行驶更安全。

刘风表示，随着时间的推移和技术不断成熟，DMS将成为汽车的必配模块，未动科技也将进一步加强与智能汽车合作伙伴的业务合作，实现对座舱全方位的前、后座的监测（比如遗忘的儿童和宠物等监测）。

此外，随着今年未动科技DMS方案更多在乘用车、商用车等不同领域的应用，将实现对驾驶员的身份识别、驾驶员疲劳监测以及危险驾驶行为的监测功能，极大降低交通事故率。