Melexis携手宝马深度剖析ToF技术赋能智能座舱

据麦姆斯咨询介绍，汽车发展至今已有100多年的历史，汽车的电气化、智能化、网联化正在重新定义人与车的关系：司机不再只是辛劳的驾驶者，乘客不再只能无聊地打发时间。智能座舱是拥抱汽车发展新兴技术趋势，从消费者应用场景角度出发而构建的新型人机交互体系。目前，全球知名整车厂和传感器供应商正积极探索智能座舱的技术落地，其中以传感器和人工智能为基础的座舱监控（In-cabin monitoring）是重要的核心功能之一，其通过实时监控整个汽车座舱内环境来提升驾驶员及乘客的安全性。

为了提升车辆和道路的安全性，欧盟新车安全评鉴协会（Euro NCAP）决定从2024年起将驾驶员监控系统（DMS）作为五星评级的必备安全功能指标。此外，DMS的扩展系统——乘客监控系统（OMS）进一步提升了安全性、舒适性和便捷性，例如判断是否有儿童或宠物遗留车中、根据乘客喜好自动调整座椅位置。DMS和OMS需要诸多传感器，例如图像传感器、超声波传感器、压力传感器、加速度计等，而新型ToF传感器则为DMS和OMS提高人脸识别、手势识别、姿态分析、座椅占用检测等功能的准确性。

宝马利用Melexis的3D ToF技术实现座舱监控

比利时微电子半导体解决方案全球供应商Melexis（迈来芯）在飞行时间（ToF）技术领域拥有丰富的经验。Melexis从2004年开始ToF传感器的研发设计，于2015年率先向行业提供满足车规要求的ToF传感器芯片。2020年9月，Melexis发布了具有QVGA分辨率的最新第三代ToF传感器芯片MLX75026，并通过AEC-Q100车规级认证。

Melexis通过AEC-Q100认证的QVGA分辨率ToF传感器MLX75026

作为全球知名汽车厂商宝马（BMW）的合作伙伴，Melexis为其座舱监控提供ToF传感器技术。那么，Melexis的ToF传感器如何满足汽车应用的严苛要求？实际用例的表现如何？宝马车内监控概念验证进展如何？在2020 Autosens展会的在线研讨会上，Melexis光学传感器产品线的营销经理Gualtiero Bagnuoli讲解了各种座舱监控系统配置和ToF传感器特点；宝马Thomas Ewender博士则通过实际的车内演示证明了ToF技术的应用优势。

宝马利用Melexis的ToF技术进行座舱监控的概念验证

在线研讨会：主持人（左上）、Melexis光学传感器产品线的营销经理Gualtiero Bagnuoli（右上）和宝马Thomas Ewender博士（下）

Gualtiero Bagnuoli首先介绍：“在DMS用例方面，采用Melexis的ToF技术之后，对驾驶员头部位置、驾驶员眼睛不看路面、驾驶员闭眼等用例的探测准确率远高于95%，在某些情况下甚至可接近100%。”座舱监控的目标是尽可能覆盖更广的车内环境，以利于提供有关驾驶员和乘客位置及活动的准确信息。因此，ToF摄像头必须具有宽广的视场角（FOV）。如果希望覆盖后排座椅，那么需将ToF摄像头放置在后视镜上方，最好是在车顶，以避免被前排座椅遮挡。但是，安装在车顶位置的ToF摄像头难以检测到驾驶员的眼睛和面部，故无法满足NCAP要求。

应用于座舱监控的不同ToF摄像头配置方式

那么，Melexis的ToF技术应用进一步扩展至OMS，对车内所有乘客监控的表现如何呢？Gualtiero Bagnuoli在研讨会上展示了采用其合作伙伴gestigon（一家专注于座舱3D图像处理软件开发的德国初创企业，于2017年被法雷奥收购）的标准评估套件和软件算法进行性能测试的结果：在水平视场角（FOV）分别为110°和156°时，座椅占用检测和驾驶员活动监测的准确率数据相当：FOV为110°时，座椅占用检测和驾驶员活动监测的准确率分别为99%、97%；FOV为156°时，座椅占用检测和驾驶员活动监测准确率分别为98%、97%。

Thomas Ewender博士则重点分享了由宝马、弗劳恩霍夫应用光学和精密工程研究所（IOF）、gestigon和Melexis合作的联合科学项目：开发具有超大视场角的超紧凑型3D ToF摄像头系统（MiniTOFKA），旨在探究一颗摄像头集成车内所用3D传感应用的挑战及解决方案。该项目始于2018年12月，投资总额为340万欧元，其中几乎一半资金由产业界合作伙伴提供，并获得了由德国联邦教育及研究部（German Federal institute of Education and Research）提供的资助。

一个ToF摄像头满足多个用例需求，面临众多挑战：如何满足车规级温度稳定性和日光鲁棒性要求？设计上如何实现多功能的集成？车内安装位置的考量？……Thomas Ewender博士介绍了MinTOFKA的整体架构情况，MinTOFKA由新型光学方案（多孔径光学元件）与ToF传感器组成，从而打造出尺寸非常紧凑的ToF摄像头。

超紧凑型ToF摄像头系统（MinTOFKA）的组成部分

Thomas Ewender博士介绍：“新型光学方案由两个结构单元构成，将视场角分为2个通道（见下图左侧）；混合光学元件由一个玻璃光学元件和一个晶圆级光学元件（WLO）组合（见下图右侧）。”这种全新组合有哪些优势？首先，薄型光学元件采用分割视场角式设计；其次，该项目经过两次迭代，光学通道由2个增加到6个，光学元件厚度实现了小于10 mm的目标，并获得了高达170°的视场角；第三，由于复杂性降低并使用晶圆级光学元件，成本有所下降，同时可以获得很高的温度稳定性。

MinTOFKA新型光学方案及混合光学元件示意图

Thomas Ewender博士向大家展示了第一次迭代产品的实测结果：其中，手势识别准确率为86%，驾驶员手握方向盘检测准确率为92%，座椅占用检测准确率高达99%，同时展示了温度稳定性的测试结果。然后，他还分享了刚刚完成光学设计的第二次迭代MinTOFKA系统预览，其目标为水平视场角（FOV）为169°、垂直视场角为127°，并增加身体姿势识别、手指指向识别、安全气囊控制和儿童检测等测试项目。

五年前，ToF还只是一项小众技术。而如今，它不仅作为手势控制功能的核心技术在宝马的几乎全系车型中获得应用，也被智能手机、无人机和AR/VR设备等消费类产品认可！关于ToF技术实现座舱监控的具体细节，请学习由麦姆斯咨询在国内独家发布的Melexis和宝马联合参与的在线研讨会视频！

责任编辑：lq