当春节驾车返乡拥有了L3/L4级自动驾驶

随着春节临近，漫漫回家路上的路况和天气都变化多端，长途驾驶难免使人身心俱疲，若不久的将来能将真正的L3/L4级自动驾驶落地应用，那将大大减轻长途驾车回家的辛苦。即便车外风雨交加，人们依旧可以在温暖的车内放松小憩，从容地喝口热茶吃块点心，刷刷老家又开了什么新馆子，带上家人或约上老友一起去尝鲜。若是节日驾车旅游，可以安然自若地欣赏路过的美景，随手就拿起手机记录美好的一瞬，这样的长途驾驶体验是不是让人身心愉悦了许多呢？

昱感微电子的“多传感器多维像素融合感知芯片”就能助力汽车自动驾驶系统来实现这样的体验，让驾车回家之旅变得轻松惬意。智能感知是L3/L4级自动驾驶的技术难点，而单一的传感器始终存在自身的局限性，无法做到对环境全面精确的感知。昱感微的融合感知芯片创新性地将可见光摄像头、红外摄像头以及4D毫米波雷达的探测数据融合到一起并以“多维像素”的格式输出。多维像素是指在可见光摄像头像素信息上加上其他传感器对于目标感知的信息，将感知系统的感知维度扩展以实现多维度感知目标的完整信息。如下图示例，芯片将摄像头RGB数据矩阵层，和雷达探测目标的距离、速度、散射截面R数据矩阵层，以及红外传感器探测的热辐射图像数据矩阵层叠加组合到一起，以摄像头的像素为颗粒度，每个像素不仅有图像数据，纵向组合上还包含了毫米波雷达和红外传感器的探测数据，形成多维度测量参数矩阵数组。

多维像素就好比赋予了自动驾驶系统比人类更敏锐的眼睛，看到的不仅是一幅幅二维的图像，还有在图像之上更多维的信息。就像在雾中穿行，人眼只能看到白茫茫的雾气下物体隐约的轮廓，但昱感微的融合感知芯片可以利用毫米波雷达和红外摄像头的探测数据让自动驾驶系统感知到雾气中的物体的方位、距离、速度、温度等信息，确保安全行驶。不仅如此，昱感微的融合感知芯片采用最前沿的多传感器前融合技术，摄像头和雷达等多传感器的探测数据在前端（数据获取时）交互验证，让自动驾驶系统能感知到“看不见”的危险。例如，当反向车道有强远光灯干扰下，视觉无法清晰地看到行车周围的状况，容易引发危险。但昱感微的融合感知芯片可以解决强光对视觉的干扰：当雷达子系统探测到潜在运动目标时，融合感知芯片可以引导本车的摄像头针对运动目标做快速局部修正曝光（见下图），以此实时获取运动目标的分辨细节特征，并将局部修正曝光的图像融合雷达数据传输至自动驾驶系统，避免撞击危险发生。

多传感器前融合可以发挥各个传感器在不同应用场景下的优势，取长补短来达到1+1>2的效果。4D毫米波雷达可以帮助可见光摄像头克服天气光线的影响，可见光摄像头的图像又为毫米波雷达增添了语义信息，进一步提高雷达点云的置信度；而红外不仅赋予了自动驾驶夜视能力，还可以清楚地辨别行人。如下图所示，基于可见光摄像头的感知系统可能会忽略远处较暗的两个人（在可见光图像的阴影区域），红外摄像头可以轻松地通过人体测温辨别出来。此外，在夜间高速行驶状态下，红外可以对遇到突然蹿出来的人或动物进行判别，如果是行人则必须避让，动物可根据行驶状态引导自动驾驶系统采取不同的决策。

除了天气和光线外，基于纯视觉网络的算法仍存在corner cases的问题，样本的长尾效应影响着自动驾驶系统的表现。而昱感微的融合感知芯片是基于物理数据的感知，可以很好地解决这个问题。芯片将多个传感器的探测数据融合，并将各传感器的探测数据的坐标统一、时序对齐，图像与雷达数据完成像素级实时“时空对齐同步”输出。这是业界公认的多传感器前融合的技术难点之一，不过得益于团队成员多年相关领域的技术积累和众多技术创新，昱感微的融合感知芯片内嵌功能可以支持客户完全满足系统对目标感知“坐标统一，时序对齐，数据同质 ，突出事件感知”的要求，能够解决目前车厂在自动驾驶邻域的技术痛点。

并且，昱感微融合感知芯片输出的“多维像素”与现有的AI计算平台兼容，可以复用已有的图像数据样本。对于目前流行的神经网络框架（比如，Yolo V8，BEV +Transformer等等）只需小幅修改就可适用多维像素。多维像素还可以快速提升AI网络的训练收敛率以及目标识别率，并且可以大幅降低系统算力要求。

多维像素还可以直接高效支持“占用网络” (Occupancy Network)算法。占用网格是指将感知空间划分为一个个立体网格（体素），而多维像素包含了目标的3D空间位置信息、目标的速度信息和材质信息，可以直接高效实时支持占用网格中的体素算法。Tesla目前在主推“BEV +Transformer+占用网络”，国内华为GOD2.0也采用相同的架构，预计未来许多智能驾驶团队都会引入“占用网络”来提升系统能力。多维像素的应用前景非常广阔。昱感微的融合感知芯片+BEV +Transformer+占用网格有望成为L3/L4级自动驾驶最优的落地方案，不久的将来人们就可以轻松愉快地享受长途自驾之旅了。

多维像素“占用网格”３D体素算法精准探测运动目标空间位置