融合感知的起飞-电子发烧友网

2023年末工信部，公安部，住房和城乡建设部，交通运输部四部门联合发布的《关于开展智能网联汽车准入和上路通行试点工作的通知》正式打响了中国L3级自动驾驶赛道的第一声发令枪，也意味着L3/L4级自动驾驶商业化落地即将到来。

感知智能始终是实现L3/L4级自动驾驶的技术难点，现在自动驾驶市场无法有效解决的技术痛点在于1）基于纯视觉网络的Corner Cases问题（环境光照影响、样本长尾效应等）；2）4D毫米波雷达点云数据的丰富度与置信度之间的矛盾；3）许多车企选用激光雷达作为主要传感器之一，但激光雷达的性价比较低，且受大雨大雾天气影响较大，另外大功率激光雷达还有扫到人眼可能致盲的潜在风险。

昱感微的“多传感器多维像素融合感知芯片”可以解决问题：昱感微融合感知芯片创新性地将可见光摄像头、红外摄像头以及4D毫米波雷达的探测数据在前端（数据获取时）交互，将各传感器的探测数据“坐标统一、时序对齐”，图像与雷达数据完成像素级实时“时空对齐同步”并以“多维像素”格式输出，基于“物理感知”数据驱动，能很好地避免纯视觉网络的corner cases问题；同时，毫米波雷达和摄像头的结合还可以达到1+1>2的效果，使感知系统能够不受天气光线等场景限制，实时完成精准目标感知。

昱感微融合感知芯片的“多维像素”数据输出是昱感微的核心技术创新之一。多维像素是指在可见光摄像头像素信息上加上其它传感器对于同源目标感知的信息，将感知系统的感知维度扩展以实现多维度（多模态）感知目标的完整信息。如下图示例，芯片将摄像头图像数据，和雷达探测目标的距离、速度、散射截面R的感知数据，以及红外传感器探测的热辐射图像数据叠加组合到一起，以摄像头的像素为颗粒度组合全部感知数据，每个像素不仅有视觉信息，还包含了4D毫米波雷达和红外传感器的探测数据，形成多维度（多模态）测量参数矩阵数组。基于图像像素为基准+雷达数据的“多维像素”感知数据，与现有主流AI计算平台完全兼容，助力客户高效平滑升级产品。

昱感微的雷视融合感知方案提供目标与环境的多模态精准感知信息。多模态是指传感器对目标与环境感知的图像数据（明暗、纹理、颜色等）+雷达数据（目标的距离、速度、材质等）+红外辐射数据（纹理、温度等）的综合感知。当人眼看到路上行驶的汽车，大脑中反映出的信息不仅是一辆汽车，还有它的颜色、型号/品牌、方向、以及大概的速度和距离等信息，这就是人眼解读出的视觉语言。昱感微的雷视融合方案可以比人眼更敏锐，为自动驾驶系统提供更丰富更精准的“视觉语言”——目标与环境的多模态精准感知数据，使自动驾驶系统实时精准感知道路上的各种状况。

对目标的感知，4D毫米波雷达在立体空间的每个检测点（3D空间的密集数据采样点）可以取得推算出来的包含此处（采样点）的距离、相对运动速度（多普勒信息）、水平方位角和俯仰角维度的功率测量信息——业界称其为：雷达4D张量信息（“4D Radar Tensors”，简称为: “4DRT”信息）。雷达4D张量信息数据量非常丰富，最大程度地保留有效的感知信息。目前4D雷达产品点云仍较稀疏，其主要原因之一是现有通用的信号过滤器会造成大量信息损失（例如采用目前流行的CFAR：“Constant False Alarm Rate”即“恒定虚警率”检测算法）；但如果没有进行数据过滤提取（对比用CFAR算法处理的步骤），系统输出且后续模块再需要处理的数据量又太大，对于系统的传输带宽、内存缓存、后续系统算力都提出了极高的要求，在算法里如何有效区分与识别目标的有效反射信息（系统希望获取的）与杂波信号和噪声信号就更加挑战了。最挑战的还是在雷达算法本身，在雷达系统获取的大量的4D张量采样信息里，如何区分出哪些信息是目标对雷达信号产生的有效反射信息（系统希望获取的），哪些信息是背景噪声，哪些信息是其它雷达系统带来的信号串扰，哪些信息是雷达信号的多径串扰……如何有效地区分它们并最大限度地识别出目标有效反射信息，是解决4D毫米波雷达点云数据的丰富度与置信度之间的矛盾的方法，也是目前行业正期待有技术突破的方向，需要重新定义与设计雷达感知、定位和映射的算法，以强化并重新演绎出4D毫米波雷达的强感知特性。