融合感知的起飞

2023年末工信部，公安部，住房和城乡建设部，交通运输部四部门联合发布的《关于开展智能网联汽车准入和上路通行试点工作的通知》正式打响了中国L3级自动驾驶赛道的第一声发令枪，也意味着L3/L4级自动驾驶商业化落地即将到来。

感知智能始终是实现L3/L4级自动驾驶的技术难点，现在自动驾驶市场无法有效解决的技术痛点在于1）基于纯视觉网络的Corner Cases问题（环境光照影响、样本长尾效应等）；2）4D毫米波雷达点云数据的丰富度与置信度之间的矛盾；3）许多车企选用激光雷达作为主要传感器之一，但激光雷达的性价比较低，且受大雨大雾天气影响较大，另外大功率激光雷达还有扫到人眼可能致盲的潜在风险。

昱感微的“多传感器多维像素融合感知芯片”可以解决问题：昱感微融合感知芯片创新性地将可见光摄像头、红外摄像头以及4D毫米波雷达的探测数据在前端（数据获取时）交互，将各传感器的探测数据“坐标统一、时序对齐”，图像与雷达数据完成像素级实时“时空对齐同步”并以“多维像素”格式输出，基于“物理感知”数据驱动，能很好地避免纯视觉网络的corner cases问题；同时，毫米波雷达和摄像头的结合还可以达到1+1>2的效果，使感知系统能够不受天气光线等场景限制，实时完成精准目标感知。

昱感微融合感知芯片的“多维像素”数据输出是昱感微的核心技术创新之一。多维像素是指在可见光摄像头像素信息上加上其它传感器对于同源目标感知的信息，将感知系统的感知维度扩展以实现多维度（多模态）感知目标的完整信息。如下图示例，芯片将摄像头图像数据，和雷达探测目标的距离、速度、散射截面R的感知数据，以及红外传感器探测的热辐射图像数据叠加组合到一起，以摄像头的像素为颗粒度组合全部感知数据，每个像素不仅有视觉信息，还包含了4D毫米波雷达和红外传感器的探测数据，形成多维度（多模态）测量参数矩阵数组。基于图像像素为基准+雷达数据的“多维像素”感知数据，与现有主流AI计算平台完全兼容，助力客户高效平滑升级产品。

昱感微的雷视融合感知方案提供目标与环境的多模态精准感知信息。多模态是指传感器对目标与环境感知的图像数据（明暗、纹理、颜色等）+雷达数据（目标的距离、速度、材质等）+红外辐射数据（纹理、温度等）的综合感知。当人眼看到路上行驶的汽车，大脑中反映出的信息不仅是一辆汽车，还有它的颜色、型号/品牌、方向、以及大概的速度和距离等信息，这就是人眼解读出的视觉语言。昱感微的雷视融合方案可以比人眼更敏锐，为自动驾驶系统提供更丰富更精准的“视觉语言”——目标与环境的多模态精准感知数据，使自动驾驶系统实时精准感知道路上的各种状况。

对目标的感知，4D毫米波雷达在立体空间的每个检测点（3D空间的密集数据采样点）可以取得推算出来的包含此处（采样点）的距离、相对运动速度（多普勒信息）、水平方位角和俯仰角维度的功率测量信息——业界称其为：雷达4D张量信息（“4D Radar Tensors”，简称为: “4DRT”信息）。雷达4D张量信息数据量非常丰富，最大程度地保留有效的感知信息。目前4D雷达产品点云仍较稀疏，其主要原因之一是现有通用的信号过滤器会造成大量信息损失（例如采用目前流行的CFAR：“Constant False Alarm Rate”即“恒定虚警率”检测算法）；但如果没有进行数据过滤提取（对比用CFAR算法处理的步骤），系统输出且后续模块再需要处理的数据量又太大，对于系统的传输带宽、内存缓存、后续系统算力都提出了极高的要求，在算法里如何有效区分与识别目标的有效反射信息（系统希望获取的）与杂波信号和噪声信号就更加挑战了。最挑战的还是在雷达算法本身，在雷达系统获取的大量的4D张量采样信息里，如何区分出哪些信息是目标对雷达信号产生的有效反射信息（系统希望获取的），哪些信息是背景噪声，哪些信息是其它雷达系统带来的信号串扰，哪些信息是雷达信号的多径串扰……如何有效地区分它们并最大限度地识别出目标有效反射信息，是解决4D毫米波雷达点云数据的丰富度与置信度之间的矛盾的方法，也是目前行业正期待有技术突破的方向，需要重新定义与设计雷达感知、定位和映射的算法，以强化并重新演绎出4D毫米波雷达的强感知特性。

昱感微的融合感知芯片将雷达4D张量信息与图像像素信息做对接，形成类似的“多维像素数据矩阵”，将雷达的每个4D张量信息与图像像素矩阵层中的像素元素建立一一对应关系。这样可以高效地识别分辨出雷达信号产生的有效反射信息，在最大限度地保留雷达点云数据丰富度的同时增加其数据的置信度。

引入图像信息带来的好处：系统基于图像信息带入的语义信息来构建更精细的雷达数据处理算法，在图像语义信息的支持下，机器学习、神经网络等算法更精确高效完成雷达4D张量信息对目标与环境完整感知信息的获取。

“雷达4D张量信息＋图像的像素信息”是实现目标与环境多模态精准感知、助力毫米波雷达感知跨越目前门槛的最佳方式。多模态视觉语言（多模态语义）解析的传感器融合方式已经是业界新一轮传感器融合产品起飞的跑道，是完全满足L3/L4级自动驾驶要求的感知最优解。

昱感微的融合感知方案将视觉图像信息和雷达探测信息实现“坐标统一、时序对齐”的“多维像素”信息输出，将赋予产业界前所未有的感知能力。