感知融合为自动驾驶与机器视觉解开当前无解场景之困

昱感微的“雷视一体融合感知方案”将可见光摄像头、红外摄像头以及雷达的探测数据在前端（数据获取时）融合，将各传感器的探测数据“坐标统一、时序对齐”，图像与雷达数据完成像素级实时“时空对齐同步”并以“多维像素”格式输出，为自动驾驶系统提供目标与环境的多模态精准感知信息：即传感器对目标与环境感知的图像数据（明暗、纹理、颜色等）+雷达数据（目标的距离、速度、材质等）+红外辐射数据（纹理、温度等）的综合感知。

目前昱感微现正与多家工业机器人（自动扫地车、自动农机等）客户紧密合作中，我们的方案产品已经装车测试，解决了许多过去自动驾驶无解的场景和corner cases。例如在下图场景中，过去靠单一传感器如雷达探测左边的栏杆，由于缺乏图像的语义信息，自动驾驶系统很容易将栏杆的反射点当成噪点忽略；现在感知侧主流方案——基于可见光摄像头的纯视觉方案若碰到没有采样过的目标同样也无法识别。而昱感微的雷视一体融合感知方案将图像和雷达信息融合输出丰富的“多维像素”数据（如右下图），使自动驾驶系统能清楚地识别出道路左边的栏杆以及它的距离位置3D形状等信息。昱感微的融合感知技术方案的优势在于1）是基于“物理感知”数据驱动，能很好地避免纯视觉神经网络的corner cases问题；2）传感器前融合的方式可以最大限度地保留原始探测数据，并发挥各传感器的优势，使感知系统能够不受天气光线和场景的限制，实时完成精准目标感知。

另外，多维像素还能探测出路面的起伏，帮助自动驾驶系统对于不同的起伏程度采取对应的决策。基于摄像头的纯视觉方案无法精确检测出路面的起伏，仅靠雷达的探测信息如果没有图像的语义信息直接对接也无法提取出细致对应的反射信息（直接映射目标的对应反射点）从而精准测量与判断路面的情况。而昱感微的融合感知方案可以解决这个棘手的难题：在下图的3D空间采样数据（3D点云）中可以看到，“多维像素”能提供路面起伏程度的信息，即使是路边高起一点的下水盖也能清楚地探测到，对自动驾驶规划路线非常有帮助。

不仅是路面的起伏，根据图像信息和雷达探测出的材质信息，“多维像素”还可以提供路面上覆盖物的材质和状况信息，对于探测到的较脆弱的材质或已损坏的覆盖物就需要避让。这些场景都是目前自动驾驶感知侧无解的技术难点，而昱感微的融合感知方案可以一一为客户解决这些难题。

国内城市道路复杂，纯视觉的感知方案受光线天气影响较大且有许多无法识别的corner cases，光靠雷达感知也存在点云的置信度存疑、缺乏语义分析无法将目标识别标注等问题，昱感微的融合感知方案使视觉和雷达结合达到1+1>2的效果，帮助客户解决各种疑难场景。例如和自动扫地车客户的项目合作中，在道路有路障的场景下，“多维像素”数据使自动驾驶可清楚地识别出路障以及其间距，并判断是否应从中间穿过。对于路边的垃圾，多维像素所提供的多模态精准感知信息可以使自动驾驶系统清楚地判别探测到的目标，并进行清扫；对于不适宜清扫的目标（如水泥黄沙堆等）则进行避让。另外，在图像和雷达数据组成的多维像素帮助下，一些困扰自动驾驶系统的场景如随风飘起的垃圾袋（通过多维像素的图像/材质/速度等信息判断），晃动的树影（仅有图像变化无雷达反射点）等都可以迎刃而解。

并且昱感微的融合感知方案完全不依赖高精地图。对于没有清晰车道线和边界的道路（如上图），自动驾驶系统也能根据“多维像素”提供的多模态感知信息来规划路径。此外，自动农机对于感知精度的要求也非常高，其来回播种插秧的间隔距离在5厘米左右，如此的精度目前市场上的感知产品还很难做到，而昱感微精确到像素级的融合感知方案可以很好地达到客户要求的感知精度，确保播种插秧均匀不重复。

昱感微的多传感器融合感知方案从另一个角度看可以说是在帮助客户产品完成目标与环境的精密测量，精确测量出目标的轮廓/方位/距离/速度/材质/温度等各种数据，为自动驾驶系统提供目标与环境的多模态感知精准信息。尽管扫地车农用车等工农业用机器人在速度上慢于乘用车，但它们对于感知精度的要求明显高于乘用车，遇到的特殊场景corner cases也不亚于乘用车，而这些昱感微的融合感知方案可以帮助它们解决，并满足客户对感知精度的要求，获得了许多客户的认可。我们相信未来昱感微的方案产品在乘用车上也会有非常优异的表现，助力车企跨越L3/L4级自动驾驶的技术门槛。

关于昱感微

昱感微的“多传感器融合感知方案”将可见光摄像头、红外摄像头以及雷达的探测数据在前端（数据获取时）融合，将各传感器的探测数据“坐标统一、时序对齐”，并以“多维像素”格式输出。

“多维像素”是昱感微的核心技术创新之一，它是指在可见光摄像头像素信息上加上其它传感器对于同源目标感知的信息，将感知系统的感知维度扩展以实现多维度（多模态）感知目标的完整信息。如下图示例，芯片将摄像头图像数据，和雷达探测目标的距离、速度、散射截面R的感知数据，以及红外传感器探测的热辐射图像数据叠加组合到一起，以摄像头的像素为颗粒度组合全部感知数据，每个像素不仅有视觉信息，还包含了4D毫米波雷达和红外传感器的探测数据，形成多维度（多模态）测量参数矩阵数组。基于图像像素为基准+雷达数据的“多维像素”感知数据，与现有主流AI计算平台完全兼容，它可以复用已有的图像数据样本，免除了产品的神经网络训练数据需要完全重新采集的困扰。