中科慧眼推出基于华为MDC域控制器的双目路面预瞄系统

随着去年底梅赛德斯·奔驰全新一代Drive Pilot系统(首发搭载新一代S级轿车)获得监管机构L3级(低速)自动驾驶上路许可，前置双目立体视觉+毫米波雷达+激光雷达的配置成为焦点。

按照此前公开的数据，这套感知系统的选装价格低于9500美元。其中，双目立体视觉感知(视场角70度)由Veoneer提供，完全集成硬件和感知软件(CNN+3D立体视觉，对车前物体进行精确分类和定位)，支持车道检测、可行驶区域检测、小障碍物检测和三维物体分类。

而在前装市场，去年开始，双目立体视觉的搭载车型也在增加。比如，吉利旗下星越L、领克07/09以及极狐阿尔法S华为HI版等自主品牌新车也在陆续增加双目立体视觉配置。

高工智能汽车研究院监测数据显示，2021年全年国内新车(自主+合/独资)标配双目立体视觉ADAS上险量为22.4万辆，同比上年增长13.71%。而在供应端，除了日立、Veoneer、大陆、博世等传统双目立体视觉方案商，也有不少初创公司进入赛道。

比如，去年奇瑞汽车宣布与以色列视觉感知供应商Foresight签署商业合作备忘录，对后者的QuadSight(四目)视觉原型系统进行技术评估，并寻求进一步量产落地的可能性。双方还计划考虑在中国成立合资企业在中国市场推广解决方案。

而成立于2014年10月的中科慧眼，在国内率先推出可量产车载后装、准前装、前装(适用于L4级自动驾驶以及商用车)双目立体视觉感知系统。去年，该公司推出的第三代立体视觉感知系统也获得了多家OEM的前装定点。

近日，中科慧眼再次实现技术应用创新，基于华为MDC域控制器推出双目路面预瞄系统，为OEM提供更高性价比，更高集成化的智能底盘预瞄与控制解决方案。“这也是业内首次在智能驾驶域控平台上基于AI-Engine实现产品化的可商用、可落地的双目立体视觉解决方案。”

什么是智能底盘?半主动悬架或主动悬架系统就是其中一个特色配置，通过改变悬挂系统的高度、形状和阻尼等，起到控制车身振动和车身高度的功能，主要能增进汽车操作稳定性、乘坐舒适性等性能。

近年来，随着智能汽车搭载传感器数量以及车载计算能力的增加，智能底盘成为各大车企新的业务增长点。智能底盘通过各类观瞄感知零部件结合线控悬挂底盘，可以实现车体在垂直方向上的自适应控制，显著提高智能驾驶车辆的行驶平顺性与通过性。

中科慧眼基于双目立体视觉的路面预瞄系统，可以实现路面状态3D重建感知、车轮轨迹高程曲线预测，以及路面类型检测，预先引导车辆的半主动悬架或主动悬架系统实时独立调节各个车轮减震器阻尼的软硬系数、车身的整体高低、以及车辆行驶的模式。

基于双目立体视觉的路面预瞄技术系统是实现“魔毯悬挂系统”的关键感知模块与融合决策模块，而未来五年，这种智能悬挂系统有望成为30万元以上车型的标配。这背后，还得益于大算力车载域控制器的前装落地。

目前，大部分车载域控制器的架构中缺少立体视觉硬件处理模块。如何在尽量不增加整车硬件配置的前提下，实现基于双目的路面预瞄系统，这其中将双目立体校准与立体匹配算法部署在域控制器现有的计算模块中成为关键点。

一直以来，双目立体视觉的优势也非常明显，通过生成三维图像点云，为ADAS及自动驾驶感知提高安全和可靠性，并提供出色的目标检测能力和准确性。

这对于一个摄像头来说是很困难的，但是两个摄像头的立体视觉方案变得更加容易。同时，双目不依赖模式识别，几乎任何材料、颜色或形状都能被探测到。

目前，传统的单目视觉最大瓶颈在于天气变化，尤其是雨雾及夜晚环境。而立体视觉是一个全类型环境识别，以目前的主流自适应巡航ACC为例，以双目为代表的立体视觉技术可以减少光照变化带来的影响。

同时，双目立体感知是一个天然融合的传感器，它将深度学习和图像学习进行有效糅合，以应对所有天气和照明条件，从而解决现有单目感知方案的全场景覆盖的瓶颈。

随着国内包括中科慧眼、元橡科技、华为、大疆陆续发布基于双目(立体视觉)感知的辅助驾驶/自动驾驶方案，这个一直以来仅有少数几家外资供应商参与研发量产的技术路线，正在重新成为市场的焦点。

作为国内双目立体视觉领域的领军企业之一，中科慧眼公司认为，双目相机既有图像可以进行深度学习识别，又有点云可以进行分割与测距，融合了类激光雷达和机器视觉的综合能力。

将立体视觉的深度点云图和深度学习融合，也是立体视觉发展的趋势。比如，夜间同车道、对向车道的目标检测与测距精度都可以借助深度学习的能力得到加强。

同时，将立体视觉和深度学习结合，可以为客户提供性价比更高、性能更强的智能视觉传感器，构成一个比较完备的边缘运算模块，直接将识别数据，3D-BOX，以及精确的测距距离信息等，输送给域控制器直接进行AEB刹车或者自动驾驶控制。

除了与市面上主流传统单目摄像头前向感知“竞争”，双目立体视觉+智能底盘则是另一种创新应用。这意味着，双目立体视觉感知技术可以实现在整车上的复用。

此前，中科慧眼和华为MDC通过联合开发，共同推进双目路面预瞄系统在华为MDC上的方案落地，为OEM提供更高性价比，更高集成化的智能底盘预瞄与控制解决方案。整套系统主要包含三部分，双目成像模块、立体匹配模块以及功能实现模块。

而一直以来，双目立体视觉对算力要求较高。域控制器的导入，意味着，传统依靠高成本FPGA的算力支持成为过去时。同时，独立开发ASIC芯片也不再是刚需。

其中，华为MDC域控制中的SoC中主要包含三部分计算资源：ISP模块主要实现摄像头传感器的成像信号处理;AI模块实现感知融合的神经网络算法处理，包含cube、vector、scalar三种计算资源;CPU模块则适合通用计算的感知融合、规划、决策、控制等处理。

目前，华为MDC搭载昇腾SoC(集成ISP/NPU/CPU等异构计算模块)，支持系统级ASIL D功能安全，支持R-Lock高安全冗余架构。算力覆盖48~400 TOPS，可满足L2+~L4级别的自动驾驶算力所需。整机能效比可达2TOPS/W。

同时，华为MDC智能驾驶计算平台，具备组件服务化、接口标准化、开发工具化的特性，配套好用易用的工具链，基于此平台可快速开发、调测、运行上层自动驾驶算法与功能应用。

而中科慧眼的方案，就是尽量复用既有车载相机成像信号与中央域控制算力，在域控制架构上低成本地实现双目路面预瞄系统。其中，双目成像模块主要包含ISP调试、相机标定、图像Remap，这三个模块决定了双目相机能够获取合格的左右模组成像。

将双目相机的标定参数输入到AI Core中，只利用了其中少量的Vector计算资源进行图像矫正，复用MDC底层的AI算子，避免了复杂的算子部署适配及开发工作。在AI Core中实现图像的矫正，也节省了不同芯片之间的带宽消耗。

立体匹配模块则主要包含特征匹配、代价聚合、视差计算三部分，这三部分涉及到大量的并行计算，对硬件性能以及算法的运行效率有很高的要求。

中科慧眼技术团队通过与华为MDC专家团队的紧密合作，根据AI-Engine的计算特性，创新性地设计了适配的立体匹配方案，将大量的并行运算通过MDC深度学习底层AI算子实现，为部署在MDC域控的AI Core上提供了算法及部署方案。

高精度立体匹配稠密视差效果。上图为柏油路与减速带的视差效果，以及路面三维重建的效果，视差图颜色越蓝的点，表示实际成像物体离相机系统的物理距离越远。

经过双方的联合研发，在只使用其中少量的Vector计算资源的前提下，就实现了基于华为MDC的25FPS以上的稠密高精度双目匹配视差输出。该方案，不仅能够节省立体视觉方案落地的硬件成本，而且大大降低了立体视觉方案在AI平台上的移植与升级难度，可快速投入商用。

最后，功能实现模块主要包含融合感知、功能开发两部分。立体视觉方案可以赋予计算系统前融合“点点对齐”的高精度视差信息与高质量图像信息，增加了感知结果的精确性与鲁棒性。

中科慧眼借助于华为MDC强大的开发与编译调测工具，将视差和图像的多维感知信息作为输入，完成路面预瞄感知功能的部署。

该融合感知模块不仅能够输出高质量的2D以及3D的综合感知信息，而且在单AI Core中的耗时还能够控制在10ms以内，有效降低了整个感知功能的延时，为快速调整底盘参数提供了更宽裕的缓冲时间。

中科慧眼&华为MDC双目路面预瞄系统城市道路示例，Demo展示的是城市道路减速带的检测与三维分析效果，展示了目标的高程曲线以及空间位置。

同时，通过华为MDC中的CPU计算能力，将根据综合的感知信息进行功能后处理并输出最终的功能感知信息。功能感知信息包含引导前后轮的独立悬架调整以及调节减震器阻尼系数的路面高程曲线，以及引导悬架高度调整、制动力与动力分配的路面状态类型等。

在高工智能汽车研究院看来，域控时代的到来，传统视觉感知技术也可能会发生新的变革。尤其是软件技术的迭代加上大算力硬件的性能加持，技术玩法也会越来越多，对于OEM来说，可选项也在增加。

原文标题：双目立体视觉“复用”，中国企业组合首次“领跑”全球

文章出处：【微信公众号：中科慧眼】欢迎添加关注!文章转载请注明出处。

审核编辑：汤梓红