极目智能与世界级主机厂商合作推进S7项目量产落地

由盖世汽车主办的2022中国商用车自动驾驶-云论坛如期举行，极目智能人工智能算法专家王雅儒博士受邀参加并发表《技术驱动，破局商用车高阶智能驾驶》主题演讲，王博士从技术角度出发，分享了当前商用车高阶智能驾驶技术趋势、关键感知技术，并介绍了极目智能相关技术研发成果和解决方案。

智能驾驶向上进阶趋势渐显，域控成为迈向高阶的关键

据佐思汽研数据显示，2021年中国商用车ADAS整体装配率达17.3%，2030年装配率将达到59%，中国作为世界交通大国，将成为体量巨大的智能驾驶市场。

随着中国品牌向上突破，国内重卡车企相继布局高端产品，大量采用先进智能驾驶技术，福田欧曼银河、一汽解放鹰途、重汽汕德卡等诸多高端车型都配备了 L2级别及以上ADAS功能（如LKA、ACC、PACC预见性巡航等），高端重卡车型上的智能驾驶向上进阶趋势渐显。

王博士表示：“当前分布式的智能驾驶方案已经不能满足高阶智能驾驶需求，基于先进环境感知技术的智能驾驶域控将成为高阶智能驾驶的主流方案”。域控可将AEB、LKA、LCA、ACC、TJA、DMS、NOA、HWA等功能进行整合，其主要优势在于：1）打破传统ECU架构信息孤岛，实现多摄像头、多传感器互联互通；2）实现更高级别自动驾驶功能；3）提升芯片算力利用率，避免算力浪费；4）降低CAN总线负担，节约线束；5）显著降低研发、维护成本，节省时间；6）构建冗余，提升安全性及鲁棒性。

高阶智能驾驶的感知技术研究与突破

作为智能驾驶算法的最重要板块，精准的环境感知是实现高阶智能驾驶的前提和基石，比如前方目标识别、车身侧视感知、后方相邻车道目标识别、车道线检测、驾驶员状态监测等，王博士介绍了目前常规的做法及极目智能的实践方案。

首先是算法模型设计及优化。我们前面提到，实现L1-L2级智能驾驶的算力需求一般是 2T-5T，实现 L2+级智能驾驶的算力需求一般在 20T 以内。当前主流的智能驾驶算法都是基于深度学习，那么如何在同等算力下实现更好的算法精度非常考验技术能力。

极目智能旗下方案采用的是自主研发的JMNet深度学习网络系列，这套网络的优势是能根据不同硬件的特点设计最适合的网络结构，专网专用，充分发掘硬件性能，在同等算力条件下实现更好的性能，其定制的QAT量化方案可实现检测量化无精度损失，非常适合在端侧运行。JMNet易训练、易拓展，可大幅减少训练时间，且具有较强的泛化能力，能够灵活部署在不同算力硬件，同级别硬件性能下准确性大幅领先。此外，极目的专利技术可针对ADAS图像特点进行计算量压缩，实现检测距离加倍。

接下来算法迭代。对于智能驾驶来说，数据是非常重要的，尤其是自动驾驶中的长尾问题，需要采集大量的困难样本。普通样本的采集相对容易，真正让算法失效的场景才更有价值，比如雨天夜间标识牌反光场景、远处的隧道、倒地的三角锥等都是相对比较困难的场景。

极目智能基于海量精准数据，打造了数据驱动的算法迭代闭环，实现了数据驱动算法升级。在数据采集方面我们分为四个阶段：先普遍采集大量样本，验证模型算法正确性，之后补充不均衡类别样本，训练基线版本，然后根据基线版本测试结果针对典型失效场景进行广泛采集，阶段长期累积困难样本，这个阶段甚至需要持续数年以持续提升困难场景下的鲁棒性。

一般来说，行业内普遍使用共用基础网络的方法节省算力，之后接多个不同的HEAD网络完成不同的任务，这样就涉及到样本使用的问题。不同场景对于样本的要求可能不一致，比如弯道场景对于车道线检测属于困难场景，而对于目标检测来说并不属于困难场景，前者需要较多的相应样本以提升车道线检测效果，这对后者来说会降低训练效率甚至影响其性能。

极目智能采用跨样本联合训练的方式使用，可以更好地利用样本，检测、分割、车道线使用不同的样本，不需要在同一批样本上分别作出所有标注可以更高效、更灵活、更方便地利用样本。通过将多种样本放在一个BACTH中进行训练，不仅降低了对样本的要求，避免了不同任务困难样本不同的矛盾，也可以更好地训练网络，提升多任务下的性能。另一方面，跨样本的联合训练在加入额外的任务时，不需要对所有原样样本重新进行标注就可以很方便地进行训练，极大地提升了效率。

接下来是漏检误检的问题。L2 级智能驾驶就已涉及车辆控制，比如 AEB 自动紧急刹车功能。我们认为AEB 自动紧急刹车是一个对于提升驾驶安全性非常重要、同时技术要求比较高的功能，要实现AEB尤其是基于单视觉的AEB功能，需要把漏检误检控制到非常低的水平。为了实现行业最低的漏检误检率，极目智能做了大量的工作，比如通过大量类人类车物的标注和训练，增加类别之间的差异来降低误检，同时采用代价敏感矩阵来对模型进行精细调控，进一步降低漏检误检。

测距的精准度对于智能驾驶是至关重要的，它的难点在于检测框容易抖动，尤其是商用车，由于载重变化导致相机抖动和高度变化，会造成测距不准。为实现更精准的测距，极目智能采用动态补偿技术，可以有效解决误差问题，同时通过金字塔图像推理技术，实现多级目标检测，一方面可有效提升小目标的检测精度，另一方面构建冗余，提升了回归的精度，且由于目标被放大，测距的精度也会显著提升。

接下来是3D目标检测。传统的2D感知结果难以体现物体的距离和场景的深度信息，而车辆等动态目标的3D 位姿对于实现高阶智能驾驶中的轨迹预测、规划控制等环节至关重要。我们简单地将目前的 3D 技术分为伪 3D、升维3D、单目 3D 等类别类。伪3D仅支持2D维度，升维3D、单目3D等可实现3D检测框。升维3D可仅使用来源于相机的图像样本，结合相机的内外参将2D结果升维到3D，因此几乎能复用所有之前累积的样本，能有效地保证量产产品的性能。单目3D、BEV等算法可通过网络端到端预测目标3D信息，包括车辆的长宽高、距离、方向角等信息。Transformer也属于BEV算法，但是它的某些特性区别于BEV算法，比如计算量大、芯片支持度低。基于Transformer、BEV的算法优势在于融合难度会更低，相机的多目一致性可以做到更高。

我们认为，基于BEV+单目3D的环境感知技术组合是未来更合理的发展方向。基于BEV算法可以提取周围各个相机的特征，然后投影到车辆周围规则的栅格之中，在此基础上进行推理实现3D的检测以及分割。因为BEV算法检测大范围区域时计算量激增，所以很难检测较远距离的目标，可以通过单目3D来实现远距离目标检测，然后将二者结果进行融合，达到兼顾融合的一致性和较远的检测距离，实现用较少的计算量实现更远的检测距离和更高的检测精度。

在高阶智能驾驶中，车辆周视的感知通常会采用鱼眼相机。在使用鱼眼相机测距时，常规做法是采用矩形框进行标注，但由于缺少了方位角的信息，很难准备判断目标车辆与自车的距离。为了解决这个问题，极目智能采用了斜目标的方案，可以对目标进行更好的包围，实现精准测距。此外我们尝试了box监督的实例分割，其优势是复用检测样本，无需进行复杂的分割标注，其也能有效提升测距精度，是一个很有潜力的研究方向。

另外，针对一般障碍物的检测，极目智能采用自监督的方法来实现单目深度估计，这样可以不需要做过多的标注，最主要的工作是动态估计左右相机姿态的变化，达到更好的适应性，更好地解决因外参的变化、形变导致的精度低的问题。通过将2D光流升维到3D光流，再进行前景目标的提取可实现一般障碍物的检测分割。

最后是 3D车道线检测。车道线是自动驾驶环境中最重要的静态目标，如果只是在图像上进行车道线的检测，它仅仅是2D的车道线，如果想要将之映射到世界坐标系，只通过外参内参来进行映射，在上下坡等俯仰角发生变化的场景下可能会产生内八外八的情况。极目智能的做法是通过深度估计来校正3D车道线，使得上下坡、颠簸造成的内八外八得到恢复，得到更加精准的3D车道线。

面向量产，从英雄之城到世界级的中国力量

栉风沐雨十年路，自主科创杨帆远。当前极目智能产品线已覆盖L2-L4级智能驾驶，供货30 余家乘商用主机厂，并得到头部客户量产验证。

回归本质，强大的“量产落地能力“背后是不断谋求核心技术突破，不断进行10倍的技术变革而不是2倍的改良。

作为国内少有的拥有自主感知、融合、规控全栈技术能力的国产智能驾驶方案供应商，极目智能坚持以技术为驱动，破局高阶智能驾驶基于自研的JMNet系列深度学习网络，极目智能旗下产品核心技术指标位列行业第一梯队，算法性能行业领先，并且是唯一通过韩国KIAPI ADAS技术测试、日本AEB测试标准的中国厂商。强大的技术实力，让极目智能有与国际巨头同台较量的底气。

不久前，极目智能面向全球商用车市场推出了领先的多路视频域控解决方案JIMU S7，采用大算力硬件平台支持MOIS（Moving Off Information System）及BSIS（Blind Spot Information System）功能，并可拓展ReIS（Reversing Information System）、AVM环视感知、DMS等功能，支持L2+级智能驾驶感知需求。作为全球首批视觉MOIS及 BSIS方案，JIMU S7具备感知精度高、感知范围广、系统扩展性强等优势。目前，极目智能已与某世界级主机厂合作推进S7项目的量产落地。

智能驾驶是汽车智能化技术上的璀璨明珠，极目智能将坚持技术创新谋求持续发展，不断深耕技术科创、持续突破技术壁垒，希望通过极目人的努力，为智能驾驶的发展注入中国智慧！

审核编辑：彭静