0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

Nullmax打造一套强大的平台化BEV-AI整体技术架构

Nullmax纽劢 来源:Nullmax纽劢 2023-05-26 15:54 次阅读

在高阶智能驾驶不断上车的今天,行泊一体已经成为了汽车行业的量产共识,如何在实现极致性能体验的同时,进一步降低硬件成本,并且大幅提升开发部署的效率,是行泊一体加速落地的关键。

传统的行泊一体方案,行泊功能一般来自两套系统,芯片传感器各为阵营,不仅性能受限,也带来了多余的硬件成本。面向当下和未来,行泊一体显然需要更加「现代化」的深度融合:传感器深度复用,芯片资源完全共享,并通过强大的软件算法实现功能的整合升级。而这,也对底层的技术架构提出了更高要求。

这套架构既要能够支持行车、泊车的各种传感器,基于单颗SOC为主的域控制器打造功能完整的行泊一体应用,还要提供丰富多样的算法选择,满足不同算力和算子情况下的各种行车、泊车任务要求,最好还能实现充分的技术共用和模块复用,让所有方案的开发、部署和升级变得高效便捷。

为此,Nullmax打造了这样一套强大的平台化BEV-AI整体技术架构,为「现代化」的全场景行泊一体应用提供至关重要的技术支撑,推动高阶智驾加速走向普及。

自动驾驶「新基建」

在智能驾驶时代,汽车最明显的标志是硬件的变化,更高算力的芯片、更多数量的传感器,通常意味着更大的智能化潜力。这些硬件如同自动驾驶功能的基础设施,而用来驱动这些硬件高效协同并提供丰富功能的BEV-AI技术架构,就是自动驾驶的「新基建」工程。

对于自动驾驶来说,感知是整个系统的最上游,当传感器的类型和数量显著增加时,如何融合所有传感器持续输入的多模态、不同视角数据,并实时输出下游所需的一系列任务结果,是自动驾驶的核心问题。并且在应用中,感知环节常常会消耗掉车上的大部份算力,所以感知其实也是技术架构的核心所在。

在感知环节,系统需要融合不同视角相机的视觉数据,以及毫米波雷达、激光雷达等传感器的数据,在模型设计和工程实现上都具有很大挑战。常规的后融合处理方式,每个传感器对应一个神经网络,无法充分挖掘多传感器融合的优势,而且计算量大、耗时长。此外,如果多个任务简单地共享一个主干网络,则容易出现各个任务难以同时获得优异性能的情况。

所以在2020年,Nullmax构建了基于BEV的感知基础架构,为自动驾驶提供融合更准、速度更快的感知模型。它可以有效融合空间和时序信息,对360度的多传感器数据进行高效融合,也能自动搜寻最优的网络设计,支持多传感器、多任务的协同工作。

并且在2022年,Nullmax应用BEV-Transformer完成了这套架构的改造升级,形成了平台化的BEV-AI自动驾驶整体技术架构。它在技术底层考虑行车、泊车的特点,将任务范围从感知延伸到下游的规划,提供全场景、端到端、可成长的完整应用。

在深入使用Transformer基础上,Nullmax BEV-AI技术架构还整合了大量BEV-CNN的成果,能在面向不同算力、算子的多核异构SOC时能够提供最优的算法选择。它可同时输出3D和2D的感知结果,既能为红绿灯检测等适合2D感知的任务提供2D输出,也可以为动态障碍物检测等任务输出3D结果,然后用进行2D校验,在系统层面形成鲁棒的设计。

基于这套先进的BEV-AI整体技术架构,Nullmax可以快速完成各项功能和任务的开发,并形成一套性能拔尖、易于部署、持续升级的一体化量产方案。

面面俱到的完整BEV架构

为了满足自动驾驶全链的开发迭代需求,Nullmax的BEV-AI架构涵盖了六个方面的主要内容:BEV 3D车道线检测,BEV 3D目标检测,BEV局部地图,BEV规划,云端自动化4D真值标注,车端感知、预测、规划的量产部署。 复杂路口的BEV 3D目标检测 BEV 3D目标检测为自动驾驶提供360°的动态障碍物检测能力,并融合时序信息对各类目标进行准确预测。BEV 3D车道线检测为车辆输出实时的车道情况,BEV局部地图在车端实时构建媲美高精地图的高精度局部地图,二者能够在任意常规道路条件下,输出自动驾驶所需的静态场景深刻理解。然后以此为基础,BEV规划可以用端到端方式输出行车的轨迹和速度,实现复杂场景下的自动驾驶应用,而不依赖高精地图。 路口场景的BEV规划

云端的自动化4D真值标注,用来完成3D空间信息+时间信息的3D bunding-box真值标注,以及车道线、Local Map等方面的标注,支持BEV-AI的高效开发和迭代。最终,Nullmax BEV-AI整体架构根据实际需求,形成能在车端实时运行、易于部署的感知、预测、规划一系列量产应用。

为了让这套BEV-AI技术架构具备平台化特点,满足实际应用中的不同量产需求,Nullmax还攻克了三个方面的难点。一是融合多个摄像头数据的同时,不进行单个摄像头的独自处理和多个摄像头结果的复杂后处理,以节省算力、提升融合效果;二是在算法层面实现图像空间到BEV空间的信息转换;三是支持任意摄像头,且不过度依赖相机的外参,从而适配所有传感配置。

简单来说,Nullmax的BEV-AI,采取多相机联合工作方式,输入任意数量相机的图像,直接统一输出BEV视角下的三维信息,因而无需为每个相机进行单独的处理。同时,Nullmax利用cross-attention机制实现2D图像到3D空间的关联,为BEV-AI架构打造了一系列基于Transformer的BEV检测、分割方法,并通过multi-camera cross attention等方式,实现了不过度依赖相机参数的2D和3D关联。

归功于这些深入的工作,Nullmax的BEV-AI技术架构为行泊一体等量产应用带来了巨大的平台化优势和产品优势。

大幅提升的BEV量产优势

在实际应用中,芯片平台、传感器配置、功能定义、技术指标的细微差异,都可能会为自动驾驶的开发工作带来巨大变动,尤其是复杂的行泊一体量产应用。因此通过平台化的技术架构提升量产效率,意义重大。

Nullmax BEV-AI架构能够支持所有的芯片平台,提供高中低不同算力平台下的行泊一体量产应用。尤其是在备受欢迎的德州仪器TDA4、英伟达Orin芯片上,基于BEV-AI技术架构的行泊一体方案,有的已经完成交付,有的正在交付。

在最低8T算力的情况下,BEV-AI就可以实现包括高速NOA在内的基础行泊一体,如果算力达到16T,那么行泊车体验还会进一步升级。当算力达到100T以上,那么BEV-AI架构可以提供城市道路的领航辅助功能,实现全场景的行泊一体。

同时,Nullmax BEV-AI架构还能够支持所有的自动驾驶产品。无论是完整的行泊一体,还是单独的行车、泊车功能,又或者是上游的行泊车感知,BEV-AI架构能够按需裁剪,适配任务需求,并且可以支持任意的传感器配置。

夜间基于8T算力和4颗侧视相机的BEV周视感知

通常来说,不同的车辆在传感器的类型、数量和参数上会存在普遍差异,比如相机的焦距、像素、FOV、安装位置、朝向等情况就各不相同。Nullmax的BEV-AI架构可以适配这些传感器层面的差异,无需大幅修改算法,即可提供应用。

除此之外,Nullmax BEV-AI架构还具有平台产品化的特点,让架构平台的技术优势形成了面向部署优化、超远距离感知的产品优点。这让基于BEV-AI架构的量产方案,在部署时能能取得更好的应用体验,并在资源占用、感知帧率、系统延时等关键指标上表现更佳,尤其是面对中低算力芯片平台的时候。

而且更远距离的感知,也能为自动驾驶提供更高的安全性。相比于业内BEV方案通常数十米远的感知距离,Nullmax BEV-AI架构可以轻松实现更远距离的有效感知,满足量产功能的所有性能指标。

正是凭借BEV-AI架构在平台化和产品化方面带来的这些优势,Nullmax不仅快速完成了各种量产应用的高质量开发和交付,并且方案整体达到了行业领先的技术水准。

结语

在汽车向着高阶智驾发展的过程中,先进的技术架构将为自动驾驶的落地带来全方位的优势,不论是量产方案的本身还是技术应用的过程,都不例外。Nullmax BEV-AI架构将继续作为行泊一体「现代化」路上的「新基建」,加速全场景自动驾驶应用的落地。

审核编辑:彭静
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 传感器
    +关注

    关注

    2526

    文章

    48110

    浏览量

    740129
  • 硬件
    +关注

    关注

    11

    文章

    2922

    浏览量

    64817
  • AI
    AI
    +关注

    关注

    87

    文章

    26459

    浏览量

    264080
  • LLM
    LLM
    +关注

    关注

    0

    文章

    202

    浏览量

    233

原文标题:Nullmax BEV-AI架构,加速行泊一体「现代化」 | Nullmax进化学

文章出处:【微信号:Nullmax,微信公众号:Nullmax纽劢】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    研华携手群联 共同打造边缘运算与工控应用生成式AI平台

    赋能安全可靠&平民化的地端GenAI环境   导读: 4月17日,群联电子(Phison)宣布与研华科技(Advantech)携手合作,共同打造GenAI运算平台。该平台将致力于协助工控应用客户
    发表于 04-26 17:28 81次阅读
    研华携手群联 共同<b class='flag-5'>打造</b>边缘运算与工控应用生成式<b class='flag-5'>AI</b><b class='flag-5'>平台</b>

    NanoEdge AI技术原理、应用场景及优势

    NanoEdge AI种基于边缘计算的人工智能技术,旨在将人工智能算法应用于物联网(IoT)设备和传感器。这种技术的核心思想是将数据处理和分析从云端转移到设备本身,从而减少数据传
    发表于 03-12 08:09

    HarmonyOS SDK,助力开发者打造焕然新的鸿蒙原生应用

    鸿蒙星河版重磅发布,带来了全新架构、全新体验、全新生态。作为支撑鸿蒙原生应用开发的技术源动力,HarmonyOS SDK 将系统级能力全面对外开放,覆盖了应用框架、应用服务、系统、媒体、图形、AI
    发表于 01-19 10:31

    Nullmax与黑芝麻智能合作打造单芯片NOA智驾解决方案

    自动驾驶技术的革新者Nullmax与先进芯片制造商黑芝麻智能在CES展会上签署了全新的深度合作协议。这一全新的合作,旨在为中国以及全球的汽车制造商和一级供应商提供高性能且具有成本效益的ADAS解决方案。这一方案将为全球自动驾驶行业带来显著的优势。
    的头像 发表于 01-15 14:14 247次阅读

    Nullmax揭秘BEV-AI技术架构加速量产方案演进

    12月19日,Nullmax首席科学家成二康博士应邀出席2023全球自动驾驶峰会(GADS 2023),在自动驾驶BEV感知技术论坛上发表《BEV-AI
    的头像 发表于 12-22 14:46 671次阅读

    Nullmax智驾产品获头部车企定点

    11月27日,Nullmax宣布近期获得新的量产订单,将为头部车企提供智能驾驶产品,项目计划于2024年完成量产交付。
    的头像 发表于 11-27 14:10 327次阅读

    高通推出骁龙X Elite——AI赋能的强大平台将为PC带来变革

    专为AI打造,支持在终端侧运行超过130亿参数的生成式AI模型,凭借快达竞品4.5倍的AI处理速度,其将继续扩大高通在AI领域的领先优势。
    的头像 发表于 10-25 10:30 187次阅读
    高通推出骁龙X Elite——<b class='flag-5'>AI</b>赋能的<b class='flag-5'>强大平台</b>将为PC带来变革

    高通推出骁龙XElite——AI赋能的强大平台将为PC带来变革

    10月24日,在美国夏威夷骁龙峰会期间,高通技术公司宣布推出公司迄今为止面向PC打造的最强计算处理器:骁龙X Elite。这款开创性平台将开启顶级计算新时代,凭借一流的CPU性能、领先的终端侧
    发表于 10-25 10:18 207次阅读
    高通推出骁龙XElite——<b class='flag-5'>AI</b>赋能的<b class='flag-5'>强大平台</b>将为PC带来变革

    基于20T算力芯片,宏景智驾如何打造BEV轻地图方案?

    卷王” 。 在推进量产的同时,宏景 智驾已在布局 BEV 感知、轻高精地图甚至去高精地图的智驾方案,同 时也在打造 4D BEV 感知真值系统产品,赋能更多车企进行相关技术开发。 近期
    的头像 发表于 09-05 20:45 593次阅读
    基于20T算力芯片,宏景智驾如何<b class='flag-5'>打造</b><b class='flag-5'>BEV</b>轻地图方案?

    智能语音开放平台选哪家,启英泰伦提供硬件、软件体化开发服务

    和降低了开发难度。 【小语种语音模型开发】:上传小语种命令词文件和少量录音音频文件,即可通过平台自动进行训练,从而识别小语种的语音识别。 03固件在线测试 做好的固件不清楚语音识别效果怎么办,自己搭建一套
    发表于 08-17 14:00

    分享一套财务数据分析模板,零开发,更好用

    分析项目中摸索出一套系统的财务数据分析模板,可令人在短时间内深度分析财务数据,掌握企业经营管理健康情况,为决策提供助力。 奥威BI财务数据分析模型介绍 这是一套基于奥威BI数据可视化工具的系统
    发表于 08-15 10:47

    ai芯片技术架构有哪些

    ai芯片技术可以分为不同的体系架构。下面将对ai芯片技术架构做详细介绍。 首先,
    的头像 发表于 08-09 14:28 954次阅读

    Arm平台安全架构固件框架1.0

    Arm的平台安全架构(PSA)是一套完整的: •威胁模型。 •安全分析。 •硬件和固件体系结构规范。 •开源固件参考实施。 •独立评估和认证方案——PSA CertifiedTM。 PSA提供了
    发表于 08-08 07:14

    深度解析昇腾AI全栈架构设计

    面向计算机视觉、自然语言处理、推荐系统、类机器人等领域量身打造了基于“达芬奇(DaVinci)架构”的昇腾(Ascend)AI处理器,开启了智能之旅。
    发表于 05-30 09:54 1138次阅读
    深度解析昇腾<b class='flag-5'>AI</b>全栈<b class='flag-5'>架构</b>设计

    51单片机使用哈佛结构,它RAM和ROM的总线是同一套总线分时复用的还是两总线?

    51单片机使用哈佛结构,它RAM和ROM的总线是同一套总线分时复用的还是两总线?
    发表于 05-09 16:03