恩智浦携手Au-Zone打造复杂环境3D感知系统

尘土飞扬的建筑工地；雾气弥漫的田野；拥挤的仓库；倾盆大雨；崎岖不平的地形。让自动设备能够可靠地实时感知并适应上述充满挑战的真实应用场景，需要哪些关键要素？

恩智浦与Au-Zone Technologies携手迎接挑战，不仅需要构建一个能在高压环境下稳定运行的感知系统，还要确保系统能快速集成并灵活扩展。

双方合作下，Au-Zone研发并推出Raivin模块——集成雷达传感、视觉处理和边缘AI推理的3D感知系统，该模块已准备投入量产。Raivin专为复杂操作环境而设计，使机器能够实时处理复杂的环境数据并作出决策，在高压条件下提供稳定的感知能力。

借助预训练的AI感知模型和统一的软硬件架构，Raivin简化了智能感知的部署，为可扩展的自主系统向边缘发展迈出了重要的一步。

自主系统的下一步发展需要更强大、更精准且更具成本效益的实时3D空间感知能力。我们与恩智浦携手合作，专为这一需求打造了Raivin。——Brad Scott Au-Zone Technologies首席执行官

实时感知的共同愿景

自主性和物理AI的演进已超越传统感知解决方案的能力范畴。许多现有系统仍依赖单一传感器协议栈，在复杂且不可预测的环境中提供有限且不稳定的感知支持。

仅使用摄像头的系统在低能见度或光照不足时性能下降。激光雷达虽然具备高精度，但成本高昂且能耗较大。雷达在恶劣天气下表现可靠，却缺乏精确物体分类所需的分辨率。

我们与Au-Zone携手应对挑战，共同研发了这款边缘AI传感器融合系统，实现高置信度、低延迟的感知能力。

视觉技术提供了丰富的语义理解能力，可实现物体检测、分类与分割。同时，雷达则补充了连续的深度信息和运动跟踪能力，即使在低能见度环境下仍能稳定运行。Raivin通过融合这些信号与AI推理，构建了一个同步的、具备上下文感知能力的3D世界模型，从而赋予实时决策更高的置信度。

尽管多传感器系统带来了诸多优势，但自主应用仍受限于其对现实世界刺激的响应速度。低延迟至关重要，这类工作负载无法容忍因云处理或传感器刷新率过低而导致的延迟。

只有将雷达和视觉技术与边缘AI处理整合于同一个单元，我们才能打造足够快速、可靠且强大的系统，以满足下一代自主应用的需求。

Raivin体现了系统级思维，将雷达、视觉和边缘AI设计为一个统一、确定性的流程。这一方法使在复杂环境中实现实时感知成为可能。——Altaf Hussain 恩智浦运输与移动细分市场市场总监

统一的软硬件协议栈

Raivin从一开始就是合作研发的成果。其全协议栈设计涵盖从芯片到软件的各个层面，采用协同开发方式，以确保在边缘实现一致、高效的性能。

Raivin模块是一款商用AI感知解决方案，将雷达模块、视觉数据处理和边缘AI整合为一个可直接部署的单元。

恩智浦提供高性能、可扩展的计算和传感基础

i.MX 8M Plus应用处理器采用四核Arm Cortex-A53及神经处理单元，在高达2.3 TOPS的计算能力下高效执行AI推理，并支持基于视觉的分类、分割及场景理解。

S32R294雷达微控制器符合ISO26262 ASIL D安全等级要求，凭借双e200z7应用内核及锁步e200z4安全内核，提供实时雷达信号处理及传感器融合能力。

RFCMOS雷达收发器工作于76-81GHz频段，即使在复杂多变或恶劣环境下，仍能确保稳定、可靠的空间感知能力。

Au-Zone提供边缘AI软件协议栈与开发工具

Raivin模块采用Au-Zone的EdgeFirst Studio开发，专为传感器融合模型的多模态数据收集、AI辅助标注、训练、验证及部署而设计，无需深厚的机器学习专业知识。

其中，EdgeFirst Perception Stack通过预训练模型与工作流程优化软件，帮助工程师加速开发进程。开发人员可在集成环境中标注数据集、微调模型并验证性能。这种端到端方法能够显著减少开发工作量，降低设计人员实现复杂、多模态AI感知系统的技术门槛。

最终，打造出一款高集成度的3D感知系统，在低延迟、低功耗方面实现了优化，并支持部署在边缘。

Raivin能够在复杂多变或恶劣环境下稳定运行。观看方案演示，了解该模块如何在边缘提供可信赖的空间感知能力，点击这里>>

真实应用场景中的突破性表现

在CES 2025上，Raivin在现场演示中接受了严苛的测试，重现自动设备每日所面临的各类环境挑战，包括天气变化、动态运动以及视觉障碍等：

在雾霾环境下，雷达依然能够稳定执行目标检测、跟踪与空间感知。

在强光条件下，融合引擎确保精准的目标跟踪能力。

在模拟降雨环境中，雷达与AI协同工作，以保持高精度感知。

在复杂、杂乱的场景中，雷达实时追踪速度，而AI与视觉系统则协同分割和分类人员、设备及障碍物。

在模拟降雨期间，雷达与AI紧密协作，以补偿视觉退化，确保系统在低能见度环境下仍具备可靠的感知能力。

大规模简化传感器融合

长期以来，传感器融合一直是复杂的过程，需要分散的工具、定制化流程以及深厚的专业知识。Raivin颠覆了这一传统。

预训练的AI模型被集成到Au-Zone的EdgeFirst Studio，工程师可轻松实现雷达与视觉的融合，而无需从零构建。该软件支持数据集管理、训练与验证，只需要很少的编码与机器学习基础设施，就能实现快速的迭代开发。同时，它还能作为数据收集平台，助力针对不同对象和工作环境探索定制化解决方案。

同时，该即用型硬件解决方案经过优化，专为边缘AI处理设计，消除了对定制实现与硬件权衡的顾虑。Raivin现已商用，为OEM提供经过验证的可扩展3D感知系统。

无论是应用于移动机器人、精准农业还是车队车辆，Raivin模块均可通过单一平台快速集成AI驱动的感知能力。

凭借高效的边缘处理、预训练的AI模型以及集成式软硬件设计，Raivin大大简化了机器人、农业和车队车辆等应用中的传感器融合部署。——Brad Scott Au-Zone Technologies首席执行官

Raivin支持技术创新

Raivin代表着技术革新与合作升级。通过将雷达、视觉和边缘AI深度融合至同一平台，Raivin模块等解决方案加速智能感知的部署，提升可扩展性，并确保其在真实应用场景中的适用性。

如需构建或集成类似系统，欢迎探索Au-Zone的EdgeFirst Studio，了解其如何简化边缘AI的部署流程。

本文作者

Altaf Hussain，恩智浦半导体运输与移动细分市场市场总监。Altaf在企业、服务提供商和工业应用的应用工程、产品营销和业务开拓方面拥有30多年的经验。他目前担任恩智浦运输与移动部门的负责人，该部门专注于移动机器人、机器视觉和仓库物流自动化领域。Altaf致力于制定系统解决方案，帮助客户借助自主移动机器人加速自动化进程。他拥有英国伦敦南岸大学的电气与电子工程学士学位。