0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

ASU 具身智能新作:eNavi 填补全球空白,首个真机数据集挑战弱光导航极限!

视美泰 2026-04-23 15:11 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

wKgZPGnpxR2ANEBuAACCoef3ooc064.png

一、 室内导航的物理死结:运动模糊与语义丢失导致的控制坍塌

wKgZO2npxTCAVEY_AAEmld3sJGk744.png

在移动机器人导航中,传统视觉方案在极端环境下的表现往往断崖式下跌。在低光照环境下,RGB 相机为了获取足够电荷必须延长曝光时间(Exposure Time),这直接导致机器人在快速转向或避障时产生全屏运动模糊(Motion Blur)。

控制工程角度看,这不仅是画质问题,而是控制闭环的语义失效:当特征张量因模糊发生空间位移时,模仿学习(Behavioral Cloning)模型无法将当前的模糊图像映射到正确的角速度指令上,导致机器人出现高频震荡甚至撞墙。

二、 eNavi 核心逻辑:基于延迟融合 Transformer 的异构数据对齐

wKgZPGnpxaCAM_wzAACswYVKQUM905.png

eNavi 的核心价值在于它通过 Transformer 结构,将“异步脉冲”与“同步帧”的异构矛盾转化为高鲁棒性的控制指令:

  • 时空张量重构(Voxel Grid Representation): 算法没有直接处理离散脉冲,而是将原始事件流转化为具备 3D 结构的 Voxel Grid。这种表征方式的精妙之处在于:在机器人静止时通过时间窗保持静态背景轮廓,在机器人快速转向时依靠脉冲密度锁死动态边缘,为后续的 Transformer 提供了极高信噪比的“几何骨架”。
  • 后期融合 Transformer(Late-Fusion Transformer):
  • eNavi 采用了双流 MobileNetV3 骨干网,并在决策层引入了交叉注意力机制(Cross-Attention)。系统能实时评估各模态的“信息增益”:当 RGB 编码器的特征熵因光影剧变而异常波动时,Transformer 会自动调低其注意力权重,转而从事件流脉冲中提取高频运动矢量。
  • 动作预测的连续性约束: 通过在模型输入端注入历史里程计(Odometry)序列,算法实际上构建了一个具备“物理惯性”的预测模型,解决了传统视觉导航中单帧观测带来的“部分可观测(Partial Observability)”痛点。

三、 为什么“低底噪”与“微秒级物理对齐”是模仿学习的生命线?

wKgZO2npxa2AegpGAAEYc5j9bXg394.png

要复现 eNavi 在弱光下跟随人类的丝滑效果,必须解决两个在算法层无法通过“调参”补救的物理红线:

  1. 暗流噪声对 Transformer 注意力的“非线性干扰”: 在低光环境下,硬件产生的 BA(Background Activity)噪声会被编码器识别为“虚假运动特征”。由于 Transformer 具有极强的拟合能力,它会过度拟合这些随机噪点,导致机器人产生震荡。
  2. 多模态同步的微秒级物理对齐: eNavi 论文强调了强时间对齐管线。如果 RGB 帧与事件流在硬件源头存在 >5ms 的随机抖动(Jitter),Transformer 在融合时就会用“上一刻”的边缘去修正“这一刻”的图像,这种时空错位会直接导致模仿学习模型无法收敛。

四、 落地底座方案:为 eNavi 策略提供物理级“确定性”

wKgZO2npxbqAJx2mAANmdRqYE-M522.png

方案 A:ShiMeta Pi 【灵光一号】(高敏感度科研基准) 其工程价值在于 极佳的信噪比基准。在暗光环境下,CF-NRS1 输出的边缘流如同手术刀般清晰,确保了 eNavi 中特征编码器的提取质量。其内置的硬同步时钟(Hardware Sync),是实现论文所述“多模态强对齐管线”的物理前提,免去了开发者在软件层对齐数据的痛苦。

wKgZO2npxcmAcdEaAASEFtFpvU8019.png

方案 B:ShiMeta Pi 【事件相机(EVS)模组系列】嵌入式边缘计算优化) 整机仅 31g,几乎不占用机器人的载荷。更重要的是其 MIPI 原生传输通路,避开了 USB 协议栈产生的不可控延迟。只有确保数据以“零缓冲”姿态进入端到端推理链路,才能实现 >50Hz 的控制频率,让机器人在高速避障时真正具备“条件反射”。

五、 总结:硬件底层物理特性是端到端策略的“第一性原理”

eNavi 的成功证明了:算法的上限,往往被传感器在极限环境下的物理表现所锚定。只有当底层硬件(如 shimetapi 系列)能提供确定、纯净、同步的原始感知数据时,端到端的 Transformer 融合策略才能真正走出实验室。

【原文链接】:https://arxiv.org/pdf/2603.14397

【项目主页】:https://eventbasedvision.github.io/eNavi/

【声明】: 本文仅作为学术前沿动态分享与工程复现逻辑探讨。文中涉及的硬件工程方案旨在为科研落地提供物理底座参考,不代表原论文作者及机构的立场。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 具身智能
    +关注

    关注

    0

    文章

    472

    浏览量

    908
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    高精度真值数据智能规模化落地的关键支撑

    智能正加速从实验室走向产业化,高精度真值数据成为制约机器人模型训练与落地的关键瓶颈。行业采用
    的头像 发表于 04-17 14:14 794次阅读
    高精度真值<b class='flag-5'>数据</b>:<b class='flag-5'>具</b><b class='flag-5'>身</b><b class='flag-5'>智能</b>规模化落地的关键支撑

    广和通正式发布新一代桌面级双臂智能开发平台Fibot

    )模型π0.6在端侧高效部署,并可基于物理世界数据进行模型训练与迭代,助力机器人在真实场景中执行长时序且复杂的柔性任务,标志着广和通在智能
    的头像 发表于 04-16 14:28 1092次阅读

    瑞为技术参编起草的智能领域首个行业标准正式发布

    近日,由中国信息通信研究院牵头、瑞为技术等40多家单位联合参编起草的智能领域首个行业标准正式发布,将于6月1日正式实施,标志着
    的头像 发表于 04-01 11:34 381次阅读

    智能发展报告(2025年)》

    智能发展报告(2025年)》由中国信息通信研究院与清华大学电子工程系联合发布,是我国首部系统梳理
    的头像 发表于 02-03 11:17 1238次阅读
    《<b class='flag-5'>具</b><b class='flag-5'>身</b><b class='flag-5'>智能</b>发展报告(2025年)》

    全球首个最大规模跨本体视触觉多模态数据白虎-VTouch发布

    智能走向真实世界规模化应用,离不开可复现、可扩展、可协同演进的数据基础设施。围绕真实物理交互能力构建这一核心工程目标,1月26日,国家地方共建人形机器人创新中心联合上海纬钛科技有限
    的头像 发表于 01-29 14:41 746次阅读

    智能交流会

    2026****深圳(国际)智能创新展览会 同期联动展会 :第 29 届华南国际工业自动化展、华南国际机器视觉及工业应用展、华南国际工业博览会 时间: 2026 年 6 月 10-12 日 地点
    发表于 01-22 09:55

    全球智能技术产业发展趋势(2026年)》报告

    科技产业发展研究院智能正引领全球科技产业迈入人机共生的历史性阶段。2026年,随着多模态大模型、神经形态计算、自适应控制与先进材料技术的深度融合,
    的头像 发表于 12-24 15:54 1298次阅读
    《<b class='flag-5'>全球</b><b class='flag-5'>具</b><b class='flag-5'>身</b><b class='flag-5'>智能</b>技术产业发展趋势(2026年)》报告

    “十五五” 点名的“智能”,是什么?

      智能对轴承行业的核心影响 1、催生高端轴承增量市场,需求结构深度调整 智能的规模化应
    的头像 发表于 11-25 10:25 684次阅读

    科技云报到:找到场景,抓住需求,这样的智能才是好AI

    科技云报到:找到场景,抓住需求,这样的智能才是好AI
    的头像 发表于 10-10 14:49 9785次阅读

    【「AI芯片:科技探索与AGI愿景」阅读体验】+智能芯片

    为计算机可以处理的数字信息。 认知层: 认知层是智能的第二层, 负责对数据进行处理和分析,以便更好地理解和利用这些数据。 包括各种算法和
    发表于 09-18 11:45

    写给小白的“智能”入门科普

    最近智能这个概念很火。那么,究竟什么是智能?它包括哪些类别和关键技术?通过这篇文章,我们
    的头像 发表于 08-21 14:15 2940次阅读
    写给小白的“<b class='flag-5'>具</b><b class='flag-5'>身</b><b class='flag-5'>智能</b>”入门科普

    2025世界机器人大会亮点:ADI探讨智能产业化应用技术挑战

    当下,智能浪潮风起云涌,已成为全球科技领域最热门的赛道之一。在近日备受瞩目的2025世界机器人大会(WRC)期间,ADI中国区大众市场技术总监屈旭光受邀出席“
    的头像 发表于 08-15 15:53 2902次阅读
    2025世界机器人大会亮点:ADI探讨<b class='flag-5'>具</b><b class='flag-5'>身</b><b class='flag-5'>智能</b>产业化应用技术<b class='flag-5'>挑战</b>

    东风汽车加速智能领域技术攻关

    近日,湖北卫视“湖北新闻”和“湖北发布”接连报道东风汽车加速智能领域技术攻关,牵头成立汽车智能
    的头像 发表于 07-21 14:19 1030次阅读

    中国智能的机遇与挑战

    近期,来自智能学界与产业界的重量级嘉宾——上海交通大学副教授、上海人工智能研究院首席科学家闫维新,库帕思 CEO黄海清,松应科技创始人CEO聂凯旋,银河通用合伙人、大模型负责人张直
    的头像 发表于 04-28 14:49 1330次阅读