0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

开源鸿蒙具身智能PMC(筹)发表顶会论文: 提出具身智能场景下机器人端侧部署的VLA模型跨XPU评测与加速方法

OpenHarmony TSC 来源:OpenHarmony TSC 作者:OpenHarmony TSC 2026-05-13 15:35 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

wKgZPGoEKtKAdKpQABn6C169iCQ724.gif  

第43届国际机器学习大会(ICML 2026)论文录用名单正式公布,开源鸿蒙具身智能PMC(筹)相关研究论文成功被大会接收。ICML是机器学习领域顶会,与NeurIPS、ICLR并称为领域三大会,本次入选成果是开源鸿蒙具身智能PMC(筹)在具身智能操作系统技术建设上迈出关键一步,为后续推进具身智能端侧推理优化与机器人产业化落地提供关键技术。

视觉-语言-动作模型(Vision-Language-Action Models, VLA)正在成为通用机器人感知、推理与控制的重要技术路线。与云端或桌面环境不同,真实机器人端侧部署需要在有限算力、功耗预算和硬件成本约束下,持续满足实时控制频率与任务成功率要求。如何系统评估不同VLA模型在GPU、NPU等异构XPU硬件上的实际表现,并进一步降低推理延迟、能耗和部署成本,是具身智能规模化落地必须解决的关键问题。

wKgZPGoEKtOAXIH6AAHxLuci0Wc895.png

针对上述问题,本论文提出面向机器人部署的VLA模型-XPU硬件协同分析与加速框架。工作首先构建跨硬件VLA-Leaderboard评测榜单,围绕成本、能耗和延迟三个维度,对不同VLA模型与硬件平台组合进行系统化实测与对比。评测结果表明,合适规模的边缘设备在满足机器人控制频率要求的同时,能够在成本/能耗效率上取得优于桌面级旗舰GPU的综合表现,为机器人端侧硬件选型提供了可量化依据。

wKgZPGoEKtOABaTtAAT1HvCfo38994.png

在性能分析方面,本工作通过细粒度Profiling分析,揭示主流VLA模型推理过程普遍呈现“两阶段”负载特征:前半部分VLM主干网络以计算密集型算子为主,后半部分Action Expert模块则更容易受到内存带宽限制。这种阶段性差异导致硬件资源利用不均衡,也为系统级优化提供了切入点。基于该观察,本论文提出两项训练无关的优化方法:DP-Cache利用扩散去噪过程中的冗余性,缓存稳定阶段的中间结果以减少重复计算;V-AEFusion利用机器人连续控制中相邻观测的时间相关性,将当前帧VLM计算与上一帧Action Expert早期去噪步骤进行异步流水重叠,从而隐藏关键路径上的VLM延迟。

wKgZPGoEKtOAI2QDAAQe2qeTZYY481.png

实验结果显示,该方法在华为端侧昇腾NPU设备上最高实现6倍加速。昇腾相关具身智能样例已开源至CANN社区(https://gitcode.com/cann/cann-recipes-embodied-intelligence),欢迎广大开发者体验和使用。

本论文成果为具身智能VLA模型在低成本、低能耗机器人平台上的端侧部署提供了系统化评测标准与高效加速路径。后续,开源鸿蒙具身智能PMC(筹)将继续围绕具身智能核心技术攻关与开源生态建设,推动VLA模型、异构硬件和机器人应用场景的协同演进,携手开发者与合作伙伴共建开源鸿蒙具身智能机器人生态。

论文信息:

Kaijun Zhou, Qiwei Chen, Da Peng, Zhiyang Li, Xijun Li, Jinyu Gu. Characterizing Vision-Language-Action Models across XPUs: Constraints and Acceleration for On-Robot Deployment. International Conference on Machine Learning, 2026.

供稿:古金宇

责编:张婕逾

编审:谢青霖

审核:刘果

wKgZPGoEKtOAKxYBAAE2c_BJdiM008.jpg

审核编辑 黄宇

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • PMC
    PMC
    +关注

    关注

    0

    文章

    96

    浏览量

    15720
  • 鸿蒙
    +关注

    关注

    60

    文章

    3055

    浏览量

    46258
  • 具身智能
    +关注

    关注

    0

    文章

    552

    浏览量

    919
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    国内首个基于开源鸿蒙底座的人形机器人训练场启用,KaihongOS 重构智能新范式

    近日,国内首个基于开源鸿蒙底座的人形机器人数据训练场——慈溪人形机器人训练场在浙江慈溪市未来产业园正式启动。该人形机器人训练场是乐聚携手深开
    的头像 发表于 05-20 16:47 556次阅读
    国内首个基于<b class='flag-5'>开源</b><b class='flag-5'>鸿蒙</b>底座的人形<b class='flag-5'>机器人</b>训练场启用,KaihongOS 重构<b class='flag-5'>具</b><b class='flag-5'>身</b><b class='flag-5'>智能</b>新范式

    史河机器人率先落地智能特种机器人

    2026年5月,浙江史河科技有限公司自主研发的国内首款专业级智能特种机器人,正式在化工储罐维保、船舶修造、能源设施检修等高危场景实现工程
    的头像 发表于 05-20 09:33 227次阅读

    智能工业机器人任务规划大模型GRID:重塑柔性制造的“核心大脑”

    当前制造业面临多品种、小批量需求与传统机器人刚性自动化之间的核心矛盾。智能工业机器人因其自主规划与执行能力成为破局关键,而任务规划正是其
    的头像 发表于 05-09 18:05 1096次阅读

    广和通发布新一代桌面级双臂Fibot,率先支持π0.6模型侧部署

    模型π0.6在侧高效部署,并可基于物理世界数据集进行模型训练与迭代,助力机器人在真实场景中执
    的头像 发表于 04-28 18:50 1772次阅读
    广和通发布新一代桌面级双臂Fibot,率先支持π0.6<b class='flag-5'>模型</b><b class='flag-5'>端</b><b class='flag-5'>侧部署</b>

    广和通正式发布新一代桌面级双臂智能开发平台Fibot

    模型π0.6在侧高效部署,并可基于物理世界数据集进行模型训练与迭代,助力机器人在真实场景中执
    的头像 发表于 04-16 14:28 1386次阅读

    破解柔性生产难题:知识驱动智能工业机器人的实战应用指南

    在工业4.0迈向工业5.0的进程中,传统的“固定编程”机器人已无法满足多品种、小批量、高柔性的生产需求。随着人工智能与大模型技术的爆发,
    的头像 发表于 03-06 15:49 350次阅读
    破解柔性生产难题:知识驱动<b class='flag-5'>具</b><b class='flag-5'>身</b><b class='flag-5'>智能</b>工业<b class='flag-5'>机器人</b>的实战应用指南

    智能交流会

    。展会汇聚 90%+ 核心部件国产化供应链,可快速实现技术落地,坐享粤港澳大湾区 “机器人谷” 核心红利。 2 、同期多展联动 与工业自动化展、机器视觉展同期举办,形成 “感知(视觉)→决策(
    发表于 01-22 09:55

    资讯速递 | 智能PMC)发布“零成本”开源鸿蒙智能机器人系统

    开源鸿蒙智能PMC)在元旦发布了开发者可使
    的头像 发表于 01-05 16:24 965次阅读
    资讯速递 | <b class='flag-5'>具</b><b class='flag-5'>身</b><b class='flag-5'>智能</b><b class='flag-5'>PMC</b>(<b class='flag-5'>筹</b>)发布“零成本”<b class='flag-5'>开源</b><b class='flag-5'>鸿蒙</b><b class='flag-5'>智能</b><b class='flag-5'>机器人</b>系统

    【前瞻技术布局】咖啡机器人智能技术首阶段探索与实践

    -动作”大模型方法研究。本文主要以第一阶段 咖啡机器人 任务场景为切入点,来阐述所取得的技术突破,以及后续技术优化方向。如下是机器人全程自
    的头像 发表于 12-23 18:56 217次阅读
    【前瞻技术布局】咖啡<b class='flag-5'>机器人</b>:<b class='flag-5'>具</b><b class='flag-5'>身</b><b class='flag-5'>智能</b>技术首阶段探索与实践

    资讯速递 | 开源鸿蒙智能PMC)启动开发者招募

    为推动开源鸿蒙智能机器人领域的技术创新,开源鸿蒙
    的头像 发表于 11-28 19:44 671次阅读
    资讯速递 | <b class='flag-5'>开源</b><b class='flag-5'>鸿蒙</b><b class='flag-5'>具</b><b class='flag-5'>身</b><b class='flag-5'>智能</b><b class='flag-5'>PMC</b>(<b class='flag-5'>筹</b>)启动开发者招募

    开源鸿蒙技术大会2025丨开源鸿蒙智能PMC)启动孵化,AI驱动构筑智能新生态

    9月27日,开源鸿蒙技术大会2025在长沙国际会议中心盛大举行。大会期间,开源鸿蒙
    的头像 发表于 11-10 18:16 1894次阅读
    <b class='flag-5'>开源</b><b class='flag-5'>鸿蒙</b>技术大会2025丨<b class='flag-5'>开源</b><b class='flag-5'>鸿蒙</b><b class='flag-5'>具</b><b class='flag-5'>身</b><b class='flag-5'>智能</b><b class='flag-5'>PMC</b>(<b class='flag-5'>筹</b>)启动孵化,AI驱动构筑<b class='flag-5'>具</b><b class='flag-5'>身</b><b class='flag-5'>智能</b>新生态

    开源鸿蒙技术大会2025丨智能分论坛:开源智驱实体,融合共创未来

    机器人、天创机器人、Dora社区等多方专家,聚焦探讨智能的技术突破与产业应用等方向。论坛主题涵盖
    的头像 发表于 10-12 21:05 908次阅读
    <b class='flag-5'>开源</b><b class='flag-5'>鸿蒙</b>技术大会2025丨<b class='flag-5'>具</b><b class='flag-5'>身</b><b class='flag-5'>智能</b>分论坛:<b class='flag-5'>开源</b>智驱实体,融合共创未来

    【「AI芯片:科技探索与AGI愿景」阅读体验】+智能芯片

    。 决策层: 决策层是智能的第三个主要层次,负责根据已有信息做出决策或行动。 包括各种规则引擎、决策配套系统等。它的作用是根据已有信息做出最优决策或行动。决策层可以使用各种控制器,如机器人
    发表于 09-18 11:45

    瑞可达荣获智能机器人技术先锋奖

    近日,“2025年(第二届)“智能机器人场景应用生态大会暨
    的头像 发表于 06-16 18:09 1514次阅读