电子发烧友网报道(文/周凯扬)作为最考验场景适用度和成本控制的应用之一,机器人市场在随着进一步接入高性能AI芯片,再度开启了新的蓝海赛道。比如人形机器人已经有了接入大语言模型的趋势,我们也已经在不少行业展会上看到了类似的demo。
机器人市场的白刃战已经不再仅仅是运动控制系统和视觉感知系统的比拼了,谁能在新时代把握AI算力的红利,就有可能率先抢下这一蓝海市场的第一块蛋糕。而赋予这一红利的前提,恰恰就是机器人AI芯片以及相关的软件开发平台。
接入大语言模型,AI自动生成代码
作为AI芯片领域的龙头,英伟达的Jetson AGX Orin在去年一经发布,就获得了机器人行业生态的追捧。200TOPS@INT8的算力相比上一代的Jetson Nano、Jetson Xavier都有了数倍的提升。而上一代产品仍是当时乃至现在的主流产品,Jetson的开发生态拥有100万开发者和6000多家公司,小米的Cyberone、宇树的B1等产品都在使用Jetson硬件作为感知计算平台。
不过Jetson AGX Orin面向的依然是行业级的市场,面对消费级的产品,仍需要入门级与中端级的产品来替代原先的Nano和Xavier。因此英伟达随即又发布了全新的Jetson Orin Nano和Jetson Orin NX,根据配置不同,最高算力分别可至40TOPS和100TOPS。
与Jetson AGX Orin一同更新的Metropolis、Omniverse Isaac和TAO的工具套件,进一步减少了AI部署所需的时间成本,又能解决感知、自然语言理解等机器人开发过程中的挑战。自去年第四季度英伟达开始供货以来,今年新发布的一众机器人产品纷纷用上了这颗芯片,而其作用也不再只是用于感知计算。
以国产机器人厂商宇树为例,他们发布的Unitree Go2 EDU版本可以选配英伟达Jetson Orin高算力模组,以提供额外的40到100TOPS算力,结合来看选配的最低是8GB的Jetson Orin Nano,以及16GB的Jetson Orin NX。Unitree Go2也接入了GPT,在与人进行问答交互时也更加智能,并非程序式的反应。
这对于陪伴型机器人来说,或许意味着跨世代的进步,在接入GPT后,一切交互活动都会变得人性化。在理解指令语义后,也能通过GPT的代码生成能力自动生成机器人的控制代码,从而在无需额外编程的情况下,触发更为复杂的动作指令。而目前Jetson是接入大模型最为全面的机器人硬件平台,故而为国产机器人厂商结合国产大模型也提供了支持。
AI定制化需求与开发平台易用性
地平线虽是国产自动驾驶芯片的龙头厂商,但这家名字里带了Robotics的公司,也在稳步推进着机器人的开发。在去年,地平线推出了国内首个软硬一体的机器人开发平台Horizon Hobot Platform,以及基于最新旭日X3芯片打造的旭日X3派开发板。
Hobot平台除了包括旭日3芯片外,还包括机器人操作系统TogetherROS,机器人参考算法Boxs等。旭日3集成了全新的伯努利2.0 BPU架构,可以提供5TOPS的算力。而TogetherROS在兼容ROS2通用操作系统的同时,对旭日芯片进行了底层优化,提高了部分CV算子的性能。除了与传感器和软件厂商达成合作以外,地平线也与不少机器人本体厂商紧密合作,诸如松灵机器人、智科特机器人等。
而今年地平线推出了全新的RDK系列机器人开发者套件,基于此原先的旭日X3派升级成了RDK X3,上半年也发布了集成度更高的RDK X3模组,四核Cortex-A53的CPU主频升级至1.5GHz,可以满足机器人开发者客户更多的定制化需求。
而在7月的地平线2023机器人开发者创享日上,地平线又发布了RDK X3 2.0以及RDK Ultra。RDK Ultra则是地平线为机器人开发准备的一套高性能、大算力套件,其端侧推理算力可达96TOPS,同时配备了8核Cortex-A55 CPU提供高性能处理能力。同时为了更好地降低开发者的适配与学习成本,RDK Ultra的硬件接口甚至兼容Jetson Orin系列开发板。
与此同时,基于下一代芯片旭日5的RDK X5套件也已经在开发过程中了,预计将于2024年面世。地平线也透露了该平台的一些性能指标,比如8TOPS的BPU算力,8核Cortex A55的CPU将主频进一步提升至1.8GHz,且这次更是配备了Arm Mali GPU。
在机器人开发者创享日上,同样获得升级的还有TogetherROS。升级到2.0版本的TogetherROS引入了更多的算法与应用实例,其中包括了一众因为算力升级而得以实现的复杂算法,比如BEV视觉3D感知、深度学习视觉巡线等等。
为了对机器人应用进行更有针对性的开发,地平线也推出了Node Hub,通过将SLAM、目标检测、定位和自主导航等功能节点化,从而使得不同类型的机器人只需将这些节点串联起来即可完成应用开发,譬如需要SLAM、自主导航和运动控制的物流机器人,或是需要运动规划和目标检测的分拣机器人等等。
AI计算的同时兼顾可靠性与实时性
另一个常常被大家忽略的硬件平台,同样可以助力AI机器人的开发,那就是AMD/赛灵思的Versal AI Edge系列。该系列通过标量引擎、自适应引擎和智能引擎的结合,提供了一个比GPU提供更高AI能耗比的平台。在通用的控制嵌入式计算上,双核Cortex-A72和双核Cortex-R5F足以满足Linux应用和实时控制的需求,而自适应引擎则用于支持各种传感器的融合算法。
其智能引擎由AI引擎和DSP引擎构成,每个AI引擎都由多个引擎块构成2D阵列,而每个引擎块都包含了一个VLIW的单指令多数据向量处理器,主频高达1.3GHz,且专门针对机器学习和高级信号处理进行了优化,足以满足机器人实时控制的低时延。
值得一提的是,AMD提供的这一AI引擎分为两种,一种是同时平衡ML和DSP负载的AIE引擎,一种是专注于ML的AIE-ML引擎,前者的高级信号处理能力更高,而后者的机器学习推理性能更高。这也是为何Versal AI Edge在智能引擎中加入了一个独立的DSP引擎,这样一来无论是机器人AI应用中的深度学习,还是感知计算中的信号处理,都能在单一平台上完成。
不过从用例来看,Versal AI Edge系列还是更适合用于行业级的机器人,诸如工业协作机器人、医用手术机器人等等。这类应用往往需要数量大于消费级机器人的异构传感器输入,且对于预测性维护、远程诊断之类的机器学习应用需求更高。况且从其标量引擎的配置和自适应引擎对TSN网络的支持上来看,也是为了在工业、医疗等环境中实现ROS下最快的响应速度。
写在最后
对于机器人市场来说,追求小型化、低功耗、高算力的AI计算芯片必然是未来几年的大势所趋。与之匹配的电机/电机控制芯片以及传感器,也已经开启了新一轮的技术升级,目标即形成感知层、计算层和执行层的完美融合。单从技术积累来看,自动驾驶芯片厂商很有可能是率先吃到甜头的厂商,但它们不少仍需要更多的精力来接入不同的AI模型,才能跟上新的交互潮流。
机器人市场的白刃战已经不再仅仅是运动控制系统和视觉感知系统的比拼了,谁能在新时代把握AI算力的红利,就有可能率先抢下这一蓝海市场的第一块蛋糕。而赋予这一红利的前提,恰恰就是机器人AI芯片以及相关的软件开发平台。
接入大语言模型,AI自动生成代码
作为AI芯片领域的龙头,英伟达的Jetson AGX Orin在去年一经发布,就获得了机器人行业生态的追捧。200TOPS@INT8的算力相比上一代的Jetson Nano、Jetson Xavier都有了数倍的提升。而上一代产品仍是当时乃至现在的主流产品,Jetson的开发生态拥有100万开发者和6000多家公司,小米的Cyberone、宇树的B1等产品都在使用Jetson硬件作为感知计算平台。
不过Jetson AGX Orin面向的依然是行业级的市场,面对消费级的产品,仍需要入门级与中端级的产品来替代原先的Nano和Xavier。因此英伟达随即又发布了全新的Jetson Orin Nano和Jetson Orin NX,根据配置不同,最高算力分别可至40TOPS和100TOPS。
与Jetson AGX Orin一同更新的Metropolis、Omniverse Isaac和TAO的工具套件,进一步减少了AI部署所需的时间成本,又能解决感知、自然语言理解等机器人开发过程中的挑战。自去年第四季度英伟达开始供货以来,今年新发布的一众机器人产品纷纷用上了这颗芯片,而其作用也不再只是用于感知计算。
以国产机器人厂商宇树为例,他们发布的Unitree Go2 EDU版本可以选配英伟达Jetson Orin高算力模组,以提供额外的40到100TOPS算力,结合来看选配的最低是8GB的Jetson Orin Nano,以及16GB的Jetson Orin NX。Unitree Go2也接入了GPT,在与人进行问答交互时也更加智能,并非程序式的反应。
这对于陪伴型机器人来说,或许意味着跨世代的进步,在接入GPT后,一切交互活动都会变得人性化。在理解指令语义后,也能通过GPT的代码生成能力自动生成机器人的控制代码,从而在无需额外编程的情况下,触发更为复杂的动作指令。而目前Jetson是接入大模型最为全面的机器人硬件平台,故而为国产机器人厂商结合国产大模型也提供了支持。
AI定制化需求与开发平台易用性
地平线虽是国产自动驾驶芯片的龙头厂商,但这家名字里带了Robotics的公司,也在稳步推进着机器人的开发。在去年,地平线推出了国内首个软硬一体的机器人开发平台Horizon Hobot Platform,以及基于最新旭日X3芯片打造的旭日X3派开发板。
Hobot平台除了包括旭日3芯片外,还包括机器人操作系统TogetherROS,机器人参考算法Boxs等。旭日3集成了全新的伯努利2.0 BPU架构,可以提供5TOPS的算力。而TogetherROS在兼容ROS2通用操作系统的同时,对旭日芯片进行了底层优化,提高了部分CV算子的性能。除了与传感器和软件厂商达成合作以外,地平线也与不少机器人本体厂商紧密合作,诸如松灵机器人、智科特机器人等。
而今年地平线推出了全新的RDK系列机器人开发者套件,基于此原先的旭日X3派升级成了RDK X3,上半年也发布了集成度更高的RDK X3模组,四核Cortex-A53的CPU主频升级至1.5GHz,可以满足机器人开发者客户更多的定制化需求。
而在7月的地平线2023机器人开发者创享日上,地平线又发布了RDK X3 2.0以及RDK Ultra。RDK Ultra则是地平线为机器人开发准备的一套高性能、大算力套件,其端侧推理算力可达96TOPS,同时配备了8核Cortex-A55 CPU提供高性能处理能力。同时为了更好地降低开发者的适配与学习成本,RDK Ultra的硬件接口甚至兼容Jetson Orin系列开发板。
与此同时,基于下一代芯片旭日5的RDK X5套件也已经在开发过程中了,预计将于2024年面世。地平线也透露了该平台的一些性能指标,比如8TOPS的BPU算力,8核Cortex A55的CPU将主频进一步提升至1.8GHz,且这次更是配备了Arm Mali GPU。
在机器人开发者创享日上,同样获得升级的还有TogetherROS。升级到2.0版本的TogetherROS引入了更多的算法与应用实例,其中包括了一众因为算力升级而得以实现的复杂算法,比如BEV视觉3D感知、深度学习视觉巡线等等。
为了对机器人应用进行更有针对性的开发,地平线也推出了Node Hub,通过将SLAM、目标检测、定位和自主导航等功能节点化,从而使得不同类型的机器人只需将这些节点串联起来即可完成应用开发,譬如需要SLAM、自主导航和运动控制的物流机器人,或是需要运动规划和目标检测的分拣机器人等等。
AI计算的同时兼顾可靠性与实时性
另一个常常被大家忽略的硬件平台,同样可以助力AI机器人的开发,那就是AMD/赛灵思的Versal AI Edge系列。该系列通过标量引擎、自适应引擎和智能引擎的结合,提供了一个比GPU提供更高AI能耗比的平台。在通用的控制嵌入式计算上,双核Cortex-A72和双核Cortex-R5F足以满足Linux应用和实时控制的需求,而自适应引擎则用于支持各种传感器的融合算法。
其智能引擎由AI引擎和DSP引擎构成,每个AI引擎都由多个引擎块构成2D阵列,而每个引擎块都包含了一个VLIW的单指令多数据向量处理器,主频高达1.3GHz,且专门针对机器学习和高级信号处理进行了优化,足以满足机器人实时控制的低时延。
值得一提的是,AMD提供的这一AI引擎分为两种,一种是同时平衡ML和DSP负载的AIE引擎,一种是专注于ML的AIE-ML引擎,前者的高级信号处理能力更高,而后者的机器学习推理性能更高。这也是为何Versal AI Edge在智能引擎中加入了一个独立的DSP引擎,这样一来无论是机器人AI应用中的深度学习,还是感知计算中的信号处理,都能在单一平台上完成。
不过从用例来看,Versal AI Edge系列还是更适合用于行业级的机器人,诸如工业协作机器人、医用手术机器人等等。这类应用往往需要数量大于消费级机器人的异构传感器输入,且对于预测性维护、远程诊断之类的机器学习应用需求更高。况且从其标量引擎的配置和自适应引擎对TSN网络的支持上来看,也是为了在工业、医疗等环境中实现ROS下最快的响应速度。
写在最后
对于机器人市场来说,追求小型化、低功耗、高算力的AI计算芯片必然是未来几年的大势所趋。与之匹配的电机/电机控制芯片以及传感器,也已经开启了新一轮的技术升级,目标即形成感知层、计算层和执行层的完美融合。单从技术积累来看,自动驾驶芯片厂商很有可能是率先吃到甜头的厂商,但它们不少仍需要更多的精力来接入不同的AI模型,才能跟上新的交互潮流。
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。
举报投诉
-
机器人
+关注
关注
213文章
30580浏览量
219569 -
英伟达
+关注
关注
23文章
4040浏览量
97669 -
AI芯片
+关注
关注
17文章
2063浏览量
36567
发布评论请先 登录
相关推荐
热点推荐
高精度机器人控制的核心——基于 MYD-LT536 开发板的精密运动控制方案
一、背景:机器人迈向“微米级控制时代”
随着智能制造和自动化产业的持续升级,工业机器人不再仅仅承担重复搬运,而是被要求在装配、检测、精密加工等高精度场景中完成微米级
发表于 11-14 15:48
RK3576机器人核心:三屏异显+八路摄像头,重塑机器人交互与感知
?RK3576的强大并非偶然,其架构设计完美契合了现代机器人的核心需求:· 强大的异构计算与AI能力:内置的NPU为机器人的视觉AI算法(如SLAM、行为识别、手势交互)提供了强劲的算
发表于 10-29 16:41
小萝卜机器人的故事
代替,
LED,
有大佬感兴趣,
一起关注和讨论代码,
这个机器人知名度不高,
可是是机器人的原型,
如果开放接口,
定位和无线充电,
也不失为未来的礼物。
让我们为小萝卜工程师的,
自掏腰包救萝卜
发表于 10-23 05:24
蓝思科技:今年承接智元机器人全系列多款人形机器人业务
电子发烧友网综合报道 8月4日,蓝思科技在接受调研时披露公司在人形机器人领域的最新进展。蓝思科技表示,2024年起已为合作伙伴交付数百台整机,今年则承接了智元机器人全系列多款人形
工业机器人的特点
的基础,也是三者的实现终端,智能制造装备产业包括高档数控机床、工业机器人、自动化成套生产线、精密仪器仪表、智能传感器、汽车自动化焊接线、柔性自动化生产线、智能农机、3D 打印机等领域。
发表于 07-26 11:22
新松机器人抢占新能源汽车新蓝海
汽车行业作为工业机器人应用规模最大、技术要求最高的领域之一,既是工业机器人企业的“技术试炼场”,也是市场增长的核心引擎。
大象机器人携手进迭时空推出 RISC-V 全栈开源六轴机械臂产品
识别联调。
进迭时空致力于为智能机器人提供完整全栈优化的RISC-V AI软硬件解决方案,第一代RISC-V AI CPU芯片K1已完成AI视觉感知、
发表于 04-25 17:59
2025的机器人控制芯片,已经发展到何种程度了?
从去年开始,电子工程专辑对机器人的关注度明显增加了:主要是因为这个领域渐有爆发之势。黄仁勋在去年的不止一个场合都说过机器人即将迎来“ChatGPT时刻”,NVIDIA眼中在生成式AI之
《AI Agent 应用与项目实战》阅读心得2——客服机器人、AutoGen框架 、生成式代理
继续分享第2篇阅读心得。
传统客服系统在知识库更新和多轮对话管理方面存在诸多技术瓶颈,本书第3章中提出的AI课程客服机器人架构巧妙地解决了这些问题。该架构采用Replit作为开发环境
发表于 02-25 21:59
【「具身智能机器人系统」阅读体验】2.具身智能机器人的基础模块
具身智能机器人的基础模块,这个是本书的第二部分内容,主要分为四个部分:机器人计算系统,自主机器人的感知系统,自主机器人的定位系统,自主机器人
发表于 01-04 19:22
【「具身智能机器人系统」阅读体验】2.具身智能机器人大模型
引入GPT这样的大模型后,情况发生了根本性的变化。只需提供适当的提示词以及封装好的机器人函数库,大模型便能灵活地生成控制代码,极大地简化了开发过程,并提高了
发表于 12-29 23:04
【「具身智能机器人系统」阅读体验】+数据在具身人工智能中的价值
保守预测的是机器人公司有愿意将每个机器人成本的大约 3% 投入到数据收集和生成中。这项投资旨在开发先进的 EAI 功能,估计 EAI 数据的市场价值超过 10 万亿美元,是互联网行业的三倍。
由此可见
发表于 12-24 00:33
《具身智能机器人系统》第1-6章阅读心得之具身智能机器人系统背景知识与基础模块
要给AI这个聪明的“头脑”装上一副“身体”。这个“身体”可以是一部手机,可以是一台自动驾驶汽车。而人形机器人则是集各类核心尖端技术于一体的载体,是具身智能的代表产品。与传统的软件智能体不同,具身智能
发表于 12-19 22:26

AI自动生成机器人控制代码,新的蓝海赛道已经显现
评论