0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

用视觉传感器代替触觉?华为天才少年稚晖君首个机器人登场!感知+AI创造未来!

传感器专家网 来源:传感器专家网 作者:传感器专家网 2023-08-21 17:21 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

就在今天(8月18日)上午10:10,“野生钢铁侠”、“华为天才少年”、“年薪百万离职创业”——头戴这些传奇光环的稚晖君,带来了其创业以来的产品首秀。 而这离稚晖君从华为“出走”仅6个月,造出人行机器人——智元具身智能机器人 “远征 A1”。据介绍,智能机器人 “远征 A1”融合了各种先进的本体控制、感知、认知和决策智能技术,基于当前 AI 领域非常前沿的大语言模型,以及其自研的视觉控制模型等一系列创新技术,将拥有出色的智能交互和任务执行能力,未来甚至能帮我们搬砖、打螺丝、当保姆、搞科研…… 从本次发布会上,我们也能窥视到天才少年稚晖君认为的未来智能,除了拥有AI人工智能的思维能力外,感知能力也是重要的一环——此前其设计的“自动”自行车、智能键盘、自平衡机器人等等均内置了大量的传感器,许多功能依赖于这些传感器进行开发。 值得一提的是,在智能机器人 “远征 A1”上,稚晖君创意地将视觉传感器应用于灵巧手(机器手)实现触觉的压力传感器效果——某方面上这显示了目前柔性传感器技术的滞后以及对柔性传感器的强烈需求。 下文,我们来看看稚晖君的第一个人形机器人有什么功能?搭载了什么传感器?怎么用视觉传感器代替触觉压力传感器?

作者:Sophia

物联网智库整理发布(部分内容有删改)

远征A1能做什么?首先,我们先来看看远征A1长得咋样? 远征A1是一台具有完整人类造型的人形双足机器人。从现场演示来看,远征A1走路的速度并不快,跟小米的“铁大”较为接近,其走路的状态还是比较稳的,不过步幅比较小。

根据现场视频,远征A1可以在汽车产线中从事地盘装配、外观检测。

还可以在工厂中进行3C产品的组装装配、物料搬运,在生化实验室中帮助研究员进行样本制备、样本增扩。

在家庭场景中,远征A1甚至可以在烹饪场景中磕鸡蛋。

还能照顾老人、帮助老人吃药,还能帮孩子辅导功课。

值得一提的是,虽然发布会上提到了各种炫酷能力,但在今天的发布会现场,稚晖君并没有对这些功能进行演示。

这场发布会,也是稚晖君创业公司——智元机器人(Agibot)品牌的首次对外露出。

085c0e36-4004-11ee-852b-dac502259ad0.png

为什么要用这个名字?因为“智”代表人工智能,“元”则是下方有两条腿的人的象形,其英文名Agibot是通用人工智能机器人的意思。

所以,智元机器人(Agibot)这家公司的初心&使命就是“创造出和人一样灵活以及智能的机器人,让智能机器创造无限生产力”,最终推动人类整个社会迈向一个更加智能、高效和可持续的未来。

“远征 A1”到底有多牛?指尖视觉传感器能识别压力?RGBD相机、激光雷达、IMU等传感器各显神通

网上有个经典的AI段子,如下图所示:

088ad48c-4004-11ee-852b-dac502259ad0.png


我们想让AI做饭、打扫房间、洗衣服晾衣服晒衣服、扔垃圾、铲屎等,但是AI实际在做的事却是聊天、绘画、写作、作曲和游戏等等……

要想让机器人真正去做图上左边的事情,必须实现AI和机器人技术更深层次的结合,这涉及到对环境的理解、上下文的推理、物体识别、运动规划等一系列复杂的技术挑战——这并不是一个硬件或者软件的问题,它是一个系统性的软硬件算法各方面综合的协同问题。

为此,智元团队在软件和硬件方面都取得了阶段性的进展。

人形机器人本体技术

首先来看硬件部分,也就是人形机器人本体技术。

08b47c42-4004-11ee-852b-dac502259ad0.png

为什么是人形?

答案其实很简单,因为人类生活的整个物理世界就是为人的形态而设计的,包括各种场景、任务、设备、工具都是为人类量身打造的,所以人形的身体结构和能力显然可以帮助机器人更好地融入人类生活的环境。

当然,稚晖君也承认——

人形并不是通用机器人唯一的解决方案,在一些特定的结构化场景中,可能其他平台的机器人会有更高的效率和可用性,所以他们也对机器人本体进行了各种模块化的设计。

但长远来看,从第一性原理出发,稚晖君的团队还是认为人形机器人是在人类环境中最为通用的一种形态,也是未来可以走进千家万户,有希望进入大家生活中的最终的终极形态。

为了实现机器人流畅的基础行走能力和上下协同能力,在本体硬件设计方面,智元团队在机器人全身搭载了包括谐波一体关节、直线推杆、无刷行星伺服、空心杯电机等在内一共49个自由度,各类的执行器。

08ee9328-4004-11ee-852b-dac502259ad0.png

一台行动非常精准灵敏的机器人,它的关节需要具备一系列特征:体积小、重量轻、功率密度足够高、能量利用效率足够高、高响应带宽、耐冲击等等…..

然后再结合机器人整机结构设计和控制系统的最优设计,才能保障其执行的高效。

所以这个核心关节它不仅是让人形机器人更加灵活,更加自由的关键,那也同时也是未来智元想要实现规模量产化,实现低成本制造的重要门槛之一。

为此,智元团队自研设计了名为PowerFlow的专用关节,重量仅为1.6kg,小小的体积下集成了液冷循环散热系统,峰值扭矩可达350Nm。

0949c176-4004-11ee-852b-dac502259ad0.png

另外一个非常重要的核心零部件就是零巧手。

智元团队自研了高自由度的灵巧手,目前拥有12个主动自由度和5个被动自由度,而且所有驱动都是内置的,成本却可以低至1万元以内。

同时,因为A1机器人应用将瞄准一些非常精密的操作场景,所以该款灵巧手的指尖也集成了基于视觉的指尖传感器,可以分辨操作物的颜色、形状,甚至材质,而且可以基于各种算法的数据融合,去做到近似触觉压力传感器的感知效果。

09718094-4004-11ee-852b-dac502259ad0.png

除了这两个核心零部件之外,远征A1的AI算力达到了200TOPS,搭载了RGBD相机、激光雷达、IMU等传感器,在智能方面则支持多模态感知、少样本学习、任务闭环、强人机交互等能力和特性。

09a951a4-4004-11ee-852b-dac502259ad0.png

有了非常良好的硬件平台作为基础,运控算法也是非常核心的关键。据稚晖君介绍,在短短几个月的研发实践中,其团队已经快速迭代了三版运控算法,可以说其已经拥有目前业界一梯队的最核心的算法研发能力。

09fe9588-4004-11ee-852b-dac502259ad0.png

为了让远征AI具备真正落地的可能,智元团队希望未来将整个机器人硬件成本控制在20万元人民币以内,也不知手握擎天柱机器人的马斯克慌不慌。

具身智能技术

机器人要想低成本的量产并产生实际应用价值,硬件本体只是前置条件,更重要的则是机器人的AI大脑,也就是软件部分。

0a6b746e-4004-11ee-852b-dac502259ad0.png

近年来,随着大语言模型技术的飞速发展,稚晖君认为让机器人自主去感知环境,理解任务动作编排,自主地去完成一整套流程已经成为了可能。

0a8f918c-4004-11ee-852b-dac502259ad0.png

在智元团队看来,大模型在机器人领域运用最大的价值体现在两点:

第一点是“庞大的先验知识库&强大的通识理解能力”。

举例而言,当我们需要让机器人把桌子上的垃圾扔到旁边的垃圾桶里,我们不再需要去告诉他垃圾是啥,垃圾桶是啥。所有的这些数据,都是预训练的 GPT 模型从海量物联网数据中已经学到的概念,所以大模型的出现可以使得机器人把原有的能力更好地泛化到它没有见过的场景中。

0ae43fe8-4004-11ee-852b-dac502259ad0.png

第二点是“复杂语义多级推理能力,所谓的思维链”。

如下图所示,如果我们需要指令机器人将“蓝色的方块放在红色方块下面”,那么机器人就得理解重力是怎么回事,因为东西不会飘在空中,他要怎么进行一个多级的操作来完成这样一个复杂的任务?

所以在大模型时代到来之前,机器人都是专用设备,我们需要针对性地对每一个任务进行调试和部署,而如今利用大模型的各种通识能力和举一反三的推理能力,我们可以看到解决这些问题,最终走向通用机器人的一道曙光。

0b3ac426-4004-11ee-852b-dac502259ad0.png

基于此,智元设置了“具身智脑”EI-Brain框架,把机器人的思维系统分为四个层级,分别是云端超脑、大脑、小脑和脑干。

0b6b024e-4004-11ee-852b-dac502259ad0.png

0ba067d6-4004-11ee-852b-dac502259ad0.png

讲完技术后,稚晖君也用一段视频展示了人形机器人在各个场景里面应用的无限潜力。


据悉,“远征A1”将首先用于新能源制造、3C制造,目前已经与头部企业进行对接。但具体品牌名,尚未透露。

“天才少年”离职创业史,自动平衡自行车火遍全网,搭载多种传感器模块

公开资料显示:稚晖君,真名彭志辉,2018年毕业于电子科技大学信通学院。

0c48ba8a-4004-11ee-852b-dac502259ad0.jpg

2018年毕业后,他曾就职于OPPO研究院AI实验室担任算法工程师,后受邀通过天才少年计划加入华为,从事昇腾AI芯片和AI算法相关研究工作,年薪百万。

能加入“华为天才少年计划”,就已经很能说明其实力之牛了。该计划对申请者具有极高的要求:国际顶刊论文发表数量及引用量丰富者;研究方向有出色及丰富的商业化成果;有知名赛事名次者优先。与之相对的招聘流程亦非常严格,一般需要经历7轮左右流程,最终还要通过华为总裁的面试。

与其他那些神秘天才不同,稚晖君是一位活跃于网络的大V,他所做的许多研究也都公布在了网上,相信不少科技爱好者都在B站上刷到过他的视频。

比如这辆硬核自行车,它不但能够自己稳稳站立,还能够自动行走、躲避障碍物,甚至还能自己拐弯……

0c6653a6-4004-11ee-852b-dac502259ad0.gif

0e85caf4-4004-11ee-852b-dac502259ad0.gif

据网传硬件清单中,这台自动自行车集成了陀螺仪加速度计模块、超声波模块、距离传感器、摄像头 Motion Sensor(红外传感器)等多种传感器模块,以实现各种自平衡等各种功能。

0f7f4b4c-4004-11ee-852b-dac502259ad0.png

还有这台钢铁侠的机械臂,稚晖君远程操控其为一颗破口葡萄缝针,葡萄未被机械臂损坏。

0fa1d266-4004-11ee-852b-dac502259ad0.gif

在“葡萄包扎术”后,原本裂开小口的它,变成了这个样子:

13ff390c-4004-11ee-852b-dac502259ad0.gif

以及稚晖君“鸽”到今年4月在B站分享自制的“轮足”机器人哪吒,简直就是“国风神话”和“赛博机械”的组合~

14b749fc-4004-11ee-852b-dac502259ad0.gif

网友惊叹稚晖君的恐怖之处在于:一个人完成了所有细节,建模,算法,电路设计,驱动设计,APP开发,知识储备量和动手实践能力恐怖如斯!

完成了许多创举的稚晖君本身则比较谦虚,他自己在很多采访里都表达过“我觉得我既不是天才,也已经不是少年了”,自己只是个很爱折腾的极客而已。

去年12月,稚晖君正式确认离开华为,表示自己接下来会开启一段新的事业。虽然华为内部也曾挽留,但显然这种级别的天才是很难在大厂做一颗“螺丝钉”的。

151740b4-4004-11ee-852b-dac502259ad0.png

今年2月,稚晖君的创业公司智元机器人(Agibot)正式成立。

据悉,智元机器人(Agibot)是一家专注于发展通用人形机器人和具身智能的公司,致力于以A1和机器人的深度融合,长期投入打造有竞争力的机器人产品和生态。

截至目前,智元机器人(Agibot)已经完成了第三轮融资,市场估值被曝在十几亿美元左右。

15a04aa8-4004-11ee-852b-dac502259ad0.jpg

几个月前,稚晖君也在微博上发了招聘贴,表示人工智能正在迎来新一轮产业剧变,往AGI圣杯的方向加速迈进,LLM+Robotics的组合已是必然趋势,机器人将在不久的未来迎来应用场景爆发的拐点,希望更多人加入他们这个年轻的团队,一起拥抱AI世界的星辰大海。

15be6cfe-4004-11ee-852b-dac502259ad0.png

具身人形机器人才是未来?

就今天发布的新品来看,稚晖君选择的方向是具身人形机器人。

所谓具身智能,就是Embodied Intelligence,简称EI,图灵于1950年在论文《Computing Machinery and Intelligence》中第一次提出这一概念。具身智能可以让机器像人一样能和环境交互感知,自主规划、决策、行动,并具备执行能力,也被认为是AI的终极形态。

知名美籍华裔人工智能学者李飞飞曾经直言,具身智能将会成为AI领域的下一个“北极星问题”之一。而英伟达首席执行官黄仁勋也表达过类似的观点,称“AI的下一个浪潮将是具身智能”。

就在今年7月,李飞飞带队的项目组,发布了一项最新的“具身智能”成果——VoxPoser。

15f2c49a-4004-11ee-852b-dac502259ad0.png

其原理就是使用者给定执行具体需求的自然语言指令,以及环境信息(通过相机采集的RGB-D的图像),然后,LLM(Large Language Model,大语言模型)将根据以上信息生成与VLM(Visual Language Model,视觉-语言模型)交互的代码。

1625322c-4004-11ee-852b-dac502259ad0.png

基于这一系列操作,系统会自动生成相应的供机器人进行空间感知的“3D Value Map”(3D值图)。它会“告诉”机器人自己在哪里、目标在哪里。

这一成果的最大亮点在于——整个机器人训练过程是不需要进行任何额外的数据投喂和预训练的。换而言之,目前机器人训练所需要进行的预定义训练、大规模数据缺失等问题,在这里统统不存在。

正是因为具备上述能力,机器人只要符合相关流程,也基本能够完成任何给定任务。

关于VoxPoser这项成果,可以说又是人工智能领域和机器人领域融合的一个新的里程碑!

而在机器人形态方面,智元团队也认可人形机器人才是终极目标。

我们熟悉的马斯克就是人形机器人的忠实拥趸。

1666bb16-4004-11ee-852b-dac502259ad0.gif

在前不久的二季度业绩说明会上,特斯拉CEO埃隆·马斯克公布了备受关注的特斯拉人形机器人Optimus的最新进展。马斯克表示,特斯拉已经生产了10台人形机器人。预计在今年11月份进行行走测试,计划明年在特斯拉工厂进行实用性测试。

除了特斯拉,小米也研发了其首个全尺寸人形仿生机器人“CyberOne”,中文名“铁大”。整机高为1.77米,重量为52KG,跟正常的成人一般大小。

177b32ca-4004-11ee-852b-dac502259ad0.png

据雷军介绍,“铁大”拥有和人类一样的高智商,它能感知45种人类语义情绪,分辨85种环境语义。“铁大”采用了小米全自研全身控制算法,协调运动21个关节自由度,全身5种关节驱动,峰值扭矩可达300Nm;在视觉方面,通过Mi Sense视觉空间系统加持,“铁大”具备三维重建真实世界的能力。

不久前的WRC 2023上,知名机器人公司优必选则对外发布了人形机器人智能多模态交互系统,这是一个集人机交互、指令理解、自主规划、任务执行等技术于一体的智能系统。

优必选科技在展台上还展示了熊猫机器人优悠和Walker X,它们都是刚从成都大运会闭幕式赶赴北京的骑过平衡车的大型人形机器人。

17b7b09c-4004-11ee-852b-dac502259ad0.png


总体来看,人形机器人已经站上了风口。未来,具身智能+人形将成为一个大杀器。

写在最后

发布会的最后,稚晖君通过一段视频展示了智元这个富有活力的团队~

17f8ce4c-4004-11ee-852b-dac502259ad0.gif

1834634e-4004-11ee-852b-dac502259ad0.gif

185cc032-4004-11ee-852b-dac502259ad0.gif

1a061f46-4004-11ee-852b-dac502259ad0.gif

创业维艰,但是热爱的热情似乎可以克服一切阻力。

在谈到自己的梦想时,稚晖君说道:

“我的梦想之一,就是希望有一天能够让科幻电影里的智能机器人真正变为现实,这些机器人不再是简单的机械装置,而是拥有自主思考能力和学习能力的伙伴,能够感知和理解我们的世界,然后与我们进行深入的沟通和合作。”

致敬每一个追梦人

也期待未来远征AI的更多惊喜!

您对本文有什么看法?欢迎在传感器专家网公众号本内容底下留言讨论,或在中国最大的传感社区:传感交流圈中进行交流。

您对本文有什么看法?欢迎留言分享!

顺手转发&点击在看,将中国传感产业动态传递给更多人了解!

审核编辑 黄宇

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 机器人
    +关注

    关注

    213

    文章

    31514

    浏览量

    223900
  • AI
    AI
    +关注

    关注

    91

    文章

    41429

    浏览量

    302759
  • 视觉传感器
    +关注

    关注

    3

    文章

    279

    浏览量

    23920
  • 稚晖君
    +关注

    关注

    7

    文章

    41

    浏览量

    6598
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    六维力传感器:当机器人拥有“真实触觉”,未来会发生什么?

    的“触觉神经”。虽然不起眼,但它正在悄悄改变智能制造和机器人共处的未来。 六维力传感器是什么? 简单说,六维力
    发表于 04-29 16:29

    为什么说关节扭矩传感器是高端机器人的“触觉神经”?

    如果把高端机器人比作一个“”,那么关节扭矩传感器就是遍布全身的“触觉神经”。没有它,机器人就像得了末梢神经麻痹——能按程序动,却感受不到外
    发表于 04-17 17:27

    为何你的机器人手臂“知觉”存在偏差?探秘力传感器的奥秘

    ,甚至安装时的小角度偏差都算出来,最后实现精准的重力补偿,让传感器只反馈我们关心的“外部力”。整个过程不需要啥昂贵的校准设备,核心就是数学和编程。我会尽量大白话把原理说透,再附上能直接运行的Python代码。不管你是学机器人
    发表于 04-13 15:25

    广州团队研制出机器人触觉皮肤”

    机器人的发展日新月异,广州团队研制出机器人触觉皮肤”!广州团队研制的亚毫米级双模态触觉传感器阵列,是
    的头像 发表于 03-11 15:43 2665次阅读

    再谈低温烧结银的应用:从春晚四家机器人出镜的幕后推手说起

    ,完成翻跟头、脖子延伸、互动接梗,强调关节灵活+低功率+长期稳定。 银河通用:《我最难忘的今宵》:Galbot G1具身智能,自主决策、精细操作,依赖AI芯片+传感器+高效互连。 2机器人动得稳、准、快
    发表于 02-17 14:07

    安森美传感器芯片创新突破机器人感知边界

    随着机器人技术从工业自动化向服务、医疗、特种作业等多领域深度渗透,传感器作为机器人的“感知器官”,其性能直接决定了机器人的环境认知、精准控制
    的头像 发表于 01-22 09:43 1717次阅读

    西湖大学:研发CMOS兼容压力传感器阵列,实现精准触觉感知功能

    人类指尖分布着高密度的触觉感受器使得人类能够精确感知物体的纹理、大小和形状等触觉信息。近年来,人工电子皮肤(触觉传感器阵列)在
    的头像 发表于 12-30 18:16 577次阅读
    西湖大学:研发CMOS兼容压力<b class='flag-5'>传感器</b>阵列,实现精准<b class='flag-5'>触觉</b><b class='flag-5'>感知</b>功能

    2026电子皮肤赋能具身智能机器人专题论坛即将召开,共同探索触觉感知未来

    仿生触觉,开启机器人感知新时代   电子皮肤,是一种柔性的、可拉伸的集成传感器网络,能够模拟人类皮肤的压力、温度、湿度等感知功能。近年来,随
    的头像 发表于 12-29 18:49 1391次阅读
    2026电子皮肤赋能具身智能<b class='flag-5'>机器人</b>专题论坛即将召开,共同探索<b class='flag-5'>触觉</b><b class='flag-5'>感知</b>新<b class='flag-5'>未来</b>

    RK3576机器人核心:三屏异显+八路摄像头,重塑机器人交互与感知

    、远程作业机器人、特种检测机器人· 多摄像头输入:通过多路摄像头无死角监控作业现场,实现精准操作与安全监控。· 多屏显示:将不同视角的画面、传感器数据、控制界面分别显示,帮助操作员远程精准控制。高端服务
    发表于 10-29 16:41

    进入多模态时代!测量采样频率升至1000Hz,三大机器人触觉传感器新品发布

    电子发烧友网报道(文/莫婷婷)在机器人技术飞速发展的今天,触觉传感器作为机器人感知系统的核心组件,正扮演着越来越重要的角色。根据兴业证券的报
    的头像 发表于 10-28 10:22 7043次阅读
    进入多模态时代!测量采样频率升至1000Hz,三大<b class='flag-5'>机器人</b><b class='flag-5'>触觉</b><b class='flag-5'>传感器</b>新品发布

    人形机器人传感器产业链最新分析:力、触觉、IMU、视觉传感器为主流!(全面)

    环境的视觉触觉、力觉,到维持自身平衡与定位的惯性测量等,各类传感器的性能与技术进步直接决定了人形机器人的智能化水平与应用场景拓展能力。当前,人形
    的头像 发表于 10-11 18:38 16.8w次阅读
    人形<b class='flag-5'>机器人</b><b class='flag-5'>传感器</b>产业链最新分析:力、<b class='flag-5'>触觉</b>、IMU、<b class='flag-5'>视觉</b><b class='flag-5'>传感器</b>为主流!(全面)

    【「AI芯片:科技探索与AGI愿景」阅读体验】+具身智能芯片

    控制等。 具身智能常见的感知模块往往被称为智能传感器,就是在原有的传感器上加入一定的AI功能,从而可以模拟人类的5种基本感觉:
    发表于 09-18 11:45

    机器人竞技幕后:磁传感器芯片激活 “精准感知力”

    机器人获得更接近人类的触觉反馈。 赛事首席技术官王博士表示:“当机器人开始‘感知’而非‘计算’环境时,真正的智能化竞技时代才算到来。” 未来
    发表于 08-26 10:02

    0.01°微小变化精准捕捉,机器人姿态传感器革新

    119亿元,2024年到2030年的复合年增长率达60%。   人形机器人应用到的传感器种类众多,可以用于视觉、听觉、嗅觉、力觉、触觉、位置与运动等方面。大致可以分为两类,一类是外部
    的头像 发表于 07-12 01:12 7442次阅读
    0.01°微小变化精准捕捉,<b class='flag-5'>机器人</b>姿态<b class='flag-5'>传感器</b>革新

    华为发布天才少年挑战课题发布 五大主题方向课题放榜

    华为正式发布了天才少年挑战课题,诚挚邀请全球的青年才俊前来揭榜。这些挑战课题覆盖了智能联接与计算、基础研究与创新、智能终端、云计算以及智能汽车等多个前沿领域,旨在推动技术进步与创新。 ‌揭榜领域
    的头像 发表于 06-16 19:23 1310次阅读