侵权投诉

强化学习新方法,机器人究竟是怎么学习新动作的呢?

天津机器人 2018-04-13 11:00 次阅读

波士顿动力人形机器人的后空翻技能亮相时,惊艳了全球群众。

这么复杂的动作,不用说现实世界中的机器人,就算是在模拟器里,学起来也非常的难。

现在,加州大学伯克利分校和英属哥伦比亚大学最新研究的一种新方法,能教生活在模拟器中的机器人通过模仿人类,学会武打、跑酷、杂技等复杂技能。

后空翻回旋踢什么的,轻轻松松搞定~

(下文还会提到很多次“机器人”,基本都是生活在模拟器里的这种)

让机器人、动画和游戏角色能灵活流畅地运动,是计算机图形学、强化学习、机器人等等领域的研究者都在追求的目标。

不同方法各有所长,当然也各有所短。

用强化学习方法教机器人(模拟器里的智能体),能学会的动作花样繁多,细致到拿东西、豪放到奔跑都能搞定,还可以给机器人设置一个明确的目的。但是,总难免上演一些羞耻或惊喜play。

而动作捕捉技术,能让机器人做出和真人一模一样,自然流畅毫无违和感的动作。但是,活学活用是不能指望的,每个动作、每个形态的机器人,都是需要单独训练的。

伯克利的科学家们取这两个领域所长,创造了一种新方法DeepMimic。这种方法既有深度学习模型的通用性,可以覆盖更多的动作类型和机器人形态,动作的自然流畅程度也可以媲美动作捕捉。

用这种新方法,机器人究竟是怎么学习新动作的呢?

简单来说是通过看动作片段来学习,人类的动作捕捉数据就是个很好的学习资料。给机器人展示一个动作样本,比如说下图这个侧空翻,右侧就是供机器人学习的示范样本。

参与这项研究的科学家们将示范动作分解成一个q^0,q^1,…,q^T的序列,q^T表示的是在机器人在t时间步的目标动作。而这个机器人学习的目标,就是要尽可能消灭t时间步的实际动作qT和目标动作q^T的差距。

机器人勤劳地不停练习练习练习,直到自己的动作不再羞耻,灵活性和仿真度能够媲美演示视频,像上图左侧那样。

指导这个练习过程的,是这样一个奖励函数:

除了空翻,用这种方法教出来的机器人还能学到中西舞蹈、南拳北腿、跑步打把势甚至鲤鱼打挺:

对着完美的动作捕捉样本,再copy一遍,有什么意思?这项研究当然不止于模仿。DeepMimic能让机器人通过模仿学会动作之后,再活学活用起来。

比如当一个机器人学会了投球,就可以去执行一个演示样本中没有的任务。我们可以在模拟器中,指定一个目标让它来投:

训练的机器人,也可以长得和演示样本不太一样。比如说还是用前边的后空翻样本,可以训练一个模拟波士顿动力Altas的机器人:

甚至不是人形的机器人,也可以用人形样本来训练。比如说这头霸王龙,就是跟人形样本学习的走路。在论文的主页上,他们还展示了更多的例子,甚至还有狮子和龙~

原文标题:强化学习新方法,让后空翻回旋踢再也难不倒机器人 | 伯克利论文

文章出处:【微信号:tjrobot,微信公众号:天津机器人】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
分享:

评论

相关推荐

揭秘包装巨头KHS科埃斯是怎样使用工业机器人的

KHS科埃斯在机器人系统应用方面有着25年的成功经验,特别是在其生产线的包装和码垛区段。此类高科技系....
的头像 工业机器人 发表于 10-28 17:05 70次 阅读

类人型AI控制:墨影机器人助力智能制造的新技术

纵观历史,大国博弈不停,方法各样。当下,各大国对智能制造的追求却出奇一致:制造业升级成为战略重心与博....
发表于 10-28 17:04 21次 阅读

NVIDIA发布高性能感知技术的最新项目

自主机器人所面临的关键挑战之一是感知和理解周围的世界。 在 ROS World 2021 上,NVI....
的头像 NVIDIA英伟达企业解决方案 发表于 10-28 15:05 95次 阅读
NVIDIA发布高性能感知技术的最新项目

业内首款融合式仿生事件视觉相机,锐思智芯ALPIX-Pilatus正式发布

锐思智芯(Alpsentek)今日发布业内首款融合仿生事件视觉传感器芯片——ALPIX-Pilatu....
发表于 10-28 15:00 71次 阅读
业内首款融合式仿生事件视觉相机,锐思智芯ALPIX-Pilatus正式发布

NVIDIA为机器人技术的飞跃制定了路线图

Pieter Abbeel 在 NTECH 2021(NVIDIA 年度内部工程会议)上发表了在线演....
的头像 NVIDIA英伟达企业解决方案 发表于 10-28 14:20 106次 阅读

智能化与双碳带动电机产业加速发展,第26届中国电机展创历史新高

已经成功举办了25届的中国电机展以微特电机为特色,覆盖了整个电机产业链和各种创新应用,以及机器人等相....
发表于 10-28 10:28 189次 阅读
智能化与双碳带动电机产业加速发展,第26届中国电机展创历史新高

台积电、英特尔等厂商将向美国提交商业数据

台积电、英特尔等厂商将向美国提交商业数据 据外媒报道,美国商务部发言人称,英特尔、英飞凌、SK海力士....
的头像 电子发烧友网 发表于 10-27 10:44 278次 阅读

探讨一下深度学习在嵌入式设备上的应用

下面来探讨一下深度学习在嵌入式设备上的应用,具体如下:1、深度学习的概念源于人工神经网络的研究,包含多个隐层的多层感知器(...
发表于 10-27 08:02 0次 阅读

竞争赛道加速转换,协作机器人智能化时代来临

前言 近年来,先进制造、智能制造等话题逐渐成为全球的焦点。2021年10月6日,香港特首林郑月娥在《....
发表于 10-26 11:13 196次 阅读
竞争赛道加速转换,协作机器人智能化时代来临

基于msp430f149单片机的可分离的多形态舞蹈机器人设计资料

基于msp430f149单片机的可分离的多形态舞蹈机器人设计资料
发表于 10-25 18:06 9次 阅读

机器人主板需求配置参数的详细介绍

机器人越来越多地成为人类工作和生活的好助手。双赞主板应用的机器人在3C行业、食品制造和医药行业、陶瓷....
的头像 双赞工控 发表于 10-25 17:54 136次 阅读

AGM MCU+FPGA

AG10KSDE176(+ MCU)SDRAM器件 结合了64MBit 32位166MHz SDRA....
发表于 10-25 17:21 11次 阅读
AGM MCU+FPGA

基于msp430单片机的小型货运机器人设计资料

基于msp430单片机的小型货运机器人设计资料
发表于 10-25 16:38 22次 阅读

海柔创新:箱式仓储机器人,为每个物流仓库和工厂创造价值!

电子商务的兴起以及制造业的转型升级,让仓储物流的重要性越发彰显,各行各业对仓储物流的柔性化、智能化需....
发表于 10-25 14:33 1870次 阅读
海柔创新:箱式仓储机器人,为每个物流仓库和工厂创造价值!

每周点评:台积电将向美国提交商业数据;传Intel收购SiFive计划告吹……

台积电将向美国提交商业数据;传Intel收购SiFive计划告吹……
的头像 发表于 10-24 08:00 1054次 阅读
每周点评:台积电将向美国提交商业数据;传Intel收购SiFive计划告吹……

普渡机器人强势入驻匠传点心,引领智慧餐饮新风尚

匠传点心是一家有着30多年历史的深圳高人气粤菜餐厅,主打粤式小吃。作为粤菜的名片之一,匠传点心恰如其....
发表于 10-22 10:07 32次 阅读
普渡机器人强势入驻匠传点心,引领智慧餐饮新风尚

avatarin能够像提供共享电瓶车一样向企业提供机器人

白天,Akira Fukabori 和 Kevin Kajitani 在日本最大的航空控股公司工作;....
的头像 NVIDIA英伟达企业解决方案 发表于 10-22 09:18 236次 阅读

NVIDIA加速虚拟人项目渲染与推理效率

腾讯AI LAB致力于打造产学研用一体的 AI 生态,主要的研究方向包括计算机视觉、语音识别、自然语....
的头像 NVIDIA英伟达企业解决方案 发表于 10-22 09:12 226次 阅读

扫地机器人哪个牌子好?谁是你心中的优质品牌?

经济的发展使得人们的生活质量得到快速的提升,智能小家电进入我们的生活已不再是新鲜事,而扫地机器人也逐....
发表于 10-21 17:33 41次 阅读

华为开发者大会2021年时间及地点

2021年10月22日~24日,华为将在中国松山湖举行2021华为开发者大会,本次大会活动依旧精彩,....
的头像 ss 发表于 10-21 16:43 1002次 阅读

深度学习部分监督的实例分割环境

实例分割的任务是将图像中的像素分组为单个事物的实例,并用类标签(可计数的对象,如人、动物、汽车等,并....
的头像 TensorFlow 发表于 10-21 14:05 217次 阅读

嵌入式培训班有必要吗?

对于很多想要从事嵌入式相关工作的人来说,自学还是参加嵌入式培训班一直都是个大难题,难度不亚于哈姆雷特....
发表于 10-21 13:21 17次 阅读
嵌入式培训班有必要吗?

萌新求助,求机器人编程的案列

萌新求助,求机器人编程的案列
发表于 10-21 07:27 0次 阅读

嵌入式工程师“中年危机”应对策略上

嵌入式工程师”中年危机‘的问题(这是个普遍现象),当然,面向对象不只是程序猿。众所周知,“钱’是个好....
发表于 10-20 20:21 21次 阅读
嵌入式工程师“中年危机”应对策略上

深度学习在嵌入式设备上的应用

下面来探讨一下深度学习在嵌入式设备上的应用,具体如下:1、深度学习的概念源于人工神经网络的研究,包含....
发表于 10-20 17:51 10次 阅读
深度学习在嵌入式设备上的应用

自适应计算在机器人领域的应用:如何借助ROS 2实现基于FPGA的软件定义硬件

“一石激起千层浪”, Kria 的出现,在其所面向的广泛的边缘应用领域引起积极的反响,而机器人应用就....
发表于 10-20 16:36 1139次 阅读

智能扫地机器人哪个牌子好?家庭环境消毒很重要!

万万没想到,疫情这两年最流行的行为是“宅”“戴口罩”和“消毒”,突然爆发的新冠病毒,把我们全都隔离在....
的头像 话说科技 发表于 10-20 16:10 302次 阅读
智能扫地机器人哪个牌子好?家庭环境消毒很重要!

10.19-10.21,普渡机器人与您的秋糖之约

第105届全国糖酒商品交易会(简称“秋糖”)于10月19日至21日在天津国家会展中心召开。本届糖酒会....
发表于 10-20 11:11 37次 阅读
10.19-10.21,普渡机器人与您的秋糖之约

与时俱进华丽转型,UiPath RPA助力上海诺基亚贝尔新启航!

诺基亚贝尔选择了UiPath RPA作为转型的一个抓手,在合作中,UiPath为诺基亚贝尔量身定制了....
的头像 西西 发表于 10-20 10:24 981次 阅读
与时俱进华丽转型,UiPath RPA助力上海诺基亚贝尔新启航!

积极探索、充满想象,移远通信亮相云栖大会

“蚂蚁金融、天猫精灵、菜鸟网络、阿里云等等”,移远通信和阿里巴巴已经在多个重要项目展开了深度合作,强....
发表于 10-20 09:57 879次 阅读
积极探索、充满想象,移远通信亮相云栖大会

极智嘉4大增值服务产品亮相,积极赋能客户高效运营

近期,全球AMR引领者极智嘉(Geek+)宣布,其机器人即服务(RaaS)创新商业模式全面升级,未来....
的头像 话说科技 发表于 10-20 09:52 232次 阅读
极智嘉4大增值服务产品亮相,积极赋能客户高效运营

位置传感器在自动化工业系统中实现新一代实时控制技术

随着工业 4.0 的先进制造工艺席卷全球市场,高度自动化系统的需求急剧增长,这些系统既需要在集成的制....
的头像 德州仪器 发表于 10-20 09:48 259次 阅读

壹沓科技出席IDC数字化转型年度盛典引领赛道实现快速成长

2021年10月14日-15日,此次以“数字焕颜,科技有型”为主题的“2021第六届IDC中国数字化....
的头像 科技见闻网 发表于 10-20 09:06 518次 阅读
壹沓科技出席IDC数字化转型年度盛典引领赛道实现快速成长

嵌入式AI平台介绍

CSDN下载链接:目录1 技术方案 11.1 可选方案 11.1.1 ARM 11.1.2 CPU+....
发表于 10-19 18:33 22次 阅读
嵌入式AI平台介绍

来也科技人机协同中心,衔接人工与RPA+AI机器人的协同工作

数字化时代,需要的是开拓,而不是因循守旧。近年来,医疗领域出现了慢性病患者群体增长、优质医疗资源紧缺....
的头像 话说科技 发表于 10-19 17:57 461次 阅读

VisionPro Deep Learning帮助软包锂电池实现外观检测自动化

VisionPro Deep Learning基于大量图片建立了高精度的神经网络模型,大大缩短了同类....
发表于 10-19 15:52 734次 阅读
VisionPro Deep Learning帮助软包锂电池实现外观检测自动化

智能扫地机器人哪个牌子好?这份不踩坑选购攻略请收好

说起扫地机器人绝对算是口碑两级分化的家用小电器,夸它的说是懒人必备的清洁神器,骂它的说完全是智障到处....
的头像 话说科技 发表于 10-19 15:32 1050次 阅读

连续四年,销量第一!玻妞擦窗机持续领跑行业

在市场经济快速膨胀的泡沫与垂直领域新机遇并存的大环境下,如何切中行业痛点,向购买者转型是一个摆在企业....
发表于 10-19 11:05 37次 阅读
连续四年,销量第一!玻妞擦窗机持续领跑行业

人工智能如何影响工业物联网

■ 或许这就是为什么在没有IIoT提供关键帮助的情况下,企业很难在工业4.0带来的大规模数字转型中能....
的头像 贸泽电子 发表于 10-19 10:31 1504次 阅读

雷诺汽车使用深度学习网络估计 NOx 排放量

雷诺汽车构建并训练了一个长短期记忆 (LSTM) 网络,该网络预测 NOx 水平的准确率达到了 85....
的头像 MATLAB 发表于 10-19 10:12 287次 阅读

阿童木机器人:中国完全有机会诞生世界级的并联机器人本体公司

9月28日,OFweek 2021中国智能制造数字化转型峰会暨维科杯工业自动化及数字化行业年度评选颁....
发表于 10-18 16:23 4086次 阅读
阿童木机器人:中国完全有机会诞生世界级的并联机器人本体公司

共探智能机器人产业发展,贸泽电子第二期技术创新主题周即将开启

贸泽电子 宣布将于10月27 - 29日举办“2021贸泽电子技术创新周”第二期智能机器人专题在线活....
发表于 10-18 15:43 1445次 阅读
共探智能机器人产业发展,贸泽电子第二期技术创新主题周即将开启

安森美将在中国国际物联网展展示先进的工业方案

安森美展台将展示最近发布的230万像素CMOS图像传感器AR0234CS,该传感器具有高动态范围和创....
发表于 10-18 14:39 836次 阅读

工厂车间智能巡检机器人加速科学化安全巡检

传统的工厂系统安全巡检工作主要是通过安检员的定期巡查和上级督查部门的不定期抽查两种方式:在巡查地点或....
发表于 10-18 14:27 45次 阅读

墨影科技单/双臂移动协作机器人 诠释全新一代机器人

随着时代发展,制造业进一步向着敏捷制造、柔性制造、精益制造的方向发展,工业机器人进行更新升级成为行业....
的头像 移动协作机器人 发表于 10-15 17:51 260次 阅读
墨影科技单/双臂移动协作机器人 诠释全新一代机器人

电子行业B2B数字化升级, 腾采通先行

以往,在数以亿计的电子元器件中快速找到想要的型号,如同大海捞针一般。直到一款B2B交易型SaaS(S....
发表于 10-15 15:49 1345次 阅读
电子行业B2B数字化升级, 腾采通先行

越疆科技发布首款自研遥操作机器人,突破人机协作新高度!

越疆遥操作系统 Matrix.OS 由操作端、障碍段、远程端三部分构成,通过力反馈主手及计算机进行感....
发表于 10-15 15:26 2127次 阅读
越疆科技发布首款自研遥操作机器人,突破人机协作新高度!

国辰机器人与您相约第二届电力人工智能大会

2021年10月19日-20日,第二届电力人工智能大会暨2021发电人工智能及数字化转型技术交流会将....
发表于 10-15 15:03 910次 阅读

AI安防巡逻机器人是什么,有哪些功能

随着机器人产业持续升温,中国机器人市场需求不断扩大,AI安防巡逻机器人逐渐走进人们的视野中。近些年来....
发表于 10-14 16:44 110次 阅读

多关节四轴机器人码垛机的详细介绍

多关节四轴机器人码垛机是腾阳为生产线后端包装码垛研发的机器人码垛系统,该码垛系统硬件与专门控制软件相....
发表于 10-14 14:54 61次 阅读

基于 ATMega328p-PU 的迷你平衡机器人设计

互联网上已经有很多平衡机器人项目,但我也想制作一个。更具体的说,我想要做一个迷你平衡机器人。 机器人应该从带有蓝牙连接...
发表于 10-14 13:47 3333次 阅读
基于 ATMega328p-PU 的迷你平衡机器人设计

华为5G+TSN智能仓储物流系统助力工业OT网端到端网络高稳定性

近日,PT EXPOCHINA(中国(北京)国际信息通信展览会)在北京召开。中国移动联合华为、固高科....
的头像 华为云核心网 发表于 10-14 11:44 1577次 阅读

共同解锁每年价值550亿美元的财富密码

UiPath客户使用RPA软件所带来的全球经济预期效益将以极快的速度增长,将从2021年的70亿美元....
的头像 西西 发表于 10-14 10:38 1639次 阅读
共同解锁每年价值550亿美元的财富密码

怎样去设计一种基于STM32的负压式玻璃清洗机器人呢

怎样去设计一种基于STM32的负压式玻璃清洗机器人呢?有哪些操作流程?...
发表于 10-14 08:47 0次 阅读

机器人上到底用什么电机好?

直流电机如何实现驱动控制? 机器人上到底用什么电机好? ...
发表于 10-13 07:43 0次 阅读

什么是机器人控制系统

什么是机器人控制系统? 机器人的运动控制系统包含哪些方面? 机器人控制系统的基本功能有哪些? ...
发表于 10-11 09:38 0次 阅读

机器人的优缺点有哪些

机器人的优缺点有哪些? 机器人是由哪些部分组成的? ...
发表于 10-11 07:51 0次 阅读

移动机器人超声波测距功能设计

1 引言 在项目开发中采用从英国进口的SRF05 超声波传感器,它的回波反馈与测距方式与通常使用的超声波传感器相比较特别, 在...
发表于 10-08 09:41 707次 阅读

TwinCAT有哪几个安装级别

TwinCAT有哪几个安装级别?TwinCAT的几个安装级别分别表示什么意思?...
发表于 10-08 09:14 0次 阅读

如何对采集机器人的关节位置及TCP位置进行虚拟仿真

如何对采集机器人的关节位置及TCP位置进行虚拟仿真? ...
发表于 10-08 06:31 0次 阅读