侵权投诉

CMU研究团队打造出了一款拥有人类「常识」的导航机器人

机器人大讲堂 2020-08-06 15:28 次阅读

想让机器人像人一样思考,似乎一直是个难题。

例如,让智(zhi)能(zhang)机器人去客厅拿个遥控器,结果看到机器人在厨房翻箱倒柜…

好消息是,这个问题现在被CMU解决了。

CMU研究团队打造出了一款拥有人类「常识」的导航机器人,让找东西变得更方便。

这款机器人能利用AI判断家中最可能找到目标物体的地点,从而尽快找到它。

例如,让机器人去拿放在「植物」旁边的遥控器,机器人几乎立即检测出了「植物」盆栽所在的位置,从而检测到遥控器的存在。

项目已被ECCV 2020收录,并获得了居住地目标导航挑战赛的第一名。

一起来看看实现的过程。

让机器人「学点常识」

事实上,以往大部分采用机器学习训练的语义导航机器人,找东西的效果都不太好。

相比于人类潜意识中形成的常识,机器人往往有点“死脑筋”,它们更倾向于去记住目标物体的位置。

但物体所处的场景往往非常复杂,而且彼此间差异很大(正所谓每个人的家,乱得各有章法),如果单纯以大量不同场景对系统进行训练,模型泛化能力都不太好。

于是,相比于用更多的样本对系统进行训练,这次研究者们换了一种思路:

采用半监督学习的方式,使用一种名为semantic curiosity(语义好奇心)的奖励机制对系统进行训练。

训练的核心目的,是让系统基于对语义的「理解」来确定目标物体的最优位置,换而言之,就是让机器人“学点常识”。

举个例子,通过理解冰箱和洗手间的差异,机器人就能搞懂目标物体和房间布局的关系,并计算出最容易找到某个物体的房间。(就像沙发通常会在客厅、而不是在洗手间)

一旦确定了物体最可能出现的地方,机器人就能通过导航,直接去往预计的位置,并快速检测到目标物体的存在,这个过程被称之为探索策略(exploration policy)。

采用Mask RCNN训练探索策略

如下图所示,策略的实现被分成了三步:学习、训练、测试

首先,采用Mask RCNN对图像从上至下进行目标预测,用于训练探索策略,后者负责生成目标检测和场景分割所需的训练数据。

对训练数据进行标记后,数据会被用于微调和评估目标检测及场景分割的效果。

在目标检测的过程中,即使面对某一物体的镜头转360度,机器人也必须将之识别为同一种物体。

这其中最关键的一个步骤,在于构造语义地图。

构造「有魔法的」地图

从下图可见,图像被处理成RGB和Depth两种模式。

其中,RGB图像会通过Mask RCNN网络,用于获得目标分割预测。

而Depth架构,则被用于计算点云,其中的每个点,都会在Mask RCNN的预测结果基础上与语义标签进行关联。

最后,基于几何计算,会在空间中会生成一个三维立体图。

每一个通道用于表示一种物体类别,原本2D的地图就会转变成一个3D的语义地图。

有了语义地图,机器人在移动时也能准确地对3D空间进行目标预测了。

「语义好奇心」奖励机制

不过,这会出现一种情况,如果目标物体在不同的帧上被预测的标签不同,那么语义图中对应这个物体的多个通道都会是1。

如下图,不同的时间,系统预测的目标标签可能并不一样,有时候是床,有时候则变成了沙发。

这就出现了语义好奇心的策略。

论文定义了语义好奇心累计奖励(cumulative semantic curiosity reward),指占语义地图中所有元素总和的比例。

而语义好奇心奖励机制,则采用强化学习的方式,目的是使这个比例最大化。

通过了解物体之间的差异、从而了解房间布局,系统就会逐渐理解房间与物体的联系。

实验结果

事实证明,这种方法非常有效。

机器人在训练过程中,可以专注地去理解目标物体与房间布局的关系,而非不停地进行路径规划。

训练出的机器人,在人机交互方向上变得更加容易操控。

例如,在各种方法下,即使探索区域不及倒数第二和第三种方法,但语义好奇心仍然检测出了相当的目标数量。

这说明它在进行目标检测时,能更专注于所需要探测的物体。

而从下图可见,语义好奇心明显发现了更多其他策略无法发现的物体,这对于检测目标是非常有效的。

在最终的训练结果中,语义好奇心拿到了最高的39.96分。

这个方法,使得人与机器人之间的交互也变得更加容易实现。

原文标题:机器人懂点「常识」后,找东西方便多了:CMU打造新型语义导航AI机器人

文章出处:【微信号:RoboSpeak,微信公众号:机器人大讲堂】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
分享:

评论

相关推荐

人工智能是如何帮助我们摆脱创造性惯性思维的束缚?

2020是个崭新的一年,科技变得越来越先进,人工智能逐渐走进了我们的生活,开始改变着我们的生活。
的头像 如意 发表于 09-26 11:51 97次 阅读
人工智能是如何帮助我们摆脱创造性惯性思维的束缚?

Xilinx公司Versal AI Core系列产品实现突破性的AI推断吞吐量和性能

Victor Peng在中国参加媒体会甚至表示,如果你在一个行业内达到了一种高度,你就有资格玩下一关....
的头像 我快闭嘴 发表于 09-26 11:49 138次 阅读
Xilinx公司Versal AI Core系列产品实现突破性的AI推断吞吐量和性能

阿里首次自动驾驶技术的落地量产面临“挑战”?

阿里巴巴此次推出的小蛮驴机器人,其实按照尺寸和用途归类为物流智能机器人,该机器人的核心技术就是阿里巴....
的头像 lhl545545 发表于 09-26 11:03 143次 阅读
阿里首次自动驾驶技术的落地量产面临“挑战”?

人工智能+医疗机器人发展迅速,医疗服务机器人占比13%

近年来,在数字经济不断推进的大背景下,人工智能发展迅速,并与多种应用场景深度融合,逐渐成为推动经济创....
的头像 牵手一起梦 发表于 09-26 10:47 87次 阅读
人工智能+医疗机器人发展迅速,医疗服务机器人占比13%

Trusple平台正经历以AI技术为核心的第四次工业革命?

作为蚂蚁集团代表性的科技品牌,蚂蚁链已经连续四年全球区块链专利申请第一,携手合作伙伴解决了50多个场....
的头像 lhl545545 发表于 09-26 10:16 580次 阅读
Trusple平台正经历以AI技术为核心的第四次工业革命?

中国移动致力于打造智能化“随愿网络”并将AI引入电信行业

活动上,他还发布了《AI使能自动驾驶网络——华为iMaster NAIE网络人工智能引擎技术白皮书》....
的头像 lhl545545 发表于 09-26 10:05 120次 阅读
中国移动致力于打造智能化“随愿网络”并将AI引入电信行业

华为网络人工智能云地协同加速AI特性规模应用

  “在将AI能力注入电信网络的旅程中我们发现,仅仅讨论算法问题、考虑如何用数学解决业务问题是不够的....
的头像 牵手一起梦 发表于 09-26 10:03 151次 阅读
华为网络人工智能云地协同加速AI特性规模应用

2020年有望成为自动驾驶的爆发拐点

但我们该对自动驾驶彻底悲观吗?当然不是,只是在一部分人眼中,至少在短时间内,自动驾驶若想真正规模落地....
的头像 我快闭嘴 发表于 09-26 10:01 93次 阅读
2020年有望成为自动驾驶的爆发拐点

运营商AI特性规模应用挑战重重,华为发布自动驾驶网络解决方案

2020年9月23日,以“共创行业新价值”为主题的华为全联接2020在上海隆重举办。25日在大会媒体....
的头像 如意 发表于 09-26 09:50 123次 阅读
运营商AI特性规模应用挑战重重,华为发布自动驾驶网络解决方案

大剧院与华为多边合作推进5G智慧剧院建设,加速线下文娱产业向线上转移

此番牵手华为全球首发5G智慧剧院,广州大剧院将进一步将自己的线下体验与华为的线上技术相结合,积极开展....
的头像 lhl545545 发表于 09-26 09:49 80次 阅读
大剧院与华为多边合作推进5G智慧剧院建设,加速线下文娱产业向线上转移

华为发布MDC领域的最新的产品,促进智能驾驶产业健康发展

开放:硬件上遵循业界主流传感器、执行器等标准接口,在软件上通过MDC Core对上层应用开放API。....
的头像 我快闭嘴 发表于 09-26 09:48 323次 阅读
华为发布MDC领域的最新的产品,促进智能驾驶产业健康发展

六轴机器人在进行作业时安全注意事项的说明

1) 作业人员须穿戴工作服、安全帽、安全鞋等。 2) 接通电源时,请确认机器人的动作范围内没有作业人....
发表于 09-26 09:47 34次 阅读
六轴机器人在进行作业时安全注意事项的说明

加速布局IoT生态,OPPO致力打造自在智美生活新体验

如今互联科技正在站上一个新的起点。在5G、AI、大数据、云技术的推动下,人们正在迎来一个由互联走向互....
的头像 lhl545545 发表于 09-26 09:46 51次 阅读
加速布局IoT生态,OPPO致力打造自在智美生活新体验

中国电信与华为将继续携手推进全光网2.0演进

华为光领域首席专家张德江就“光传送产业和技术发展趋势”做了主题报告。他指出,200G将成为全球主流速....
的头像 我快闭嘴 发表于 09-26 09:44 150次 阅读
中国电信与华为将继续携手推进全光网2.0演进

NAIE将携手产业各界,共同打造网络AI商业黑土地

近年来,全球业界各方在网络AI方面纷纷进行积极的探索和实践,经过验证在运维效率、能耗效率、网络资源利....
的头像 我快闭嘴 发表于 09-26 09:38 247次 阅读
NAIE将携手产业各界,共同打造网络AI商业黑土地

人工智能的社会挑战分析

为了减轻偏见,从事人工智能的人员知道如何在选择训练数据时更加严格。在网络安全领域,人们已经承认,尽管....
的头像 我快闭嘴 发表于 09-26 09:31 227次 阅读
人工智能的社会挑战分析

MPC中的数据中台 i-DE Data与MPC中的技术平台 i-DE Tech的区别

·实现业务与数据的闭环:从品牌曝光、营销、转化、交易、服务全场景的业务数据回流,到数据整合加工后的数....
的头像 lhl545545 发表于 09-26 09:31 152次 阅读
MPC中的数据中台 i-DE Data与MPC中的技术平台 i-DE Tech的区别

华为云宣布推出加速行业AI落地的一站式开发平台——ModelArts 3.0

华为云业务总裁郑叶来表示:“经过三年的发展,华为云取得了巨大的进步,已上线210+云服务、210+解....
的头像 lhl545545 发表于 09-26 09:16 307次 阅读
华为云宣布推出加速行业AI落地的一站式开发平台——ModelArts 3.0

AIOps成电信行业智能化方向,华为AIOps服务四大核心价值

  在运维中引入AI,基于算法和机器学习的智能运维(AIOps)被公认为是一个行之有效的解决途径。2....
发表于 09-26 09:12 95次 阅读
AIOps成电信行业智能化方向,华为AIOps服务四大核心价值

旷视科技正式宣布推出“AI加速”计划

21世纪已经迈入第二个十年,人工智能作为新一轮产业变革的核心驱动力,正在推动经济社会各领域从数字化、....
的头像 Megvii旷视科技 发表于 09-25 18:16 255次 阅读
旷视科技正式宣布推出“AI加速”计划

人工智能开源开放与生产力促进平行论坛即将举办

当下,人工智能正成为新一轮科技革命和产业变革的核心驱动力,推动社会走向智能时代。人工智能技术和底层基....
的头像 Megvii旷视科技 发表于 09-25 18:14 191次 阅读
人工智能开源开放与生产力促进平行论坛即将举办

大咖们对开源未来发展趋势的独到见解

9月17日-20日,备受瞩目的2020中关村论坛在北京举办。大会以合作创新共迎挑战为主题,围绕会议+....
的头像 Megvii旷视科技 发表于 09-25 18:12 227次 阅读
大咖们对开源未来发展趋势的独到见解

徐福记与AI擦出了别样的火花!

想到酥心糖、沙琪玛这类糖点 你的第一印象是不是就是徐福记 这个从小陪伴我们的糖点品牌 这一次与AI擦....
的头像 Megvii旷视科技 发表于 09-25 18:09 218次 阅读
徐福记与AI擦出了别样的火花!

云天励飞受荣获2020 AI STAR奖项

8月27-29日,由深圳市福田区人民政府指导、深圳市人工智能行业协会主办的2020深圳(国际)人工智....
的头像 云天励飞资讯 发表于 09-25 17:58 143次 阅读
云天励飞受荣获2020 AI STAR奖项

AI+物流大有可为

旷视2020年中国国际服务贸易交易会科技办会方案牵头方和实施方,全程为大会提供AI服务。 2020年....
的头像 Megvii旷视科技 发表于 09-25 17:58 237次 阅读
AI+物流大有可为

讯飞智能评卷系统批改技术升级!

机器批改作业,大家都知道吧? 讯飞智能评卷系统批改 机器通过扫描识别作业内容或者试卷,系统就可以直接....
的头像 科大讯飞 发表于 09-25 17:55 210次 阅读
讯飞智能评卷系统批改技术升级!

AI改变乡村生活

相信你也知道了,最近我们和新华社一起,干了件大事儿 一台搭载了流动的声音博物馆的人工智能大篷车,将从....
的头像 科大讯飞 发表于 09-25 17:52 201次 阅读
AI改变乡村生活

希望实验室里走出的知存科技的技术能尽快应用落地

9月16日,在由讯飞开放平台、讯飞创投、讯飞研究院联合主办的第二期A.I.创业说上,知存科技创始人兼....
的头像 北京知存科技有限公司 发表于 09-25 17:43 119次 阅读
希望实验室里走出的知存科技的技术能尽快应用落地

基于 ODLA 的异构 AI 硬件对接方案介绍

在刚刚结束的 2020 云栖大会上,阿里云宣布对行业开源业界首个深度学习开放接口标准 ODLA(Op....
的头像 lhl545545 发表于 09-25 17:25 142次 阅读
基于 ODLA 的异构 AI 硬件对接方案介绍

大华股份AI取得KITTI Sceneflow排行榜第一

近日,大华股份基于AI的场景流估计算法和光流估计算法再次取得突破性成果,各项指标再次刷新了KITTI....
的头像 大华股份 发表于 09-25 17:12 208次 阅读
大华股份AI取得KITTI Sceneflow排行榜第一

多模数据库驱动下,助力 AI 逼近“人类智能”?

截至目前,针对海量数据的处理,业内既有的数据产品多只能解决某一类问题,譬如 Hive 应用于结构化数....
的头像 lhl545545 发表于 09-25 17:05 161次 阅读
多模数据库驱动下,助力 AI 逼近“人类智能”?

关于人工智能芯片方面的一些小知识

推理芯片比训练芯片需要更少的研究突破,因为它们比训练芯片需要更少的计算优化。与GPU和FPGA相比,....
的头像 我快闭嘴 发表于 09-25 17:03 261次 阅读
关于人工智能芯片方面的一些小知识

AI依赖人工转向AI自我智能

9月5日,由雷锋网AI掘金志主办的第三届中国人工智能安防峰会在杭州圆满落幕。本届峰会以「洗牌结束 格....
的头像 大华股份 发表于 09-25 16:50 149次 阅读
AI依赖人工转向AI自我智能

大华RPT算法在VOT2020竞赛排名第一!

近日,由计算机视觉顶级会议ECCV联合举办的视觉目标跟踪国际竞赛VOT2020落下帷幕,大华股份基于....
的头像 大华股份 发表于 09-25 16:44 101次 阅读
大华RPT算法在VOT2020竞赛排名第一!

腾讯即将在高新区打造长三角区域首个腾讯数字产业基地

值得注意的是,苏州高新区与腾讯集团正式签订合作协议,腾讯将在高新区打造长三角区域首个腾讯数字产业基地....
的头像 lhl545545 发表于 09-25 16:35 182次 阅读
腾讯即将在高新区打造长三角区域首个腾讯数字产业基地

天机正式发布天机倒挂SCARA SRZ系列 机董事长陈曦等进行揭幕

9月16日,2020中国工博会进入展期第二天,天机于上午1000,在国家会展中心(上海)(展位号:7....
的头像 高工机器人 发表于 09-25 16:33 130次 阅读
天机正式发布天机倒挂SCARA SRZ系列  机董事长陈曦等进行揭幕

勃肯特协作并联机器人新品发布会在工博会8.1H C204全球首发

2020年9月16日11点11分,勃肯特协作并联机器人新品发布会在工博会8.1H C204全球首发。....
的头像 高工机器人 发表于 09-25 16:29 103次 阅读
勃肯特协作并联机器人新品发布会在工博会8.1H C204全球首发

华为升级了智能IP网络的大脑iMaster NCE,构建数字世界的安全空间

传统的IP网络聚焦在流量的增长,不断提升网络的容量来解决问题。在云的时代,IP网络怎么快速入云?怎么....
的头像 lhl545545 发表于 09-25 16:29 146次 阅读
华为升级了智能IP网络的大脑iMaster NCE,构建数字世界的安全空间

海柔创新与SEER联手推出全球首款激光SLAM多层料箱机器人

9月15日,工博会现场,海柔创新与仙工智能(SEER)宣布达成战略合作,并联手重磅推出全球首款激光S....
的头像 高工机器人 发表于 09-25 16:25 72次 阅读
海柔创新与SEER联手推出全球首款激光SLAM多层料箱机器人

华为云联手AppGallery Connect,打造移动应用一站式解决方案

第一、开发者期望有好用的开发工具和一站式的开发流程,帮助他们获得更敏捷的构建能力。第二、开发者需要及....
的头像 lhl545545 发表于 09-25 16:23 190次 阅读
华为云联手AppGallery Connect,打造移动应用一站式解决方案

机器人的易用性达不到要求,客户很难直接上手该怎么办呢

自2012年开始,人口红利逐年减少,工业机器人在解决工业企业劳动力不足、提高工作效率、改进工作质量等....
的头像 高工机器人 发表于 09-25 16:21 73次 阅读
机器人的易用性达不到要求,客户很难直接上手该怎么办呢

华捷艾米评为AI领域的独角兽企业代表

近日,由南昌市人民政府、长城战略咨询联合主办的2020中国潜在独角兽企业研究报告发布会在南昌举行,会....
的头像 AI华捷艾米 发表于 09-25 16:13 167次 阅读
华捷艾米评为AI领域的独角兽企业代表

中国电信加速推进产业转型升级,助力长三角数字经济新业态模式发展

自长三角一体化发展上升为国家战略以来,江苏苏州吴江区成为长三角一体化战略“C位”中的“C位”,汾湖高....
的头像 lhl545545 发表于 09-25 16:06 220次 阅读
中国电信加速推进产业转型升级,助力长三角数字经济新业态模式发展

云与计算生态开发者蓬勃发展,华为云致力成为最佳应用构建平台

当前开发主要基于Full Code模式,要求开发者有很强的编码能力。如何让普通的业务人员也具备开发能....
的头像 牵手一起梦 发表于 09-25 15:55 121次 阅读
云与计算生态开发者蓬勃发展,华为云致力成为最佳应用构建平台

华为OptiXtrans E6600系列:打造城市智能生命体的全光大动脉

华为面向F5G时代的智简全光网解决方案包括“全光数据中心、全光承载、全光园区”三个场景,自发布以来,....
的头像 lhl545545 发表于 09-25 15:52 155次 阅读
华为OptiXtrans E6600系列:打造城市智能生命体的全光大动脉

这三家公司将携手并肩,深耕并联机器人行业

2020年9月18日10:18勃肯特机器人技术有限公司和科控工业自动化设备(上海)有限公司和上海昂敏....
的头像 高工机器人 发表于 09-25 15:50 78次 阅读
这三家公司将携手并肩,深耕并联机器人行业

机器人离线编程技术的最新消息

随着工业机器人行业应用领域的不断扩张,促使机器人行业应用软件的工艺性越来越强,从目前中国工业机器人应....
的头像 高工机器人 发表于 09-25 15:45 91次 阅读
机器人离线编程技术的最新消息

华为通过引入AI打造行业智能化升级解决方案

在技术场景中,华为为智能交互设备的泛在千兆联接,满足超大带宽的实时和低时延回传需求,并通过引入AI,....
的头像 lhl545545 发表于 09-25 15:30 157次 阅读
华为通过引入AI打造行业智能化升级解决方案

有个遥控器 想用单片机模拟 麻烦帮忙看看大概是什么协议

晶振上面写的16.000 芯片是16脚的 上面没有字 电池是cr2032的 求指点! ...
发表于 09-20 12:08 56次 阅读
有个遥控器 想用单片机模拟 麻烦帮忙看看大概是什么协议

ABB机器人控制柜报警相关数据恢复的维修介绍

专业ABB机器人控制柜报警数据恢复维修: 1、刹车检查 正常运行前,需检查电机刹车每个轴的电机 刹车检查方法如下: ...
发表于 09-18 16:56 0次 阅读
ABB机器人控制柜报警相关数据恢复的维修介绍

KUKA库卡机器人伺服驱动器相关型号举例

KUKA库卡机器人伺服驱动器(Servo Drive)是KUKA运动控制的重要组成部分,被普遍应用于工业机器人及数控加工中心等自...
发表于 09-08 16:30 0次 阅读
KUKA库卡机器人伺服驱动器相关型号举例

安川机器人维修保养的相关调试方法介绍

安川机器人维修保养的相关调试方法介绍: 随着技术的发展,各种机械设备被人们不断的研发并投入到使用中,而机械设备在使用...
发表于 09-08 16:15 0次 阅读
安川机器人维修保养的相关调试方法介绍

库卡KUKA机器人四种启动方式介绍

库卡KUKA机器人四种启动方式1)自动运行说明 库卡机器人处于自动运行时,先要在手动状态时候选择需要运行的程序,然后通...
发表于 09-04 15:45 101次 阅读
库卡KUKA机器人四种启动方式介绍

KUKA库卡机器人伺服电机故障维修

      通常情况下,我们所说的机器人伺服系统是指应用于多轴运动控制的精密伺服系统。一个多轴运动控制...
发表于 09-02 14:36 0次 阅读
KUKA库卡机器人伺服电机故障维修

CRP-RH14-10-W焊接的功能特点和应用案例

功能特点· 臂展1.4米。设计高度紧凑,可灵活选择地面安装或倒置安装。 · 工作空间大、运行速度快、重复定位精度高,适用于焊接...
发表于 08-28 10:51 101次 阅读
CRP-RH14-10-W焊接的功能特点和应用案例

Arduino机器人监测系统资料分享!(原理图&程序)

功能模块介绍: Arduino机器人套件,雨滴,下雨传感器,可用于各种天气状况的监测,并转成数字信号和AO输出。 1、传感器采用...
发表于 08-28 10:12 101次 阅读
Arduino机器人监测系统资料分享!(原理图&程序)

Budgee机器人介绍

逛街是一件痛并快乐的事,快乐是因为逛街所带来的满足,但是满足之后问题也随之来了,大包小包的东西要怎么带回去呢,今天,小编...
发表于 08-26 07:26 0次 阅读
Budgee机器人介绍

机器人学习相关资料文档!

分享八本机器人方面的文档,其中包括了算法导论,机器人学导论,机器人技术及应用等多本书籍!喜欢机器人方面的大家一定不要错过...
发表于 08-25 09:46 776次 阅读
机器人学习相关资料文档!