电子发烧友网 > 机器人 > 正文

关于机器人智能抓取AI+Grasp的技术分析

2020年04月03日 10:36 次阅读

(文章来源:激光天地)

抓取规划问题是指确定物体与手指间的一系列接触位置,使得手指能抵抗任意外力且灵活操作物体的能力。传统的基于分析的抓取规划需要根据已知的被抓物体模型根据力闭合的条件判断抓取的好,这种方法只适合对已知的物体进行抓取。然而日常生活中有很多相似物体,没有必要为每一个物体都建立精确的模型,因此可以用相似性匹配的方法解决这类物体的抓取。随着人工智能的发展,人工神经网络可以从大量的已知物体的抓取中提取出有用的抓取基元,从而实现对未知物体的抓取。这样做的好处是不必为每个被抓物体建立几何模型,让机器人智能抓取操作物体。

美国加州大学伯克利分校提出了利用大量的物体三维模型和分析的方法生成抓取数据集,并利用深度图和卷积神经网络(CNN)对抓取进行分类 [2]。他们首先把抓取简化为一个从上至下的夹取(top-down grasp),根据输入的点云生成上百个成对的抓取候选,再利用CNN对候选抓取进行快速评分,从而得到最好的抓取。与之前的基于数据的抓取不同的是,他们没有使用费时费力的人工标定抓取的方式或机器人随机抓取来采集数据集,而是利用力闭合的原理通过分析的方式计算出抓取的好坏(是否力闭合)。这样的好处是可以低成本的生成大量的数据集。

美国西北大学进一步使用点云在不同方向的投影作为人工神经网络的输入对抓取进行评分并把抓取数据集扩展到6D位姿抓取。利用点云的好处是可以让网络得到更丰富的信息。不同于Dex-Net,这个工作使用的是6D抓取位姿作为抓取的表示。在生成抓取候选上,该文使用了一些设计好的策略。这个策略基于物体的曲面形状。首先随机在物体表面采样一点,以这个点所在的曲面法向作为抓取候选的朝向,“主成分”方向作为两个夹爪连线的方向。并通过基于该抓取的旋转和平移扩充抓取候选的个数。通过这种采样方式,可以增加抓取候选中好抓取的比例。经过CNN对抓取候选的分类后,最高可达93%抓取成功率。

进一步,德国汉堡大学张建伟教授团队和清华大学孙富春教授团队共同提出了对上述工作的改进[4]。对于数据集的生成,通过在给抓取打分时不断调整夹爪和物体之间的摩擦系数得到一个更细化的抓取分数(摩擦系数越小,抓取分数越高)。这样的数据集可以得到一个带分数的抓取,从而可以让网络学得更细分的抓取分类。对于网络结构上,他们使用了PointNet,这样的好处是可以直接使用点云作为输入,不需要对点云进行投影。更大的保留了点云的几何信息。

不同于首先生成抓取候选,再对抓取分类、评分的思路,英伟达公司的机器人研究团队提出了直接根据输入的物体点云生成抓取。在数据集生成上,他们使用了纯物理引擎仿真抓取的方式。这种方法的好处是可以生成用特定规则生成抓取[3.4]得不到的抓取。这是因为通常分析的方法生成抓取数据集把抓取简化成了两个点。

关于机器人智能抓取AI+Grasp的技术分析

而在实际抓取中,机器人通常具有两个平行的手指作为夹爪。另一个原因是抓圆环物体如带柄的马克杯时,力闭合原理无法生成“Caging”的抓取。因此用物理引擎可以完全模拟真实中的抓取情形,生成更多样化的抓取。在网络上,他们把被抓物体点云和夹爪点云一起作为输入,使用PointNet++网络和自编码机的结构生成好的抓取,并利用一个网络优化生成的抓取。

基于多模态的抓取通常是指通过不同的指尖力传感器在正式抓取前通过“预抓取”判断抓取的稳定性,从而决定是继续抓取还是调整一个新的抓取姿态。清华大学孙富春教授团队提出使用视觉来生成抓取,并用指尖的触觉判断抓取的稳定性[6]。为此,他们采集了一个视觉、触觉抓取数据集,并分别用两个网络对抓取进行生成和稳定性判断。该团队又与Intel中国研究院合作,建立了一个视觉、触觉、力等多模态的机器人抓取数据集,通过视触融合实现抓取稳定判断[7]。清华大学孙富春教授团队也是利用多模态信息实现的机器人智能抓取,而赢得了“IROS2019机器人灵巧抓取操作比赛”物流分拣项目的冠军。

加州大学伯克利分校提出了利用一个基于视觉的触觉传感器—GelSight来进行多模态抓取任务[8]。得益于他们使用的基于视觉的触觉传感器,可以天然的使用广泛应用的视觉处理神经网络(CNN),通过与抓取,机器人判断抓取的好坏并生成下一步的动作。这样这个机器人系统可以自主的根据触觉反馈调整抓取策略而不需要人工干预。

二指抓取的好处是对抓取的表达比较简单,但是抓取通常并不是机器人操作的最终目的,人们往往希望通过手内改变被抓物体的姿态和位置完成一些操作任务。如使用工具。 美国马里兰大学的研究者提出了一个端到端的多指抓取生成网络[9]。 这个网络使用点云作为输入,使用3DCNN网络直接生成Shadow多指手的抓取规划。

美国麻省理工学院的学者针对多指抓取生成过程中网络不能适应不同的多指手的问题提出了解决方案[10]。他们提了一个统一的多指抓取模型以适应不同的机械手。首先,他们把爪子和被抓物体的特征映射到一个低维空间。然后用一个点云选择网络去生成接触点,通过接触点继而生成一个无障碍的抓取。

上面的工作都是与任务无关的无序抓取,但是在机器人操作上抓取通常是有目的的。如转移物体,递给其他机器人/人,使用抓取的物体。在这一领域最新的工作是西安交通大学的机器人课题组[11]。他们在一个有重叠的场景下完成了基于任务的抓取。首先,他们建立了一个合成的堆叠物体的数据集,并使用条件随机场(CRF)建立了物体的语义模型。这个模型可以的推导过程用RNN来表示,这样整个基于任务的模型可以端到端进行训练。

机器人的智能抓取已经成为研究热点,也逐渐在物流快件、工件、食品等分拣行业中凸显了重要性。未来如何实现机器人认知的智能抓取操作将会成为重点研究问题。
      (责任编辑:fqj)

下载发烧友APP

打造属于您的人脉电子圈

关注电子发烧友微信

有趣有料的资讯及技术干货

关注发烧友课堂

锁定最新课程活动及技术直播

电子发烧友观察

一线报道 · 深度观察 · 最新资讯
收藏 人收藏
分享:

评论

相关推荐

【5月12】不懂编程没关系,邀请您来学AI

不懂编程没关系,邀请您来学AI活动概述:本活动是现场讲座,由台湾知名AI教育专家、金门创新学院院长、台湾Android技
发烧友学院发表于 2019-05-24 00:00 2374次阅读
【5月12】不懂编程没关系,邀请您来学AI

机器人激光送丝增材制造的组织与性能研究

采用机器人为操作系统的激光送丝增材制造系统进行了沉积316Si的实验。对得到的样品的组织和性能进行了....
发表于 2020-04-03 10:41 0次阅读
机器人激光送丝增材制造的组织与性能研究

机器人的动力从何而来,其手臂如何实现灵活地运动

当你走进工厂,或许会看到许多机器人在不停地工作,有的搬运物料,有的举着焊枪做焊接作业一些机器人“大力....
发表于 2020-04-03 10:32 5次阅读
机器人的动力从何而来,其手臂如何实现灵活地运动

云边融合是如何赋能AI视频监控

数字化背后的基础技术是云计算,随着物联网应用和智慧城市的发展,几乎所有数据都需要连接到云,安防视频监....
发表于 2020-04-03 10:20 2次阅读
云边融合是如何赋能AI视频监控

AI计算机视觉是如何应用在安防监控中的

全球城市道路监控建设都在快速发展,各国街道、十字路口随处可见各种摄影机监控设备,为城市公共安全及治安....
发表于 2020-04-03 10:00 2次阅读
AI计算机视觉是如何应用在安防监控中的

AI监控技术还会让越狱发生吗

运用脸部辨识、地面动作侦测与定位分析等先进AI技术,处理从安装在每个牢房的连网监视摄影机与隐藏式传感....
发表于 2020-04-03 09:54 4次阅读
AI监控技术还会让越狱发生吗

搜狗ai录音笔强势来袭,AI黑科技下的全能选手

科技的进步,改变了人们的生活方式,也改变了各个企业的发展方向。许多公司都推出了,以黑科技为主打的智能....
发表于 2020-04-03 09:31 51次阅读
搜狗ai录音笔强势来袭,AI黑科技下的全能选手

商汤科技与LG CNS达成合作 携手推动AI技术...

根据合作协议,商汤科技的AI技术将与LG CNS的访问控制解决方案相结合,双方共同打造“人脸识别访问....
发表于 2020-04-03 09:30 32次阅读
商汤科技与LG CNS达成合作 携手推动AI技术...

AI和Wi-Fi 6将会对家庭Wi-Fi网络带来...

家庭Wi-Fi技术遵循可预测的升级周期,来支持新的无线技术和远程管理功能。但是,升级周期正在加快,因....
发表于 2020-04-03 09:27 5次阅读
AI和Wi-Fi 6将会对家庭Wi-Fi网络带来...

中国联通面向共场所推出了AI疫情防控巡检机器人

为进一步降低一线工作者的健康风险、提升疫情防控效率,中国联通近期开发了AI助防-疫情巡检机器人,面向....
发表于 2020-04-03 09:22 5次阅读
中国联通面向共场所推出了AI疫情防控巡检机器人

智慧工地怎样带来数字化改型

智慧工地管理平台,作为工地管理的中枢系统,是利用物联网、云计算、大数据、人工智能等新一代信息技能,实....
发表于 2020-04-03 08:53 15次阅读
智慧工地怎样带来数字化改型

AI、大数据、视联网,新零售的增长推动力

在这个消费升级的时代,人类需要利用数字化的技术手段,去孵化一个具有更新更好体验的商业业态。
发表于 2020-04-02 19:46 453次阅读
AI、大数据、视联网,新零售的增长推动力

着力发展公安大数据,助力智慧警务的转型

大数据破案、视频抓逃、指尖办事……在人工智能、物联网、云计算等信息化技术迅速发展的当下,公安大数据已....
发表于 2020-04-02 19:22 290次阅读
着力发展公安大数据,助力智慧警务的转型

未来汽车的识别车外噪音系统

德国弗劳恩霍夫数字媒体技术研究所的研究人员为未来汽车研发了识别车外噪音系统,让车辆具备听觉能力。
发表于 2020-04-02 17:34 217次阅读
未来汽车的识别车外噪音系统

达芬奇手术机器人可完成胃肠外科手术

“很荣幸能成为常州首位做胃肠外科‘达芬奇’手术的病人。”一个月前,66岁的孙先生总感觉左下腹隐隐作痛....
发表于 2020-04-02 17:15 241次阅读
达芬奇手术机器人可完成胃肠外科手术

国家开发银行设立2500亿元专项贷款 集成电路新...

集微网消息,湖南省工业和信息化厅消息,近日,国家开发银行出台了《国家开发银行支持制造业高质量发展工作....
发表于 2020-04-02 17:03 229次阅读
国家开发银行设立2500亿元专项贷款 集成电路新...

物联网和AI谁更需要谁

智能家居在技术上更为强调的是“自动化”,人们基于触摸式荧幕、键盘、手机等总控装置来控制家居设备。
发表于 2020-04-02 16:20 26次阅读
物联网和AI谁更需要谁

超万人申请成为NASA宇航员 希望探索月球和火星

据外媒报道,美国宇航局(NASA)最近开展的公开招募“阿尔忒弥斯一代”(Artemis Genera....
发表于 2020-04-02 16:04 127次阅读
超万人申请成为NASA宇航员 希望探索月球和火星

多功能微型软体机器人推出,攻克了结构设计与材料性...

4月1日消息,中科院深圳先进技术研究院了解到,该院科研人员研制出一种集运动、变形、变色于一体的多功能....
发表于 2020-04-02 14:52 155次阅读
多功能微型软体机器人推出,攻克了结构设计与材料性...

商汤科技将与LG CNS共同打造人脸识别访问控制...

据了解,根据合作协议,商汤科技将领先的AI技术与LG CNS的访问控制解决方案相结合,双方共同打造“....
发表于 2020-04-02 14:44 206次阅读
商汤科技将与LG CNS共同打造人脸识别访问控制...

东大索尼共同研发出AI系统Derma 传感器贴合...

这可不是特工电影里某个天马行空的高科技,最近,东京大学和索尼计算机科学研究所(CSL)共同研发出AI....
发表于 2020-04-02 14:36 289次阅读
东大索尼共同研发出AI系统Derma 传感器贴合...

商汤科技宣与韩国LG CNS合作,助力多行业、多...

继近日联手日本知名高速公路管理公司之后,商汤原创AI技术再次出海!4月2日,商汤科技宣布与韩国LG ....
发表于 2020-04-02 14:09 126次阅读
商汤科技宣与韩国LG CNS合作,助力多行业、多...

未来已来,技术整理构建的好时机

深声科技是一家2018年在广州创立的人工智能初创公司,年前成功拿下小米公司的需求标的,用其研发的声音....
发表于 2020-04-02 11:42 272次阅读
未来已来,技术整理构建的好时机

人工智能展示中国未来

深兰科技大楼的其余工作楼层主要用来设计、开发和制造产品原型,与对外展示的办公主楼层风格完全两样,实验....
发表于 2020-04-02 11:39 229次阅读
人工智能展示中国未来

未来,人工智能会有哪些新应用?

近日,5G测温巡逻机器人、全能消毒机器人等陆续“上岗”,在抗击新冠肺炎疫情中“各显神通”,为坚决打赢....
发表于 2020-04-02 11:37 319次阅读
未来,人工智能会有哪些新应用?

珞石机器人正在全面助力各个企业顺利复工复产

疫情期间,为减少人员流动并满足企业开工需求,珞石机器人2020年春节后便开启线上技术支持服务,帮助春....
发表于 2020-04-02 11:28 21次阅读
珞石机器人正在全面助力各个企业顺利复工复产

ABB成功安装了全球第一款真正实现人机协作的双臂...

YuMi适用于小件装配,将与Elektro-Praga插座盖装配线上的工人并肩协作。采用本安级设计的....
发表于 2020-04-02 11:17 381次阅读
ABB成功安装了全球第一款真正实现人机协作的双臂...

在病理学领域中人工智能的技术应用

数字病理专家Proscia一直在努力改变当前的病理叙述。这家总部位于宾夕法尼亚州费城的公司已采取了多....
发表于 2020-04-02 11:12 96次阅读
在病理学领域中人工智能的技术应用

阿里巴巴的AI系统可在20秒内检测出冠状病毒病例

冠状病毒尚未被世界卫生组织标记为大流行病。但是,由于它的传输速率很重要,因此每个人都需要采取所有可能....
发表于 2020-04-02 11:06 378次阅读
阿里巴巴的AI系统可在20秒内检测出冠状病毒病例

汇川伺服在SCARA机器人上的应用及调试报告

设备:SCARA机器人 一:汇川产品配置列表 序号 设备位置 产品名称 产品型号 数量 备注 1 J....
发表于 2020-04-02 10:49 9次阅读
汇川伺服在SCARA机器人上的应用及调试报告

疫情加速应用,医疗机器人发展速度提升

医疗机器人之所以出现,其实离不开现实需求的推动。当前,按照国际划分标准,我国正处于老龄化社会发展阶段....
发表于 2020-04-02 10:45 99次阅读
疫情加速应用,医疗机器人发展速度提升

中远距离隔空充电真的可实现 蕊磁测试实拍曝光

手机无线充电的体验感一直颇有争议,目前手机所采用的无线充电技术无法突破距离上的瓶颈,仅能紧贴式充电,....
发表于 2020-04-02 10:36 157次阅读
中远距离隔空充电真的可实现 蕊磁测试实拍曝光

中国联通与华为正式发布了5G全场景AI运营平台

中国联通在“OSS2.0 5G OSS应用发布会”上正式发布与华为合作创新的5G全场景AI运营平台,....
发表于 2020-04-02 09:54 74次阅读
中国联通与华为正式发布了5G全场景AI运营平台

机器人助力复工复产,市场增长呈现独特趋势

随着国内疫情形势的好转,全国各地正逐步推进企业复工复产。不过,在制造业领域,企业复工的情况有很大差异....
发表于 2020-04-02 09:46 22次阅读
机器人助力复工复产,市场增长呈现独特趋势

教育机器人的优势和劣势_教育机器人的种类

本文首先阐述了教育机器人的优势和劣势,其次介绍了教育机器人的种类,最后介绍了教育机器人的重要性。
发表于 2020-04-02 09:32 41次阅读
教育机器人的优势和劣势_教育机器人的种类

京东物流和格力携手开发国产抗疫机器人

“这三款机器人将由京东物流X事业部与格力共同开发,可完成智能化与自动化的巡检测温、室内外全自主消毒等....
发表于 2020-04-02 09:29 498次阅读
京东物流和格力携手开发国产抗疫机器人

教育机器人怎样使用_教育机器人的功能

本文主要阐述教育机器人的使用方法及功能介绍。智慧搭档X5智能教育机器人可以陪伴孩子学习成长,那智慧搭....
发表于 2020-04-02 09:16 30次阅读
教育机器人怎样使用_教育机器人的功能

教育机器人怎么连接网络_教育机器人的作用

本文首先详细介绍了教育机器人连接网络的方法步骤,另外还阐述了教育机器人的作用。
发表于 2020-04-02 09:07 21次阅读
教育机器人怎么连接网络_教育机器人的作用

京东物流联合格力共同打造出三款组合式机器人 官方...

今天(4月1日),京东物流宣布,旗下X事业部联合格力共同打造了三款组合式机器人,可用在室内外人员聚集....
发表于 2020-04-02 08:44 33次阅读
京东物流联合格力共同打造出三款组合式机器人 官方...

研究人员开发出机器人昆虫

事实上,昆虫一直是机器人学家的灵感来源。柔顺的机身使它们能够从小开口之中挤出来,并且具有很强的抗冲击....
发表于 2020-04-01 17:28 204次阅读
研究人员开发出机器人昆虫

用AI改进AI会有什么好处带来

我们再次使用人工智能技术创建一个全新的神经网络家族,使它与原来的神经网络具备同样优秀的性能,但规模更....
发表于 2020-04-01 17:18 440次阅读
用AI改进AI会有什么好处带来

AI开发的“光合作用” 是怎样的

作为贯通AI底层架构与AI基础能力的底座,ModelArts Pro肩负着使能各行业AI开发流程与生....
发表于 2020-04-01 16:42 72次阅读
AI开发的“光合作用” 是怎样的

纳米技术与人工智能技术的结合将带来无限可能

科技世界中事物的进化和规模的变化影响着我们的生活方式。比如电脑,过去它们需要占用整个房间来完成简单的....
发表于 2020-04-01 16:27 237次阅读
纳米技术与人工智能技术的结合将带来无限可能

FinFET逐渐失效不可避免,英特尔研发全新设计...

话虽如此,当我们把目光放至未来,随着5G和AI技术的发展,以及全球大数据的爆发式增长,5G智能终端、....
发表于 2020-04-01 16:01 313次阅读
FinFET逐渐失效不可避免,英特尔研发全新设计...

华为CWR@Digital解决方案助力中国联通打...

中国联通OSS2.0,是联通集团构建的智能化、数字化、集约化的规建维优营支撑体系,具有自动化和智能化....
发表于 2020-04-01 15:56 346次阅读
华为CWR@Digital解决方案助力中国联通打...

人工智能工具找到三种可预测COVID-19重症的...

尽管大多数新冠病毒感染案例停留在在轻度或中度,但有些人直至恢复都没能表现出 COVID-19 的任何....
发表于 2020-04-01 15:34 375次阅读
人工智能工具找到三种可预测COVID-19重症的...

美国照明集团宣布任命Mike Videmsek担...

美国照明集团(场外交易市场代码:USLG)位于俄亥俄州东湖市,是一家领先的电子产品和高科技机器人制造....
发表于 2020-04-01 14:59 116次阅读
美国照明集团宣布任命Mike Videmsek担...

Auris Health公司研发出了一款可以进入...

Auris Health研发的机器人传感器,可从人体自然开口进入肺部,进行各式问题的诊断。Auris....
发表于 2020-04-01 14:50 40次阅读
Auris Health公司研发出了一款可以进入...

浪潮2020年提升平台+生态能力,实现云+数+A...

3月31日,浪潮在2020财年大会上发布了2019财年报告,并提出2020新财年的战略目标:继续深化....
发表于 2020-04-01 14:43 237次阅读
浪潮2020年提升平台+生态能力,实现云+数+A...

硬件小白,请教各位大神,锂电池和树莓派的供电解决方案

我自己是搞软件的,想自己尝试整个机器人自己玩,基于树莓派、多个舵机做关节、马达驱动轮子、锂电池供电等主要部件,...
发表于 2020-03-27 23:19 349次阅读
硬件小白,请教各位大神,锂电池和树莓派的供电解决方案

智能吸尘机器人的工作效率怎么提高?

吸尘机器人作为服务机器人领域的一个新产品,结合了机器人和吸尘器技术,能在无人看守情况下轻松地完成室内环境的吸尘...
发表于 2020-03-18 06:18 119次阅读
智能吸尘机器人的工作效率怎么提高?

智能巡航并将机器人怎么实现状态显示输出?

目前许多高等教育院校采用教育机器人进行课堂教学和培养学生的创新能力。本文设计的教育机器人通过红外光电传感器阵列...
发表于 2020-03-17 06:59 111次阅读
智能巡航并将机器人怎么实现状态显示输出?

宅家抗疫DIY:简易避障机器人的实现

这是一个非常简单的避障机器人,甚至简单到没有使用控制芯片和驱动电路,使用的都是我们日常生活中随处可见的一些东西...
发表于 2020-03-10 07:00 814次阅读
宅家抗疫DIY:简易避障机器人的实现

嵌入式机器人控制系统设计的组织架构是怎么样的?

移动机器人是一种能够感知外部环境,在有障碍物的环境中能够实现动态决策与规划,从而完成避障等多种功能的综合系统。...
发表于 2020-03-06 07:07 127次阅读
嵌入式机器人控制系统设计的组织架构是怎么样的?

无线通信模块在嵌入式机器人中有什么应用?

基于无线通信的嵌入式机器人控制系统电路设计...
发表于 2020-03-05 08:31 157次阅读
无线通信模块在嵌入式机器人中有什么应用?

机器人接触式物体探测的接触方式有哪些?

机器人接触式物体探测技术电路设计
发表于 2020-03-02 11:06 166次阅读
机器人接触式物体探测的接触方式有哪些?

【战疫专题】第二期:硬核战“疫”,机器人大有可为

2020年,新型冠状病毒席卷了整个中国,同时也在促进着产业的变革与生活变化。 电子发烧友在此期间推出【战疫专题】活...
发表于 2020-02-25 14:24 5530次阅读
【战疫专题】第二期:硬核战“疫”,机器人大有可为

【战疫专题】第一期:疫情之下,医疗电子的新需求与变革

2020年,新型冠状病毒席卷了整个中国,同时也在促进着产业的变革与生活变化。 电子发烧友在此期间推出【战疫专题】活...
发表于 2020-02-12 15:47 2199次阅读
【战疫专题】第一期:疫情之下,医疗电子的新需求与变革

创龙TL5728-EasyEVM-A4开发板如何移植ros机器人操作系统?

创龙TL5728-EasyEVM-A4开发板如何移植ros机器人操作系统? ...
发表于 2020-01-02 09:32 559次阅读
创龙TL5728-EasyEVM-A4开发板如何移植ros机器人操作系统?