侵权投诉

基于点云的机器人抓取过程详解

新机器视觉 2020-10-23 11:32 次阅读

机器人作为面向未来的智能制造重点技术,其具有可控性强、灵活性高以及配置柔性等优势,被广泛的应用于零件加工、协同搬运、物体抓取与部件装配等领域,如图1-1所示。然而,传统机器人系统大多都是在结构化环境中,通过离线编程的方式进行单一重复作业,已经无法满足人们在生产与生活中日益提升的智能化需求。随着计算机技术与传感器技术的不断发展,我们期望构建出拥有更加灵敏的感知系统与更加智慧的决策能力的智能化机器人系统。

图1-1机器人的应用领域

图1-2机器人抓取的操作流程与步骤

机器人抓取与放置是智能化机器人系统的集中体现,也是生产与生活中十分重要的环节,近几年来在工业界与学术界得到了深入而广泛的研究。具体的机器人抓取可以分为视觉感知部分与机器人抓取操作部分。视觉感知部分又包含:模型与场景表征、目标识别与定位这两个步骤;而机器人抓取操作部分则包含:系统标定、运动控制与抓取规划等步骤,如图1-2所示。这其中,机器人通过视觉传感器感知环境并实现对目标物体的识别与定位,也就是视觉感知部分,是十分重要的环节,其直接决定了后续机器人的抓取精度。

图1-3二维图像的部分缺陷

受益于计算机算力的不断提高以及传感器成像水平的高速发展,目前针对结构化环境或者半结构化环境中,基于二维图像的机器人平面单目标物体的抓取技术已经趋于成熟,并取得了丰富的研究成果[1][2][3]。然而,对于现实复杂环境中的三维物体,仅使用二维信息对三维目标进行表征,会不可避免的造成信息损失,如图1-3所示,从而难以实现非结构化环境中机器人对于多目标物体的高精度抓取操作。因此,如何提升机器人的视觉感知能力,并基于此在复杂环境中自主完成对目标物体的识别、定位、抓取等操作是一个很有价值的研究问题。

近年来,随着低成本深度传感器(如IntelRealSense、Xtion以及MicrosoftKinect等)与激光雷达的飞速发展,如图1-4所示,三维点云的获取越来越方便。这里的点云实际上就是在相机坐标系下,对所拍摄的物体或者场景表面进行点采样。物体对应的点云数据在在数学上可以简单的理解为三维坐标的无序集合。三维点云数据相对于平面二维图像具有如下优势:(1)可以更加真实准确的表达物体的几何形状信息与空间位置姿态;(2)受光照强度变化、成像距离以及视点变化的影响较小;(3)不存在二维图像中的投影变换等问题。三维点云数据具有的以上优势使得其有望克服平面二维图像在机器人目标识别与抓取中存在的诸多不足,所以其具有很重要的研究意义以及广泛的应用前景。因此,近年来针对点云的视觉研究以及基于点云的机器人抓取成为了机器人领域新的研究热点。

图1-4点云获取设备示意图

对应前文的,在基于点云的机器人抓取可以分为点云特征描述(模型与场景表征)、三维目标识别(目标识别与定位)与机器人抓取操作这三个部分[39][40]。进一步的,点云特征描述指的是,将模型与场景对应的无序点集通过特定的算法编码为低维的特征向量,用此来表征对象的局部或者全局信息,其应当具有足够的描述力与稳定性。三维目标识别则主要是指,利用模型与场景的表征结果,在场景中识别出目标物体,并估计出其对应的位置与姿态。对于特征描述与目标识别,尽管现有文献提出了不少算法,并且在特定的环境中取得了不错的效果,然而如何在包含噪声、干扰、遮挡与密度变化的复杂非结构化环境中提取有效而稳定的特征,实现对多目标物体的准确识别定位以及高精度抓取,仍然是极富挑战性的一个问题[4]。

综上所述,基于点云的机器人抓取作为智能化机器人系统的集中体现,近几年来得到了工业界和学术界的广泛关注,并围绕点云特征描述、三维目标识别与机器人抓取操作这三个方面展开了深入研究。具体的,在点云特征描述部分,主要关注描述子的鉴别力、鲁棒性、计算效率与紧凑性等性能;在三维目标识别部分,主要关注目标的识别准确率与定位精度问题;而在机器人抓取操作部分,抓取系统的参数标定与多目标物体的数据分析都是很重要的环节。

1.1国内外研究现状

受益于点云数据自身的优势、计算机算力的不断提高与传感技术的不断发展,基于点云的机器人抓取成为了机器人领域新的研究热点,具有十分诱人的研究价值与应用前景。近年来,学术界与工业界围绕基于点云的机器人抓取,在点云特征描述、三维目标识别与机器人抓取操作这三个方面展开了广泛而深入的研究,取得了显著进展,下面分别从上述三个方面进行文献综述。

1.1.1点云特征描述

点云特征描述在机器人抓取中主要是应用于视觉感知部分的模型与场景表征。一种合格的特征描述算法应该有较高的描述力来表征对应的局部点云表面。此外,此外其还应该对于点云噪声、表面孔洞、部分遮挡、视点改变以及分辨率变化等稳健[4],如图1-5所示。

图1-5点云场景存在的挑战

现有的特征描述算法可以分为全局特征和局部特征两大类[5]。全局特征采用模型的整体几何信息构建得到,典型代表有Osada等[6]提出来的Shapedistribution描述子,Wahl等[7]提出来的SPR(Surflet-pair-relation)描述子以及Funkhouser等[8]提出来的Sphericalharmonics描述子。全局描述子拥有较高的计算效率和分类能力,但是其对于遮挡比较敏感,很难用于目标识别和精确定位[9]。鉴于此,局部点云的概念被提出,局部特征描述算法得到了深入的研究和广泛的关注。其首先提取关键点建立局部邻域,根据邻域内各点的空间分布信息和几何特征构建描述矩阵。局部描述子对于背景干扰和遮挡鲁棒,相比于全局描述子更适合用于非结构化环境中的目标识别[4][10]。

图1-6部分局部描述算法示意图

局部描述算法又可以根据有无建立局部参考坐标系(LocalReferenceFrame,LRF)进行分类[11]。不依赖LRF的特征描述子都是使用局部几何信息的统计直方图或者信息量来构成特征矩阵[12]。例如,Johnson等[13]提出了Spinimage描述算法,如图1-6(a),它首先以关键点的法线作为参考轴,用两个参数对关键点的每个邻域点进行编码,然后根据这两个参数将局部邻域点进行分箱,进而生成一个二维直方图。Spinimage描述子已经成为了三维特征描述子评估体系的实验基准[4][14]。但是,其存在诸如对数据分辨率变化和非均匀采样敏感等缺陷[15]。Rusu等[16]提出了PFH(PointFeatureHistogram)描述算法:其对于关键点邻域内的每一个点对,首先建立Darboux框架,然后采用[7]中的方法计算由法向量和距离向量得到的四个测量值,最后将所有点对的测量值进行累加生成一个长度为16的直方图,如图1-6(b)。为了降低计算复杂度,Rusu[17]等仅将关键点与其邻域点之间的测量值进行累加,随后进行加权求和得到FPFH(Fast-PFH),如图1-6(c)。FPFH保留了PFH的绝大部分鉴别信息,但是其对于噪声敏感[5]。目前绝大多不依赖于LRF的描述子仅利用了点云的部分几何特征,而很难编码局部空间分布信息,因而其都鉴别力不强或者鲁棒性较弱[15]。

对于建立了局部参考坐标系的描述子,则利用定义的LRF来同时对空间分布信息和几何特征进行编码以提高其鉴别力和鲁棒性[18]。例如,Tombari等人[19]首先利用加权主成分分析(PCA)的方法为关键点构建了一个局部参考坐标系,进而在该LRF下将关键点对应的球形R-近邻空间进行栅格化处理,然后依据关键点法线与落入每一个子单元的点法线间的夹角将这些点累积到一个数据统计直方图中,最后串联各个直方图便获得SHOT(SignaturesofHistogramsofOrientation)特征,如图1-6(d)。SHOT计算效率高,但是对于分辨率变化敏感[5]。Guo等[18]通过计算局部表面对应散布矩阵的特征向量来建立LRF,然后利用旋转投影的方法对三维点集进行降维并建立分布矩阵,之后提取分布矩阵的信息量生成最后的RoPS(RotationalProjectionStatistics)描述子。RoPS有着优越的综合性能[5],但是其只能用于mesh网格文件,也就是说其无法作用于原始的xyz点云数据[20]。并且,其将数据投影到了二维平面会造成较大的信息损失[21]。之后,Guo[15]在RoPS的LRF算法基础上进行改进,提高了稳定性,然后在坐标系的每一个参考坐标轴上求取局部邻域的SpinImage特征,串联组成Trisi(Triple-SpinImage)局部特征描述子,如图1-6(e)。基于LRF的局部描述算法的鉴别力和鲁棒性很依赖于所建立的局部参考坐标系的可重复性与稳定性,如果坐标系存在轻微的偏差,会对最终的描述向量造成严重的影响[22],如图1-7。然而,目前已有的局部坐标系算法存在可重复性差或者方向歧义的问题[23]。

综上所述,对于不建立局部参考坐标系的特征描述子,由于不能融入空间分布信息,普遍存在鉴别力不高、对于噪声比较敏感等问题;而拥有局部参考坐标系的特征描述子的描述力和鲁棒性则主要依赖于所对应的坐标系建立算法,然而目前已有的坐标系建立方法均存在可重复性差或者方向歧义的问题[22],相应的特征提取算法在鉴别力、鲁棒性与计算效率方面依然有提升的可能[5]。

图1-7LRF的误差影响

1.1.2三维目标识别

在基于点云的机器人抓取领域,完成了模型与场景的表征,下一步则是进行目标识别与定位,也就是在点云场景中对待抓取模型进行三维目标识别以及对应的姿态估计。现有的三维目标识别算法主要包括基于局部特征的算法、基于投票的算法、基于模板匹配的算法以及基于学习的方法[24][25]。

基于局部特征的目标识别算法则主要分成五个部分:关键点检测、特征提取、特征匹配、假设生成、假设检验[26][27]。在这里关键点检测与特征提取组合对应的就是进行模型与场景表征。由于点云的点集数量巨大,如果对每个点都进行特征提取则会造成计算机算力不足的情况,因此会在原点云中提取稀疏而区分度高的点集作为关键点。关键点应当满足可重复性和独特性这两个重要属性[28]。前者涉及的是在各种干扰下(噪声、分辨率变化、遮挡与背景干扰等)可以精确提取相同关键点的能力;而后者则是指提取的关键点应当易于描述、匹配与分类[29]。在点云领域,经典的关键点提取算法包括Harries3D[30],ISS(IntrinsicShapeSignature)算法[31],NARF(NormalAlignedRadialFeature)算法[32]。特征提取部分则主要是在物体表面提取稳固的局部特征,详见本章1.3.1部分的讨论。

特征匹配的作用则是建立一系列的关键点特征对应关系,如图1-8所示。经典的特征匹配算法有最近邻距离比值(NNDR)、阈值法、最近邻策略(NN)等[33]。论文[33]则表明NNDR与NN的匹配算法优于阈值法的匹配效果,NNDR亦是目前使用最多的匹配策略[34]。为了降低计算复杂度,一般都会使用高效的搜索算法来优化特征匹配,使其快速地找到场景特征库中与当前特征对应的k近邻特征。常用搜索算法包括k-d树[35]、局部敏感树[31]、哈希表[36]与二维索引表[37]等。

图1-8局部特征匹配过程示意图

假设生成部分则主要是利用匹配上的特征对集合找出在场景中可能的模型位置,并建立对应的姿态估计(即计算变换假设)[38]。值得注意的是,在匹配上的特征对集合中,既会存在正确的特征对,也会有大量有误差的特征对。因此在计算变换假设的时候,需要使用有效的算法策略尽可能的剔除错误特征对,从而得到较为准确的模型与场景间的变换关系。这一部分的方法主要包括随机一致性采样(RANSAC)、姿态聚类、几何一致性以及扩展霍夫变换等。RANSAC算法首先随机选取k组特征对来计算模型到场景间的变换矩阵(这里k为生成一个变换矩阵所需要的最少特征对数量),并统计满足这个变换矩阵的点对数量。使用这个算法的论文包括[38][39][40]。姿态聚类算法则认为当模型在场景中被正确识别后,大多数模型与场景对齐的假设生成变换矩阵都应当在真实的位姿矩阵(groundtruth)附近。使用这个算法的论文包括[31][41][42]。几何一致性技术则认为如果特征对不满足几何约束关系则会使得估计出来的变换矩阵有较大的误差,所以希望使用几何约束来剔除误差较大的匹配点对,进而提高生成的变换矩阵的准确性。使用该算法的论文包括[13][43][44]。扩展霍夫变换则是利用特征对间的平移和旋转等参数构成广义的霍夫空间,然后进行投票统计。这个广义的参数化霍夫空间中的每一个点都对应模型与场景间的一组变换关系,空间中的峰值点被认为是模型到场景变换矩阵估计的最优解。采用这种算法的论文包括[45][46][47]。

图1-9基于特征提取的目标识别流程图

假设检验部分则是为了得到假设生成部分所计算出来的潜在变换关系中真正正确的变换矩阵。Hebert与Johnson[13][48]采用模型与场景的对应点数和模型总点数的比值作为相似度参数。当相似度大于设定的阈值时,则认为当前的变换矩阵是正确的。Main[49]则采用特征相似度与点云匹配精度作为综合评价指标。Bariya[43]首先计算出模型与场景的交叠面积,并将模型可见面积和重叠面积的比值作为相似度度量。Papazov[40]则提出了一个包含惩罚项和支持项的接收函数用于评估建设生成的姿态变换质量。Aldoma[44][26]则建立了场景到模型的拟合、模型到场景的拟合、遮挡关系以及不同模型间的关联这几个条件建立了一个代价函数,然后通过求取这个函数的极小值来获得理论上最优的变换姿态。

图1-10PPF投票算法示意图

基于投票的三维目标识别算法则是直接匹配模型与场景间的固有特性,生成有限的候选姿态集后,利用先验条件构造支持函数与罚函数并对每一个姿态进行投票,进而得出最优的变换矩阵。Drost等人[41]提出了用于目标识别的点对特征(PointPairFeatures,PPF),这也是三维目标识别领域的经典算法,算法原理如图1-10所示。其利用了点对间最为朴素的特征:距离与法线夹角,构造出有四个参数的特征数组;然后结合哈希表进行穷举匹配,利用高效的投票方案得出最优的姿态估计。Kim等人[50]则在原始PPF特征中加入了可见性特征(空间、表面与不可见表面),增强了PPF的匹配能力。Choi等人[51]在此基础上提出了对点对特征进行分类的策略,如边界上的点对或者是由边缘点组成的点对等。利用这种分类方法可以减少训练和匹配的特征数量,加快了匹配速度以及投票效率。此外,Choi等人[52]还在PPF的点对特征上加入了颜色分量,创建了Color-PPF,实验结果表明其识别率明显提高。随后,Drost等人[53]又提出了利用几何边缘(边界和轮廓)来计算PPF,这种算法显著改进了在高度遮挡场景中的识别率。Birdal等人[54]则提出了先对场景进行分割,在进行PPF匹配的识别策略。更进一步的,Hinterstoisser等人[55]针对PPF提出了一种新的采样方法以及一种新的姿态投票方案,使得这种算法对噪声和背景干扰更加稳健。Tejan等人[56]则从RGB-D图像中训练了一个霍夫森林,在树中的叶子上存储着目标识别6D姿态的投票。

图1-11基于模板匹配的目标识别流程

基于模板匹配的目标识别算法则主要是针对无纹理物体的检测。其利用已有的三维模型从不同的角度进行投影,生成二维RGB-D图像后再生成模板;然后将所有的模板与场景匹配,进而得出最优的模型位姿,算法原理如图1-11。Hinterstoisser等人[57]提出了经典的Linemod算法,其结合了彩色图像中的梯度信息再结合深度图像中的表面法线信息生成图像模板,在场景图像中利用滑窗搜索的方式进行模板匹配。Hodan等人[58]提出了一种实用的无纹理目标检测方法,也是实用滑动窗口的模式,对于每个窗口进行有效的级联评估。首先通过简单的预处理过滤掉大部分位置;然后对于每一个位置,一组候选模板(即经过训练的对象视图)通过哈希投票进行识别;最后通过匹配不同模式下的特征点来验证候选模板进而生成目标的三维位姿。

基于学习的方法,Brachmann等人[59]提出的基于学习的目标识别算法,对于输入图像的每一个像素,利用其提出的回归森林预测待识别对象的身份和其在对象模型坐标系中的位置,建立所谓的“对象坐标”。采用基于随机一致性采样算法的优化模式对三元对应点对集进行采样,以此创建一个位姿假设池。选择使得预测一致性最大化的假设位姿作为最终的位姿估计结果。这个学习模型在论文[60]中得到了多种扩展。首先,利用auto-context算法对于随机森林进行改进,支持只是用RGB信息的位姿估计;其次,该模型不仅考虑已知对象的位姿,同时还考虑了没有先验模型库的目标识别;更多的,其使用随机森林预测每一个像素坐标在目标坐标系上的完整三维分布,捕捉不确定性信息。自从深度卷积神经网络(DCBB)[61]提出以来,基于深度学习的方法近年来变得十分流行,例如RCNN[62],Mask-RCNN[63],YOLO[64]与SSD[65]等。最近的综述论文[66]对于这些算法进行了详细的阐述和比较。

综上所述,在目前已有的目标识别算法中,基于几何一致性与随机一致性采样的管道方法存在组合爆炸的问题,其对应的计算复杂度为O(n3);而基于点对特征的目标识别方案则会由于法线方向的二义性问题造成识别的准确率下降,并且其对应的计算复杂度为O(n2);基于模板匹配的目标识别算法(Linemod)则存在对于遮挡敏感等问题。虽然各种算法在特定的数据集上都取得了不错的效果,但是在非结构化环境中的目标识别准确率依然有较大的提升空间。

1.1.3机器人抓取操作

基于点云的机器人抓取主要包含视觉感知部分与机器人抓取操作部分。机器人抓取操作部分则又包括系统标定、抓取规划与运动控制。

系统标定包括主要是指对相机与机器人的标定。由于对于视觉感知部分求出的待抓取目标物体的位置与姿态均处于相机坐标系下,为了进行机器人准确抓取,需要将其坐标与姿态变换到机器人坐标系下。这里便需要将相机与机器人进行手眼标定。手眼标定主要求取相机坐标系与机器人基坐标系间的变换关系[67],主要可以分为相机在手上的标定与相机在手外的标定。此外,对于相机,使用时需要进行内参的校准,畸变系数的求取等[68][69];如果是双目立体视觉,则还包含对于双目相机的参数标定[70];如果是结构光或ToF(TimeofFlight)成像的点云相机,则还要进行深度校准,以及彩色图与深度图的匹配对齐等操作[71][72][73]。对于机器人,如果是多机器人协同抓取,则组要进行多机器人基坐标系间的标定[74]。

而对于抓取规划部分,其主要作用是可以实现对于场景中目标物体的抓取点的提取[75]。如论文[76]所述,抓取策略应当确保稳定性,任务的兼容性和对于新物体的适应性等;此外,抓取质量可以通过对物体接触点的位置和末端夹爪的配置来进行评价[77]。对于物体的抓取,目前主要有基于经验的方法与基于端到端的方法。

基于经验的方法则是根据特定的任务和抓取对象的几何形状,使用与之相对应的算法来进行抓取。更具体的又可以分为对已知物体的抓取和对相似物体的抓取[78]。如果抓取对象是已知的物体,那么则可以通过学习已有的成功抓取实例,再结合具体环境进行机器人抓取。事实上,如果目标对象已知,则意味着对象的三维模型和抓取点位置在数据库中也是先验已知的。这种情况下,只需要从局部视图估计目标对象的6D位姿,并通过ICP等算法进行姿态细化与精确微调,进一步便可以得到目标物体的抓取位置。这是目前已知的抓取系统中最流行的方法,也是在亚马逊抓取挑战赛[79]中普遍使用的算法。Zeng等人[79]提出了一种利用全卷积神经网络对一个场景的多个视图进行分割和标注,然后将预扫描的三维目标模型与分割结果进行匹配,得到6D目标位姿。他们的方法在2016年APC抓取挑战任务中获得了第三名和第四名。Billings和Johnson-Roberson[80]提出了一种利用卷积神经网络的管道算法,其可以同时完成目标姿态估计和抓取点选择。该管道算法作用于感兴趣区域(ROI),预测出一个中间轮廓来估计目标位姿;然后从先验的数据库中生成抓取点。对于这种方法,当有准确的三维模型是,可以通过估计出6D姿态后进行准确的抓取,由于拥有较高的抓取精度,是目前比较流行的抓取方法。然而,当三维模型不太准确时,如物体不可测量或者易变形等情况,则会导致有较大的抓取偏差。

图1-12局部抓取规划方法

事实上,很多情况下,抓取的目标对象与现有数据库的模型并不完全相同,但是在模型库中相似的同一类的物体,这便涉及到对相近物体的抓取。在目标对象被定位以后,利用基于关键点对应算法便可以将抓取点从模型库中存在的相似三维模型上转移到当前的局部对象中。由于当前的目标对象与数据库中的对象不完全相同,所以这类型的抓取算法是不需要进行六维姿态估计的。Andrew等人[81]提出了一种基于分类法的方法,该方法将对象划分为各个类别,每个类别均存在对应的抓取规范。Vahrenkamp等人[82]提出了一种基于局部的抓取规划方法,用于生成适用于多个已知目标对象的抓取,根据物体的形状和体积信息对物体模型进行分割,并对目标零件标记语义信息和抓取信息。其还提出了一种抓取可转移性的度量方法,用于评估在同一对象类别中的新物体的抓取成功率,如图1-12所示。Tian等人[83]提出了一种将抓取构型从先前的示例对象转移到新目标上的方法,该方法假设新对象和示例对象具有相同的拓扑结构和相似的形状。他们考虑几何形状和语义形状特征对对象进行三维分割,利用主动学习算法为示例对象的每个部分计算一个抓取空间,并为新对象在模型部分和相应的抓取之间建立双射接触映射。这一类型的方法依赖于目标分割的准确性。然而,训练一个能识别出广泛对象的网络并不容易。同时,这些方法要求待抓取的三维物体与标注模型相似,以便找到相应的抓取模型。在经常发生遮挡的杂乱环境中,计算高质量的物体抓取点也是一个挑战。

图1-13不同的抓取方案示意图

端到端的抓取检测则直接跳过了对于抓取目标的定位,直接从输入的图像中提取抓取点位置。在这类方法中,滑动窗口策略是比较常用的方法。Lenz等人[84]提出了一个两步级联系统,该系统具有两个深度网络,第一步的顶部检测结果由第二步重新评估。第一个网络具有更少的特性,运行速度更快,并且可以有效地剔除不可能的候选项。第二个具有更多的特性,速度较慢,但只能在少数几个检测到的信号上运行。尽管他们达到了很高的精度,但是迭代扫描使过程非常缓慢。TenPas等人[85]提出了一种无需对目标物体进行精确分割即可在任何可见表面生成抓取假设的方法。他们还提出了一种新的包含表面法线和多个视图的抓取描述符。但是,由于没有执行实例级分段,因此这种算法会将多个对象视为同类物体。由于均匀网络的性能优于双级联系统[84],越来越多的单级方法被提出。Guo等人[86]提出了一种共享卷积神经网络来进行对象发现和抓取检测。Pinto和Gupta[87]提出了一种通过试错预测抓取位置的方法,他们训练了一个基于CNN的分类器来估计给定一个输入图像块的不同抓取方向的抓取可能性。Chu等人[88]提出了一个由抓取区域建议组件和机器人抓取检测组件组成的网络。对于端到端抓取检测方法,计算出的抓取点可能不是全局最优的抓取点,因为在图像中只有部分对象是可见的。

对于机器人抓取中的运动控制这一部分,其主要是设计从机械手目标物体抓取点的路径,这里面的关键问题就是运动表征。虽然从机械手到目标抓取点的轨迹是无限多的,但是由于机械臂的局限性,很多地方都无法达到。因此,轨迹需要规划。

轨迹规划主要有有三种方法,分别是传统的基于DMP的方法、基于模仿学习的方法和基于强化学习的方法,如图1-14所示。传统的方法考虑运动的动态性,生成运动原语。动态运动原语(DynamicMovementPrimitives,DMPs)[89]是最流行的运动表示形式之一,可以作为反馈控制器。DMPs对应的原语是行为单位,或者说是鲁棒的吸引子系统,其实非线性的。在算法中将运动学对应的控制策略按照规则编码为非线性微分方程组,方程组的目标就是吸引子[90]。DMPs已成功地应用于强化学习、模仿学习、以及动作识别等领域。Colome等人[91]的论文则是通过降维(线性)在学习潜在关节耦合过程的同时也进行拥有DMP特征的机器人运动,这实际上是很有价值的研究,因为这样就直接提供了这种运动的最直观的数学描述。Pervez和Lee[92]的论文提出了一个将DMP中的强迫项对应的任务参数化进行建模的数学模型。Li等[93]对应的论文则给出了一种基于高斯混合模型(GMM)和DMP的机器人强化版教学界面模型。所采集的这些动作是通过使用深度摄像头Kinectv2传感器从对应的人体演示者身上采集,采用高斯混合模型(GMM)算法进行DMPs的计算,然后对运动进行建模和泛化。Amor等[94]的论文则描述了一种基于人体动作演示的模仿学习算法,主要是用于机器人学习和运用人体的抓取技能。他们将人类的抓取动作分解为三个部分:从人的教学演示中提取有效的物体抓取策略方法,将抓取策略对应的抓取点迁移到新的待抓取物体上,对抓取动作进行优化。使用他们的方法可以很容易的在机器人中加入新的抓取类型,因为用该算法使用者只需给出一组抓取实例。

在抓取过程中,由于空间有限以及障碍物等原因,会阻碍机器人接近目标物体。这需要机器人与环境进行交互。在这种需要进行避障的抓取任务中,最常见的轨迹规划方法是以抓取对象为中心建模的算法[95],它将目标和环境分离开来。这种方法在结构化或半结构化的环境中工作得很好,因为对象被很好地分隔开了。还有一种以障碍物为中心的方法[96],它利用动作原语与多个对象进行同步联系。通过这种方法,机器人可以在接触和移动目标的同时抓住目标,以清除所需的路径。进一步的,Zeng等人[97]提出了一种更为优越的方法,其采用了无模型的深度强化学习策略来提取抓与推之间的关系。他们的方法中包含了两个卷积神经网络,行为动作与视觉感知。这两个网络是在Q-learning框架下联合训练的,完全是通过尝试和错误的自我监督,成功掌握后会获得奖励。通过仿真和真实场景下的抓取实验,他们的系统可以快速地学习复杂的行为,在存在障碍物的情况获得更高的抓取成功率和效率。

图1-14典型的轨迹规划方法

从国内外研究现状可知,对于机器人领域中的特征提取、目标识别与机器人抓取等方面均有一些热点问题需要解决。具体的,在特征提取算法方面,鉴别力、鲁棒性与计算效率方面依然有提升的可能;在目标识别与机器人抓取方面,在具有噪声、背景干扰与分辨率变化的非结构化环境中的识别率与抓取的精度不够理想。各个具体问题虽然均由大量的算法被提出,但是不少问题依然没有被很好的处理。每一个问题都是三维视觉领域中亟待解决的热点,期望大家可以给出新的方法进行解决。

责任编辑人:CC

原文标题:基于点云的机器人抓取识别综述

文章出处:【微信号:vision263com,微信公众号:新机器视觉】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
分享:

评论

相关推荐

机器人能做手术吗?看看手术机器人企业术锐获近3亿元B轮融资

近日,北京术锐技术有限公司(以下简称术锐)宣布获得近3亿元B轮融资,本轮融资由国投招商领投,辰德资本....
的头像 机器人技术与应用 发表于 01-15 17:50 157次 阅读
机器人能做手术吗?看看手术机器人企业术锐获近3亿元B轮融资

协作机器人企业越疆科技完成3.2亿元新一轮融资

近日,深圳市越疆科技有限公司(以下简称越疆科技)宣布完成3.2亿元新一轮融资,本轮融资由中金资本领投....
的头像 机器人技术与应用 发表于 01-15 17:48 146次 阅读
协作机器人企业越疆科技完成3.2亿元新一轮融资

专访波士顿动力工程副总裁:机器人热舞背后的秘密

    一周前,波士顿动力上传了一段机器人跳舞的视频,人形机器人 Atlas、机器狗 Spot、双轮....
的头像 机器人大讲堂 发表于 01-15 17:45 97次 阅读
专访波士顿动力工程副总裁:机器人热舞背后的秘密

聪明又能干的机器人化学家 每天工作21.5小时,自主发现新型材料

  有一个聪明又肯干的员工是一种怎样的体验? 灵活穿梭在化学实验室的科学家,可能不是人类,而是AI机....
的头像 机器人大讲堂 发表于 01-15 17:37 171次 阅读
聪明又能干的机器人化学家 每天工作21.5小时,自主发现新型材料

NEOR mini:一款机器人爱好者开发的智能移动开放式平台

  过去 深圳南山粤海街道被网友戏称为“宇宙最强街道”,这里有腾讯、中兴、华为、大疆等众多高科技公司....
的头像 机器人大讲堂 发表于 01-15 17:34 177次 阅读
NEOR mini:一款机器人爱好者开发的智能移动开放式平台

集萃智造成功完成了升级版的协作机器人碰撞检测实验

  可与人进行直接交互共融,通过人机共同协作,创造更高效、更智能、更多元的生产力,是协作机器人区别于....
的头像 机器人大讲堂 发表于 01-15 17:30 118次 阅读
集萃智造成功完成了升级版的协作机器人碰撞检测实验

单纯做工业板块的机器人,行业市值天花板已经出现

石头科技能挑战茅台股价,机器人企业却突不破五百亿市值。 单纯做工业板块的机器人,行业市值天花板已经出....
的头像 机器人大讲堂 发表于 01-15 17:23 95次 阅读
单纯做工业板块的机器人,行业市值天花板已经出现

如何使用Matlab和VR技术实现移动机器人的建模和仿真

利用Matlab 建立移动机器人的动力学模型,在虚拟现实(VR ) 环境下,实时仿真移动机器人路径跟....
发表于 01-15 17:20 5次 阅读
如何使用Matlab和VR技术实现移动机器人的建模和仿真

快讯:无人机、机器人齐上阵天津电网刷新历史最大负荷纪录

Clearbot是由总部位于中国香港的初创公司Open Ocean Engineering开发的一款....
的头像 机器人大讲堂 发表于 01-15 17:06 86次 阅读
快讯:无人机、机器人齐上阵天津电网刷新历史最大负荷纪录

燕山大学提出了一种新型的软体抓手,命名为UHL软体气动抓手

虽然气动软体抓手具有优越的适应性和安全性,如图中所展示的抓取柔软的海洋生物,抓取鸡蛋,蔬菜等脆弱而形....
的头像 机器人大讲堂 发表于 01-15 17:00 58次 阅读
燕山大学提出了一种新型的软体抓手,命名为UHL软体气动抓手

优必选智能物流机器人AMR及解决方案在全球首次亮相

从三星、LG、索尼再到联想,戴尔,各大科技巨头们纷纷上线秀“肌肉”,优必选科技作为全球领先的人工智能....
的头像 机器人大讲堂 发表于 01-15 16:56 264次 阅读
优必选智能物流机器人AMR及解决方案在全球首次亮相

快讯:三星机器人Bot Handy可做家庭好帮手

据外媒报道,三星研究的机器人 Bot Handy 可以收洗好的衣服,将脏碗放进洗碗机,摆桌子,倒酒并....
的头像 机器人大讲堂 发表于 01-15 16:53 155次 阅读
快讯:三星机器人Bot Handy可做家庭好帮手

史陶比尔悬挂式喷涂6轴机器人与控制器结合方案

    此项目采用的是一台可移动的悬挂式喷涂6轴机器人,它安装在3自由度直角坐标变位天车上,可以在喷....
的头像 工业机器人应用方案 发表于 01-15 16:32 116次 阅读
史陶比尔悬挂式喷涂6轴机器人与控制器结合方案

新松机器人惯性导航AGV搬运系统方案实例

  惯性导航系统(INS,以下简称惯导)是一种不依赖于外部信息、不易受到干扰的自主式导航系统。惯导通....
的头像 工业机器人应用方案 发表于 01-15 16:29 78次 阅读
新松机器人惯性导航AGV搬运系统方案实例

“智慧奇兵”添助力,构建立体化防疫宣传体系

  “走亲访友少聚会,出门一定戴口罩。”“疫情防控不能松,风险人员不接触。”“密集场所别乱窜,防止疫....
发表于 01-15 16:26 38次 阅读
“智慧奇兵”添助力,构建立体化防疫宣传体系

悬挂式机器人喷涂系统组成

悬挂式机器人喷涂系统可以实现对天车系统和机器人喷涂系统的单独进行操作。在现场天车可以通过操作屏TP7....
的头像 工业机器人应用方案 发表于 01-15 15:51 75次 阅读
悬挂式机器人喷涂系统组成

节卡集成度高的视觉产品——JAKA Lens系列

JAKA Lens视觉可以通过图像处理算法提取图像特征,从而实现2D视觉检测、定位和安全防护;通过高....
的头像 工业机器人应用方案 发表于 01-15 15:48 257次 阅读
节卡集成度高的视觉产品——JAKA Lens系列

机床上下料机器人与数控机床的融合应用已在先端发展之列

这是一个浇铸加工单元,由4台机器人分别完成浇铸及上、下道工序工作,极大地提高了自动化程度。车间工人减....
的头像 工业机器人应用方案 发表于 01-15 15:45 171次 阅读
机床上下料机器人与数控机床的融合应用已在先端发展之列

三星发布数字钥匙解锁汽车新技能

1月15日消息,三星在今天早上举办了他们的Galaxy Unpacked活动,该公司在他们的演讲中用....
的头像 lhl545545 发表于 01-15 14:25 270次 阅读
三星发布数字钥匙解锁汽车新技能

三星在CES 2021上发布滚动个性化机器人

1月11日,全球最具影响力的科技盛会——2021年国际消费类电子产品展览会(CES)正式开幕。但由于....
的头像 MEMS 发表于 01-15 14:20 348次 阅读
三星在CES 2021上发布滚动个性化机器人

国家重点研发计划地面伤员抢运机器人系统集成研究与实现

受疫情影响,经前期多次协调,课题于2020年11月22日至12月18日实施了应用示范现场试验,总计2....
的头像 MEMS 发表于 01-15 14:02 131次 阅读
国家重点研发计划地面伤员抢运机器人系统集成研究与实现

机器人编程教育在幼儿园教学中的应用

幼儿的思维具有拟人化的特点,因此具体的模仿比抽象的要求更能引起幼儿的兴趣。午餐后的散步是有利于幼儿身....
发表于 01-15 13:37 9次 阅读
机器人编程教育在幼儿园教学中的应用

哈佛大学用LED灯开发活体机器鱼 可感知环境内其他鱼类的方向和距离

哈佛大学研究人员受到鱼群的启发,创造了一套鱼形水下机器鱼,它们可以自主导航并找到对方,并合作执行任务....
的头像 Les 发表于 01-15 11:47 198次 阅读
哈佛大学用LED灯开发活体机器鱼 可感知环境内其他鱼类的方向和距离

超3亿元!节卡机器人获协作机器人行业最大单笔融资,开启全球新格局

节卡机器人始终以“用机器人解放双手”为使命,立足中国,面向世界,助力企业迈入工业4.0时代。
发表于 01-15 11:40 75次 阅读
超3亿元!节卡机器人获协作机器人行业最大单笔融资,开启全球新格局

哥伦比亚大学开发出有同情心的机器人

哥伦比亚大学的工程师们创造了一种机器人,它可以学会用视觉预测它的伙伴机器人的行为。工程师表示,该机器....
的头像 如意 发表于 01-15 11:34 189次 阅读
哥伦比亚大学开发出有同情心的机器人

激光雷达成功驶入量产快车道

25亿美元市场规模,2家全球头部上市,国内3家明星企业接连完成新一轮融资,2020年激光雷达赛道持续....
的头像 电子发烧友网 发表于 01-15 11:22 271次 阅读
激光雷达成功驶入量产快车道

防疫机器人优点爆棚 阿汤哥买机器人在片场防疫

在疫情之下,很多人工需求可以替换为机器人来做,这样能够更安全,而以防疫机器人为载体,在机器人内部装置....
的头像 inr999 发表于 01-15 10:48 6831次 阅读
防疫机器人优点爆棚 阿汤哥买机器人在片场防疫

上市公司光云科技拟以1.22亿元溢价收购深绘智能100%股权

美工机器人是深绘智能(DeepDraw)针对于上新量较少,无美工,美工短缺,但要求高品质多样化视觉效....
的头像 Les 发表于 01-15 10:40 218次 阅读
上市公司光云科技拟以1.22亿元溢价收购深绘智能100%股权

工业机器人应用领域解析 工业机器人应用的十大误区

机器人投资通常从几万到百万美元,在第一时间作出正确的选择并且避免常见的错误是非常重要的,因为错误将导....
的头像 工业机器人前沿 发表于 01-15 10:31 208次 阅读
工业机器人应用领域解析 工业机器人应用的十大误区

码垛机器人为什么能取代人工

随着科技工业自动化的发展,很多生产企业都相继从传统制造模式转变为自动化流水线作业,效率提高的同时也降....
发表于 01-15 09:17 91次 阅读
码垛机器人为什么能取代人工

中国联通在5G时代搭载高品质服务的品牌影响力

这是如何实现的呢?原来,依托于智慧客服体系集约化运营优势,在防疫管控措施启动后,中国联通全国一体化系....
发表于 01-14 18:31 303次 阅读
中国联通在5G时代搭载高品质服务的品牌影响力

埃夫特机器人攻入中车多个生产基地 实现了批量应用

1月14日,埃夫特在与投资者互动时提到,目前埃夫特的机器人喷涂系统已经进入中车大连、洛阳、长春和常德....
的头像 Les 发表于 01-14 16:20 265次 阅读
埃夫特机器人攻入中车多个生产基地 实现了批量应用

节卡机器人宣布完成C轮融资金额超3亿元人民币,全球协作机器人行业最大的单笔融资

2021年1月14日,全球领先的协作机器人公司——节卡机器人,宣布完成C轮融资,融资金额超3亿元人民....
的头像 工程师邓生 发表于 01-14 15:11 343次 阅读
节卡机器人宣布完成C轮融资金额超3亿元人民币,全球协作机器人行业最大的单笔融资

我国工业机器人2021年开局的最强音:协作机器人最大单笔融资来了

1月14日中午,节卡机器人对外宣布,其在C轮中成功融资3亿元,由中信产业基金和国投招商领投,老股东方....
的头像 Les 发表于 01-14 15:08 278次 阅读
我国工业机器人2021年开局的最强音:协作机器人最大单笔融资来了

第三届中国行业发展高峰论坛在上海举行

    “第三届中国行业发展高峰论坛”在上海交通大学安泰经济与管理学院成功举行,多位与会嘉宾对中国产....
的头像 中欧商业评论 发表于 01-14 14:33 492次 阅读
第三届中国行业发展高峰论坛在上海举行

灵云智能客服机器人助力智慧交通信息服务

“ETC通行有优惠政策吗?” “高速救援怎么收费?” “绿通产品有哪些标准?怎么预约?” “还要堵多....
的头像 深圳市汽车电子行业协会 发表于 01-14 11:27 208次 阅读
灵云智能客服机器人助力智慧交通信息服务

具有“同理心”的机器人被开发出来

同理心是人类的一种特殊心理状态,是设身处地地对他人的情绪和情感的认知性的觉知、把握与理解,也是指人们....
的头像 Les 发表于 01-14 10:44 123次 阅读
具有“同理心”的机器人被开发出来

城市生态的机器人革命 智能机器与城市自然的共生挑战

城市居民能看到绿色、与自然亲近的机会,被高楼大厦挤压得越来越少,如果有一天,连机器人、无人车和无人机....
的头像 脑极体 发表于 01-14 09:47 363次 阅读
城市生态的机器人革命 智能机器与城市自然的共生挑战

智能测温机器人在呼和浩特机场职工餐厅落地应用

近日,国内多地发生散发病例或聚集性疫情,防控工作责任重大、任务艰巨,疫情形势再度进入严峻期。随着疫情....
发表于 01-14 09:32 146次 阅读
智能测温机器人在呼和浩特机场职工餐厅落地应用

聚焦虚拟 AI /机器人:盘点CES 2021 上代表性的虚拟 AI 和机器人

全数字的 CES 2021 展会仅有 300 多家中国厂商参展,不少中国机器人公司缺席 总有硬件厂商....
的头像 工程师邓生 发表于 01-14 09:14 612次 阅读
聚焦虚拟 AI /机器人:盘点CES 2021 上代表性的虚拟 AI 和机器人

小型超声电机的分类和应用范围详细说明

小型超声电机技术是振动学、波动学、摩擦学、动态设计、电力电子、自动控制、新材料和新工艺等学科结合的新....
发表于 01-14 08:00 21次 阅读
小型超声电机的分类和应用范围详细说明

迷你语音助手小机器人设计方案

智能音箱痛点的迷你语音助手小机器人
发表于 01-14 07:39 0次 阅读
迷你语音助手小机器人设计方案

协作机器人竞争现状及优势

协作机器人的定义 协作机器人是指在共享空间中与人类互动或在附近安全工作的机器人。与传统的工业机器人相....
的头像 Les 发表于 01-13 17:12 203次 阅读
协作机器人竞争现状及优势

索尼进军消费无人机市场,发布Airpeak无人机产品

索尼称,新无人机产品将是世界上最小可搭载索尼Alpha无反相机系统的无人机,能够为动态摄影提供稳定的....
发表于 01-13 16:35 216次 阅读
索尼进军消费无人机市场,发布Airpeak无人机产品

智能巡检机器人满足不同应用环境和监测需求

而智能巡检机器人则可以弥补这些缺陷,与人工维保形成互补。它可以在不接触设备的情况下来了解设备的运转情....
的头像 牵手一起梦 发表于 01-13 15:04 295次 阅读
智能巡检机器人满足不同应用环境和监测需求

自动化武器时代已拉开了序幕

2020年11月下旬,伊朗顶级核科学家莫森·法赫里扎德(Mohsen Fakhrizadeh)在德黑....
的头像 如意 发表于 01-13 14:56 240次 阅读
自动化武器时代已拉开了序幕

人工智能在工业中的应用

随着工业4.0的不断推进,新一轮的工业革命下,信息化技术再一次促进产业变革,人工智能等新技术新理念在....
的头像 电子魔法师 发表于 01-13 14:50 711次 阅读
人工智能在工业中的应用

KTV“聘请”普渡机器人服务员

最近,一组机器人在深圳皇室派对量贩KTV使用的照片刷遍朋友圈。据KTV服务员介绍, 自从“聘请”了机....
的头像 Les 发表于 01-13 14:24 179次 阅读
KTV“聘请”普渡机器人服务员

越南市场成拓斯达海外营收绝对主力,占海外收入的比重为87.06%

从拓斯达2020年上半年海外销售收入按地区统计数据可见,其海外销售主要以亚洲为主,占比94.82%,....
的头像 Les 发表于 01-13 13:56 168次 阅读
越南市场成拓斯达海外营收绝对主力,占海外收入的比重为87.06%

三星推出全球首款运用英特尔AI解决方案机器人吸尘器

1月12日消息,三星电子在2021年国际消费类电子展上,推出了一系列满足用户生活方式和独特需求的产品....
的头像 lhl545545 发表于 01-13 13:40 758次 阅读
三星推出全球首款运用英特尔AI解决方案机器人吸尘器

单片机编码的机器人Protel工程电路原理图及PCB文件免费下载

本文档的主要内容详细介绍的是单片机编码的机器人Protel工程电路原理图及PCB文件免费下载。
发表于 01-13 11:21 28次 阅读
单片机编码的机器人Protel工程电路原理图及PCB文件免费下载

浅析导航底盘如何解决服务机器人室内自主移动难题

近年来,人工智能技术的发展迅猛,商用服务机器人的需求不断激增,基于机器人底层应用进行上层开发的机器人底盘需求也越来越...
发表于 01-07 10:09 202次 阅读
浅析导航底盘如何解决服务机器人室内自主移动难题

小学机器人教育领域分析

​STEM到底是什么,怎么解决STEM师资培养的问题一直是这个专栏关注和想回答的问题。格物斯坦认为让老师们发现自身现有优...
发表于 12-18 11:16 101次 阅读
小学机器人教育领域分析

实现下一代机器人至关重要的关键传感器技术介绍

对实现下一代机器人至关重要的几项关键传感器技术包括磁性位置传感器、存在传感器、手势传感器、力矩传感器、环境传感器和管理传...
发表于 12-07 07:04 1919次 阅读
实现下一代机器人至关重要的关键传感器技术介绍

工业机器人有哪些突发事故?

  1) 低速动作突然变成高速动作。   2) 其他作业人员执行了操作。   3) 因周边设备等发生异常和程序错误,启动了不同...
发表于 12-04 15:54 101次 阅读
工业机器人有哪些突发事故?

《AI 概论》教师手册(第二篇)——AI的基礎知識

1. 簡介人工智慧(AI) 人工智慧的定義 • 人工智慧(Artificial intelligence,簡稱AI),是指讓電腦能夠表現出與人類相類...
发表于 12-03 16:48 707次 阅读
《AI 概论》教师手册(第二篇)——AI的基礎知識

AI概论: <TensorFlow + Excel>可操作教案(Part-B:AI头脑+机器人行为)

任务九: 让AI自动提取特征 任务十: 如何教导AI分辨与? 任务十一: 收集您喜欢的图片,来引导AI自我学习 任务十二...
发表于 12-01 16:07 101次 阅读
AI概论: <TensorFlow + Excel>可操作教案(Part-B:AI头脑+机器人行为)

协作型机器人的应用类型

  工业4.0的制造前景包括从自动化制造向智能制造概念的转变。工业4.0发展中的一大期望是在小批量生产中满足客户对产品变化的需...
发表于 12-01 14:24 101次 阅读
协作型机器人的应用类型

医疗机器人在医疗器械行业有哪些应用?

  医疗机器人在疫情防控方面做出了巨大努力,得到了医护人员和患者的广泛认可。在火神山医院的整套系统软件中,格蕾丝发布了诊...
发表于 11-30 15:16 101次 阅读
医疗机器人在医疗器械行业有哪些应用?

智能救援机器人的功能和作用

  智能机器人配有许多能够识别环境参数的ADM238LJR传感器,可以采集蒸汽成分、现场图像界面、障碍物等信息。该无线数据传...
发表于 11-30 15:10 101次 阅读
智能救援机器人的功能和作用