0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

手眼标定_全面细致的推导过程

工业机器人 来源:工业机器人 2020-07-11 09:57 次阅读

本文解决的问题: 机械手搭载双目相机,手眼标定。 本文有细致的推导过程,非常全面。 什么是手眼标定 确定像素坐标系和空间机械手坐标系的坐标转化关系; 为什么会存在这个? 举一个生活中常见的例子——用手移动物体: 第一步:眼睛观察到三维世界,并将其转换到视网膜平面(三维空间转换到二维平面)传送信息给大脑; 第二步:大脑想要移动某个物体,假设想要将物体从A点移动B点(二维坐标),但是物体是三维空间中的物体,是三维坐标,需要将二维坐标换算成三维坐标; 第三步:大脑已经获得A点和B点的三维坐标,大脑给手(执行机构)发出指令去完成这个任务; 其中第二步就是手眼标定,得到二维坐标(像素坐标)到三维坐标的转换矩阵 在实际控制中,相机检测到目标在图像中的像素位置后,通过标定好的坐标转换矩阵将相机的像素坐标变换到机械手的空间坐标系中,然后根据机械手坐标系计算出各个电机该如何运动,从而控制机械手到达指定位置。这个过程中涉及到了图像标定,图像处理,运动学正逆解,手眼标定等。 相机的装载位置 不在手上(eye-to-hand) 相机固定在一个地方,机械手的运动不会带着相机一起移动。 在手上(eye-in-hand) 相机安装在机械手上,随着机械手一起移动。较为常用。这个实际上和eye-to-hand类似。 可以快速有效地标定被测物体的坐标。 这种情况的标定过程实际上和相机和机械手分离的标定方法是一样的,因为相机拍照时,机械手会运动到相机标定的时候的位置,然后相机拍照,得到目标的坐标,再控制机械手,所以简单的相机固定在末端的手眼系统很多都是采用这种方法,标定的过程和手眼分离系统的标定是可以相同对待的。 ●基于图像的视觉控制 ●基于位置的视觉控制 ●结合两者的混合视觉控制 在正式开始讲解之前,可以看一下:深入浅出地理解机器人手眼标定 对手眼标定有一个直观的认识。 正式开始 本文的相机搭载方案是,hand-in-eye。移动相机,标定求解过程 在推导过程中,我们会用到四个坐标系,分别是: ●基础坐标系(用base表示) ●机械手坐标系(用tool表示) ●相机坐标系(用cam表示) ●标定物坐标系(用cal表示) 下面先给出示意图:

坐标系之间的转换关系说明: ●baseHtool:表示机械手坐标系到基础坐标系的转换关系,可以由机器人系统中得出。(已知) ●toolHcam:表示相机坐标系到机械手坐标系的转换关系;这个转化关系在机械手移动过程中是不变的;(未知,待求) ●calHcam:表示相机坐标系到标定板坐标系的转换关系(相机外參),可以由相机标定求出;(相当于已知) ●baseHcal:表示标定板坐标系到基础坐标系的变换,这个是最终想要得到的结果;只要机械手和标定板的相对位置不变,这个变换矩阵不发生变化。

所以:其中的A已知,X待求,B需要通过相机标定得知(张正友标定法可以求得)。 验证结果

1. 基础坐标系(求解baseHtool) 符合右手定则的XYZ三个坐标轴 ●原点:机器人底座的中心点 ●X轴正向:指向机器人的正前方 ●Z轴正向:指向机器人的正上方 ●Y轴正向:由右手定则确定

六个自由度 ●三个位置:x、y、z(第六轴法兰盘圆心相对于原点的偏移量) ●三个角:Rx、Ry、Rz(第六轴法兰盘的轴线角度,由初始姿态即竖直向上绕x轴旋转Rx度,再绕Y轴旋转Ry度,再绕Z轴旋转Rz度得到) ●旋转方式(机器人RPY角和Euler角 – 基本公式)(机器人学-熊有伦36-40页) ●绕定轴X-Y-Z旋转(判断机械臂输出四元数与代码得到的四元数是否相等得到)

一定要注意欧拉角和李代数不一样,非常容易搞混,因为他们都是3个量 欧拉角:分别绕x、y、z轴旋转的角度,不一样的旋转次序,得到的R不一样; 李代数:维度是3,是绕一个轴转动一定的角度。欧拉角可以理解成李代数在x、y、z轴上的分解旋转。(不一定正确,不过比较形象) 注:不同机械臂示教器显示的法兰盘的数据格式不一样,有的是用欧拉角显示的,有的是用角轴显示的。 2. camHcal相机到标定板 ●注意:标定板坐标系下的坐标转换到相机坐标系下

思路大致如下: ●已知双目相机的内参、畸变系数、外参(Pr=R∗Pl+t P_r=R*P_l+tP r=R∗P l +t), ●对左右相机的两张图片调用OpenCV中的findChessboardCorners函数,找到内角点(如果结果不好,继续提取亚像素点); ●将左右相机的像素点对应起来,得到匹配的2d点; ●使用空间异面直线的方法,用对应的2d点计算出以右相机为世界坐标系的3维坐标Pcam P_{cam}P cam ;(立体视觉匹配) ●计算出每个角点以棋盘格为世界坐标的3维坐标Pcal P_{cal}P cal; ●通过解方程Pcam=camHcal∗Pcal P_{cam}=camHcal*P_{cal}P cam=camHcal∗P cal 求解出外参(3d-3d:ICP,SVD奇异值分解(十四讲173页)) 张正友相机标定Opencv实现

参数解释: ●第一个参数Image,传入拍摄的棋盘图Mat图像,必须是8位的灰度或者彩色图像; ●第二个参数patternSize,每个棋盘图上内角点的行列数,一般情况下,行列数不要相同,便于后续标定程序识别标定板的方向; ●第三个参数corners,用于存储检测到的内角点图像坐标位置,一般用元素是Point2f的向量来表示:vector image_points_buf; ●第四个参数flage:用于定义棋盘图上内角点查找的不同处理方式,有默认值。 3. 求解AX=XB 以下四篇论文对应着四种求解方法 Tsai, Roger Y., and Reimar K. Lenz. “A new technique for fully autonomous and efficient 3D robotics hand/eye calibration.” IEEE Transactions on robotics and automation 5.3 (1989): 345-358.(博客:Tsai-Lenz的OpenCV实现) Horaud, Radu, and Fadi Dornaika. “Hand-eye calibration.” The international journal of robotics research 14.3 (1995): 195-210. Park, Frank C., and Bryan J. Martin. “Robot sensor calibration: solving AX= XB on the Euclidean group.” IEEE Transactions on Robotics and Automation10.5 (1994): 717-721.(博客:Navy的OpenCV实现) Daniilidis, Konstantinos. “Hand-eye calibration using dual quaternions.” The International Journal of Robotics Research 18.3 (1999): 286-298. 网上有源代码可以下载:经典手眼标定算法C++代码 文献3采用的是李群的理论,将AX=XB转化成最小二乘问题; 文献4采用的时对偶四元数的知识,用对偶四元数表达旋转和平移,从而进行统一计算; 着四种算法精度差不多,不过文献4的效果要更好点。 具体实现文献3的算法,下面具体介绍 对数:乘法变加法 李群李代数

利用李群知识求解AX=XB

采用“两步法”求解上述方程,先解算旋转矩阵,再求得平移向量。

求解旋转矩阵

代码:用两组数据求解方程AX=XB

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 机械手
    +关注

    关注

    7

    文章

    308

    浏览量

    29215
  • 视网膜
    +关注

    关注

    0

    文章

    34

    浏览量

    12702

原文标题:手眼标定_全面细致的推导过程

文章出处:【微信号:indRobot,微信公众号:工业机器人】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    机器人手眼标定技术你真的懂吗?

    相机知道的是像素坐标,机械手是空间坐标系,所以手眼标定就是得到像素坐标系和空间机械手坐标系的坐标转化关系。
    发表于 03-18 09:44 64次阅读
    机器人<b class='flag-5'>手眼</b><b class='flag-5'>标定</b>技术你真的懂吗?

    AS2S1210环路公式的具体推导过程是怎样的?

    ,根据此页上的公式(10)里的参数c,在公式(15) 妇女(15)里没有体现,想请问下该公式的具体推导过程,或提供一下这款手册的勘误,谢谢您!
    发表于 12-04 06:24

    浅析传感器的外参标定和在线标定问题

    作为无人车以及智能机器人而言,在装配过程中各个传感器之间的外参标定一直是比较头疼的问题。这里作者也系统的学习了一下,传感器的外参标定和在线标定问题。
    发表于 11-20 15:45 321次阅读
    浅析传感器的外参<b class='flag-5'>标定</b>和在线<b class='flag-5'>标定</b>问题

    相机标定究竟在标定什么?

    这个逼近的过程就是「相机标定」,我们用简单的数学模型来表达复杂的成像过程,并且求出成像的反过程标定之后的相机,可以进行三维场景的重建,即深
    的头像 发表于 10-18 17:00 496次阅读
    相机<b class='flag-5'>标定</b>究竟在<b class='flag-5'>标定</b>什么?

    亥姆霍兹定理的证明过程 亥姆霍兹方程的推导

    亥姆霍兹定理的证明过程 亥姆霍兹方程的推导 亥姆霍兹定理(Helmholtz Theorem)是物理学中的一个基本定理,描述了向量场的分解和表示问题,是研究电磁场、流体力学等现代物理学领域的重要工具
    的头像 发表于 08-29 17:09 5010次阅读

    整流桥后Bulk电容选取及推导过程

    在AC-DC电源电路中,有时整流桥后会放置一定容量的电解电容,起到滤波及储能的作用,我们称之为Bulk电容,很多工程师会根据经验按照每瓦3uF的标准去选取,那么每瓦3uF的标准从何而来,本篇将推导其计算过程,并介绍Bulk电容如何选取。
    的头像 发表于 08-23 15:15 1679次阅读
    整流桥后Bulk电容选取及<b class='flag-5'>推导</b><b class='flag-5'>过程</b>

    常见的机器人视觉伺服中的标定技术有哪些

    常见的机器人视觉伺服中要实现像素坐标与实际坐标的转换,首先就要进行标定,对于实现视觉伺服控制,这里的标定不仅包括摄像机标定,也包括机器人系统的手眼
    发表于 08-04 11:48 590次阅读
    常见的机器人视觉伺服中的<b class='flag-5'>标定</b>技术有哪些

    什么是电机标定?电机标定的工作原理

    假设已经实现了电机控制,后续的电机标定大抵上分成两类,一类是效率标定,一类是外特性标定。前者目标是以提升在各工况下的系统效率。假设你了解交直轴变换,那么效率标定的目标,就是通过调整交直
    发表于 08-04 10:26 2320次阅读
    什么是电机<b class='flag-5'>标定</b>?电机<b class='flag-5'>标定</b>的工作原理

    张正友标定方法是手眼标定吗 如何分析相机标定参数的好坏

    张正友标定方法是一种经典的相机标定方法,目前是最受欢迎的方法之一。该方法通过一种机器学习的方法,利用大量匹配的数据点像素坐标、世界坐标,基于极大似然估计拟合得到一个最优解。
    发表于 08-03 10:59 658次阅读
    张正友<b class='flag-5'>标定</b>方法是<b class='flag-5'>手眼</b><b class='flag-5'>标定</b>吗 如何分析相机<b class='flag-5'>标定</b>参数的好坏

    如何利用旋转中心进行手眼标定呢?

    首先,我们要了解一下常规的手眼标定流程是怎么样的。
    的头像 发表于 07-25 16:52 2265次阅读
    如何利用旋转中心进行<b class='flag-5'>手眼</b><b class='flag-5'>标定</b>呢?

    手眼标定的详细推导过程

    机械手搭载双目相机,手眼标定
    的头像 发表于 07-11 11:18 870次阅读
    <b class='flag-5'>手眼</b><b class='flag-5'>标定</b>的详细<b class='flag-5'>推导</b><b class='flag-5'>过程</b>

    手眼标定(九点法)

    在实际控制中,相机检测到目标在图像中的像素位置后,通过标定好的坐标转换矩阵将相机的像素坐标变换到机械手的空间坐标系中,然后根据机械手坐标系计算出各个电机该如何运动,从而控制机械手到达指定位置。这个过程中涉及到了图像标定,图像处理
    的头像 发表于 07-03 15:45 2338次阅读
    <b class='flag-5'>手眼</b><b class='flag-5'>标定</b>(九点法)

    基于Mathcad的LLC公式推导与化简(1)

     本文将使用Mathcad对LLC公式进行全面推导,主要包括以下几个部分。
    的头像 发表于 06-23 10:45 1627次阅读
    基于Mathcad的LLC公式<b class='flag-5'>推导</b>与化简(1)

    如何学习相机模型与标定

    相机标定是通过输入带有标定patter的标定板来获得相机参数的一个过程。实际的光学成像是一套非常复杂的过程,从三维世界投影到相机中的二维图像
    的头像 发表于 06-01 14:36 438次阅读
    如何学习相机模型与<b class='flag-5'>标定</b>?

    机器人手眼标定推导过程

    机械手搭载双目相机,手眼标定
    的头像 发表于 04-20 16:32 889次阅读