张飞软硬开源基于STM32 BLDC直流无刷电机驱动器开发视频套件,👉戳此立抢👈

视觉导航定位系统的系统基本组成与工作原理

新机器视觉 2019-06-12 09:09 次阅读

机器人研究的核心就是:导航定位、路径规划、避障、多传感器融合。定位技术有几种,不关心,只关心视觉的。视觉技术用到“眼睛”可以分为:单目,双目,多目、RGB-D,后三种可以使图像有深度,这些眼睛亦可称为VO(视觉里程计:单目or立体),维基百科给出的介绍:在机器人和计算机视觉问题中,视觉里程计就是一个通过分析处理相关图像序列来确定机器人的位置和姿态。

当今,由于数字图像处理和计算机视觉技术的迅速发展,越来越多的研究者采用摄像机作为全自主用移动机器人的感知传感器。这主要是因为原来的超声或红外传感器感知信息量有限,鲁棒性差,而视觉系统则可以弥补这些缺点。而现实世界是三维的,而投射于摄像镜头(CCD/CMOS)上的图像则是二维的,视觉处理的最终目的就是要从感知到的二维图像中提取有关的三维世界信息。

系统基本组成:CCD、PCI、PC及其外设等。

CCD/CMOS

一行硅成像元素,在一个衬底上配置光敏元件和电荷转移器件,通过电荷的依次转移,将多个象素的视频信号分时、顺序地取出来,如面阵CCD传感器采集的图像的分辨率可以从32×32到1024×1024像素等。

视频数字信号处理器

图像信号一般是二维信号,一幅图像通常由512×512个像素组成(当然有时也有256×256,或者1024×1024个像素),每个像素有256级灰度,或者是3×8bit,红黄兰16M种颜色,一幅图像就有256KB或者768KB(对于彩色)个数据。为了完成视觉处理的传感、预处理、分割、描述、识别和解释,上述前几项主要完成的数学运算可归纳为:

(1)点处理常用于对比度增强、密度非线性较正、阈值处理、伪彩色处理等。每个像素的输入数据经过一定关系映射成像素的输出数据,例如对数变换可实现暗区对比度扩张。

(2)二维卷积的运算常用于图像平滑、尖锐化、轮廓增强、空间滤波、标准模板匹配计算等。若用M×M卷积核矩阵对整幅图像进行卷积时,要得到每个像素的输出结果就需要作M2次乘法和(M2-1)次加法,由于图像像素一般很多,即使用较小的卷积和,也需要进行大量的乘加运算和访问存储器

(3)二维正交变换常用二维正交变换有FFT、Walsh、Haar和K-L变换等,常用于图像增强、复原、二维滤波、数据压缩等。

(4)坐标变换常用于图像的放大缩小、旋转、移动、配准、几何校正和由摄影值重建图像等。

(5)统计量计算如计算密度直方图分布、平均值和协方差矩阵等。在进行直方图均衡器化、面积计算、分类和K-L变换时,常常要进行这些统计量计算。

视觉导航定位系统的工作原理

简单说来就是对机器人周边的环境进行光学处理,先用摄像头进行图像信息采集,将采集的信息进行压缩,然后将它反馈到一个由神经网络和统计学方法构成的学习子系统,再由学习子系统将采集到的图像信息和机器人的实际位置联系起来,完成机器人的自主导航定位功能。

1)摄像头标定算法:2D-3D映射求参。

传统摄像机标定主要有 Faugeras 标定法、Tscai 两步法、直接线性变换方法、张正友平面标定法和 Weng迭代法。自标定包括基于 Kruppa 方程自标定法、分层逐步自标定法、基于绝对二次曲面的自标定法和 Pollefeys 的模约束法。视觉标定有马颂德的三正交平移法、李华的平面正交标定法和 Hartley 旋转求内参数标定法。

2)机器视觉与图像处理:

a.预处理:灰化、降噪、滤波、二值化、边缘检测。。。

b.特征提取:特征空间到参数空间映射。算法有HOUGH、SIFT、SURF

c.图像分割:RGB-HIS。

d.图像描述识别

3)定位算法:基于滤波器的定位算法主要有KF、SEIF、PF、EKF、UKF等。

也可以使用单目视觉和里程计融合的方法。以里程计读数作为辅助信息,利用三角法计算特征点在当前机器人坐标系中的坐标位置,这里的三维坐标计算需要在延迟一个时间步的基础上进行。根据特征点在当前摄像头坐标系中的三维坐标以及它在地图中的世界坐标,来估计摄像头在世界坐标系中的位姿。这种降低了传感器成本,消除了里程计的累积误差,使得定位的结果更加精确。此外,相对于立体视觉中摄像机间的标定,这种方法只需对摄像机内参数进行标定,提高了系统的效率。

定位算法基本过程:

简单的算法过程,可基于OpenCV进行简单实现。

输入

通过摄像头获取的视频流(主要为灰度图像,stereo VO中图像既可以是彩色的,也可以是灰度的 ),记录摄像头在t和t+1时刻获得的图像为It和It+1,相机的内参,通过相机标定获得,可以通过matlab或者opencv计算为固定量。

输出

计算每一帧相机的位置+姿态

基本过程

● 获得图像It,It+1

● 对获得图像进行畸变处理

● 通过FAST算法对图像It进行特征检测,通过KLT算法跟踪这些特征到图像It+1中,如果跟踪特征有所丢失,特征数小于某个阈值,则重新进行特征检测

● 通过带RANSAC的5点算法来估计两幅图像的本质矩阵

● 通过计算的本质矩阵进行估计R,t

● 对尺度信息进行估计,最终确定旋转矩阵和平移向量

原文标题:机器人视觉系统组成及定位算法(难得的好资料)

文章出处:【微信号:vision263com,微信公众号:新机器视觉】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
分享:

评论

相关推荐

让机器“看见”—计算机视觉入门及实战

直播主题及亮点本次直播,讲者将结合自己过去16年中在机器视觉领域的研发经验,讲解智能视频分析技术的基本概念、基本方法、以
发表于 07-19 00:00 13939次 阅读
让机器“看见”—计算机视觉入门及实战

从视觉AI应用案例,看AI落地的瓶颈在哪里?

视觉人工智能的应用场景十分丰富,商业化价值巨大,全球40%的AI企业都集中在视觉AI领域。在视觉AI....
的头像 荷叶塘 发表于 06-25 15:42 321次 阅读
从视觉AI应用案例,看AI落地的瓶颈在哪里?

清华成立视觉智能研究中心,邓志东任中心主任

6月21日,清华大学人工智能研究院视觉智能研究中心正式成立
的头像 AI科技大本营 发表于 06-25 14:21 58次 阅读
清华成立视觉智能研究中心,邓志东任中心主任

行业无龙头、市场空间大,机器视觉大幕已起

整个行业前景巨大,且没有龙头出现,大家处于快速抢占市场的阶段。
的头像 高工机器人 发表于 06-25 09:17 178次 阅读
行业无龙头、市场空间大,机器视觉大幕已起

教你如何选工业机器人视觉

工业机器人的眼睛视觉系统通常由以下构成
的头像 新机器视觉 发表于 06-25 09:13 119次 阅读
教你如何选工业机器人视觉

视觉AI第一股 虹软科技科创板IPO过会

近日,科创板上市委2019年第8次审议会议结果出炉,中国通号、虹软科技通过科创板上市委审议,即将进入....
的头像 半导体投资联盟 发表于 06-24 16:59 329次 阅读
视觉AI第一股 虹软科技科创板IPO过会

行业 | 机器视觉常用图像软件对比及分析

机器视觉处理软件:用来完成输入图像数据的处理,通过一定的运算得出结果,这个输出的结果可能是PASS/....
的头像 新机器视觉 发表于 06-24 16:41 261次 阅读
行业 | 机器视觉常用图像软件对比及分析

如何设计出符合食品要求的高速OCR产品?

软件上使用图像集优化算法参数,并为必要的处理和成像硬件建立基线。
的头像 外星眼机器视觉网 发表于 06-24 16:25 159次 阅读
如何设计出符合食品要求的高速OCR产品?

阜时科技与华中科大成立人工智能与机器视觉技术联合实验室

近日,深圳市南山区博林天瑞喜来登酒店内,高朋满座,掌声雷动。华中科技大学、深圳阜时科技有限公司主办,....
的头像 MEMS 发表于 06-24 11:32 332次 阅读
阜时科技与华中科大成立人工智能与机器视觉技术联合实验室

HALCON机器视觉软件快速指导中文手册免费下载

HALCON 是当今machine vision技术的代表,它总是以最新科技为基础,提供了现今市场中....
发表于 06-24 08:00 23次 阅读
HALCON机器视觉软件快速指导中文手册免费下载

机器视觉教程工程光学李林主编PDF电子书免费下载

本书系统地介绍了光学设计光学溅最和光学工艺的主要知识。全书内容共分三个部分第一部分是光学设计,介绍了....
发表于 06-24 08:00 14次 阅读
机器视觉教程工程光学李林主编PDF电子书免费下载

机器人如何做到自主决策 机器人视觉给出答案

但现在市面上没有这个机器人,那视频里的机器人是怎么做到的?实际是旁边有个人通过一个遥控手柄一点一点地....
的头像 DeepTech深科技 发表于 06-23 10:22 349次 阅读
机器人如何做到自主决策 机器人视觉给出答案

机器视觉对工业机器人产业发展的重要性

工业4.0 时代,工厂的自动化设备通常只能应对精确位置,不像人工可以处理简单偏差。而机器视觉能缩短这....
的头像 新机器视觉 发表于 06-23 09:21 400次 阅读
机器视觉对工业机器人产业发展的重要性

L4级自动驾驶纯视觉解决方案Apollo Lite来了!

日前,百度纯视觉城市道路闭环解决方案——Apollo Lite在CVPR 2019首次面世。
的头像 智车科技 发表于 06-22 12:16 749次 阅读
L4级自动驾驶纯视觉解决方案Apollo Lite来了!

使用机器视觉进行药片缺陷检测的详细分析

药片缺陷检测是药片生产过程中的关键环节,其检测结果的好坏直接影响着药品的质量。常见的人工检测方法:成....
的头像 新机器视觉 发表于 06-22 09:55 301次 阅读
使用机器视觉进行药片缺陷检测的详细分析

机器视觉即将取代人类视觉了吗?

智能制造已成为全球制造业升级发展的重要方向,未来工厂里将采用越来越来越多的自动化技术,包括机器人、人....
的头像 新机器视觉 发表于 06-22 09:53 339次 阅读
机器视觉即将取代人类视觉了吗?

未来机器视觉技术发展的五大趋势应该是怎么样的

在过去的一年里,人工智能(AI)、大数据、3D成像和机器人过程自动化等领域在取得了空前的发展。在即将....
的头像 新机器视觉 发表于 06-22 09:49 289次 阅读
未来机器视觉技术发展的五大趋势应该是怎么样的

廉价劳动力已成为过去,机器视觉应用广泛前景无限

自动化的发展史也是机器逐步取代人力的历史,在制造业转型升级的过程中,机器人开始取代落后的人力劳动。
的头像 新机器视觉 发表于 06-22 09:01 359次 阅读
廉价劳动力已成为过去,机器视觉应用广泛前景无限

2019年5月“人工智能”主题精选资料合集

电子发烧友总结了以“人工智能”为主题的5月精选干货,今后每月一个主题为一期,希望对各位有所帮助!(点击标题即可进入页面下载...
发表于 06-21 10:34 327次 阅读
2019年5月“人工智能”主题精选资料合集

智能视觉技术在智能制造中的应用

智能制造结合了人工智能、大数据、物联网等新一代智能信息技术,贯穿产品全生命周期,实现从了工厂到市场的....
的头像 智汇工业 发表于 06-21 10:19 314次 阅读
智能视觉技术在智能制造中的应用

机器人视觉与计算机视觉有什么不同?

在基本术语中,机器人视觉涉及使用相机硬件和计算机算法的结合,让机器人处理来自现实世界的视觉数据。例如....
的头像 新机器视觉 发表于 06-21 09:31 185次 阅读
机器人视觉与计算机视觉有什么不同?

解读两种机器视觉系统电路设计方案

    随着我国汽车工业的发展和人民生活水平的提高,汽车越来越多地进入普通家庭。由于各种突发性道路交通事故与汽车盗...
发表于 06-21 09:28 143次 阅读
解读两种机器视觉系统电路设计方案

亮相双创周亦庄会场 SENSORO用AIoT硬科技安全服务你的每一刻

近日,SENSORO(北京升哲科技有限公司)继参加 2019 年全国双创周北京会场后,再度携城市级A....
的头像 升哲科技 发表于 06-21 08:50 212次 阅读
亮相双创周亦庄会场 SENSORO用AIoT硬科技安全服务你的每一刻

基于图像分析技术的无编程新型机器视觉系统

            本文介绍一种无需编程的新型机器视觉系统,针对上述市场现状,其有以下优...
发表于 06-21 08:30 118次 阅读
基于图像分析技术的无编程新型机器视觉系统

生活中“无处不在”的技术——机器视觉

全球机器视觉市场仍然处在一个稳健快速的成长阶段。根据BCC Research的预测,2018年全球机器视觉市场约为160亿美元,到2023年...
发表于 06-21 08:00 138次 阅读
生活中“无处不在”的技术——机器视觉

谁才是真正的C位 让AI告诉你

C位是近年网络上一个比较热门的词,最早来源于DOTA等游戏领域,是核心位置(Carry位)的简称,代....
的头像 人工智能与大数据技术 发表于 06-20 17:34 729次 阅读
谁才是真正的C位 让AI告诉你

多相机视觉系统的坐标系统标定与统一及其应用

随着机器视觉应用的日益广泛,大幅面多相机视觉系统的需求越来越多,主要应用方向为大幅面高精度的定位与测....
的头像 新机器视觉 发表于 06-20 14:44 276次 阅读
多相机视觉系统的坐标系统标定与统一及其应用

工业4.0离不开智能视觉技术 相当于人类视觉在机器上的延伸

基于计算机视觉与深度学习的人脸检测、人脸识别技术正在从安防、商业、金融、家居等各个领域不断迅速地、广....
的头像 Thundersoft中科创达 发表于 06-19 17:23 561次 阅读
工业4.0离不开智能视觉技术 相当于人类视觉在机器上的延伸

LCD屏下指纹量产在即 阜时科技携手华中科大成立实验室

近日,由华中科技大学、深圳阜时科技有限公司主办的“芯时代、芯征程、芯机遇”人工智能与机器视觉高峰论坛....
的头像 第一手机界 发表于 06-19 16:23 489次 阅读
LCD屏下指纹量产在即 阜时科技携手华中科大成立实验室

解析连接器制造过程的四个阶段

电子连接器种类繁多,但制造过程是基本一致的,一般可分为下面四个阶段:冲压(Stamping),电镀(....
发表于 06-19 11:11 68次 阅读
解析连接器制造过程的四个阶段

麻省理工学院开发了一种更好的机器人预测人类运动的新方法

人类和机器人一起工作对工厂和建筑工地等环境有着巨大的潜力,但机器人对人也有着高度的潜在危险,尤其是当....
的头像 新机器视觉 发表于 06-19 08:56 308次 阅读
麻省理工学院开发了一种更好的机器人预测人类运动的新方法

决定机器视觉的两大要素 国内外视觉芯片市场及发展前景

机器视觉之于人工智能等同于视觉之于人类,本文系统介绍决定机器视觉的两大要素——视觉算法和芯片,重点介....
的头像 新机器视觉 发表于 06-19 08:52 603次 阅读
决定机器视觉的两大要素 国内外视觉芯片市场及发展前景

图像读取:机器视觉处理的测试程序

在机器视觉处理中,我们经常要对检测到的物体的方位特征进行评估。比如说,我们要 OCR 识别一个字符串。那么这个字符串与x轴的...
发表于 06-19 08:30 154次 阅读
图像读取:机器视觉处理的测试程序

机器视觉之ICP算法和RANSAC算法

临时研究了下机器视觉两个基本算法的算法原理 ,可能有理解错误的地方,希望发现了告诉我一下 主要是了解思想,就不写具体的计算...
发表于 06-19 08:00 122次 阅读
机器视觉之ICP算法和RANSAC算法

基于机器视觉的自动插件系统

本系统搭建了基于单目视觉的SCARA机器人硬件平台,并使用圆形供料盘混合投放多种颜色的保险片,利用CCD摄像机获取保险片...
发表于 06-19 06:30 180次 阅读
基于机器视觉的自动插件系统

机器视觉中的光源照明技术及其图像处理

一、机器视觉光源照明技术的几个要素 1、方向:选择不同的光源,控制和调节照射到物体上的入射光的方向是机器视觉系统设计的最...
发表于 06-19 06:00 170次 阅读
机器视觉中的光源照明技术及其图像处理

物联赋能智能制造 移动创造价值

海康机器人华南区总经理陈少俊在会议上做了《物联赋能智能制造,移动创造价值》为主题的演讲。
的头像 高工机器人 发表于 06-18 09:25 458次 阅读
物联赋能智能制造 移动创造价值

机器视觉之于人工智能等同于视觉之于人类

机器视觉之于人工智能等同于视觉之于人类,本文系统介绍决定机器视觉的两大要素——视觉算法和芯片,重点介....
的头像 机器视觉 发表于 06-18 09:08 796次 阅读
机器视觉之于人工智能等同于视觉之于人类

以后不用学习拍照技术了实时在线AI构图模型VPN让你变身摄影大神

当我们看到好看的风景,有趣的小东西,可口的菜肴,可爱的小狗,我们喜欢掏出兜里的手机拍一张照。但是对着....
的头像 AI科技大本营 发表于 06-16 10:35 583次 阅读
以后不用学习拍照技术了实时在线AI构图模型VPN让你变身摄影大神

机器视觉的图像二值化详细分析

传统的机器视觉通常包括两个步骤——预处理和物体检测。而沟通二者的桥梁则是图像分割(Image Seg....
的头像 新机器视觉 发表于 06-16 09:22 365次 阅读
机器视觉的图像二值化详细分析

工业相机如何如何消除表面的干扰实现稳定检测

使用新开发的超高速相机和超高速部分亮灯照明,对对象工件进行拍摄。这是一种全新的拍摄方法,它将对多个方....
的头像 新机器视觉 发表于 06-16 09:08 318次 阅读
工业相机如何如何消除表面的干扰实现稳定检测

医疗保健的RFID解决方案

改善患者护理并降低成本在过去十年中,RFID已成为医疗保健系统和患者体验中不可或缺的一部分。
的头像 RFID头条 发表于 06-14 10:38 449次 阅读
医疗保健的RFID解决方案

大规模变革浪潮已开启 MWC上海展示中国领先AI实力

数据显示,2018年人工智能(AI)领域的全球融资高达200亿美元,这不仅是AI领域的历史最高水平,....
的头像 C114通信网 发表于 06-13 17:24 587次 阅读
大规模变革浪潮已开启 MWC上海展示中国领先AI实力

干货 | 单镜头视觉系统检测车辆的测距方法

以前提过单目测距的问题,检测的障碍物2-D框加上摄像头的姿态和路面假设。
的头像 新机器视觉 发表于 06-13 17:19 306次 阅读
干货 | 单镜头视觉系统检测车辆的测距方法

浅谈UWB室内无线定位技术

随着无线通信技术的发展和数据处理能力的提高,基于位置的服务成为最有前途的互联网业务之一。无论移动在室....
发表于 06-13 10:49 209次 阅读
浅谈UWB室内无线定位技术

计算机视觉的应用服务于机器学习 各个环节缺一不可相辅相成

要实现计算机视觉必须有图像处理的帮助,而图像处理倚仗与模式识别的有效运用,而模式识别是人工智能领域的....
的头像 新机器视觉 发表于 06-13 09:01 356次 阅读
计算机视觉的应用服务于机器学习 各个环节缺一不可相辅相成

3D视觉检测的未来 光度立体技术

利用3D表面定向,特别是它对反射光的影响,工业应用的光度立体产生对比度图像,突出了局部3D表面变化。
的头像 新机器视觉 发表于 06-13 08:56 308次 阅读
3D视觉检测的未来 光度立体技术

Labview基于机器视觉与运动控制的工业自动化

发表于 06-13 06:30 357次 阅读
Labview基于机器视觉与运动控制的工业自动化

基于OpenCV3.0的BM、SGBM和GC算法对比

基于OpenCV3.0,对BM、SGBM和GC算法进行了对比测试研究。由于SGBM算法视差效果好速度....
的头像 机器视觉 发表于 06-12 15:10 344次 阅读
基于OpenCV3.0的BM、SGBM和GC算法对比

智能机器人视觉传感器的技术和应用

关于机器人视觉传感器传感技术是现金机器人的三大要素(感知、决策和动作)之一,工业机器人根据完成的任务....
的头像 电机控制设计加油站 发表于 06-11 10:59 611次 阅读
智能机器人视觉传感器的技术和应用

AI更爱识别有钱人 准确率高出20%!

Facebook的研究表明,AI对物体并非无差异识别,计算机视觉系统能更加高效地识别更贵的家庭物体。
的头像 人工智能观察 发表于 06-11 10:12 472次 阅读
AI更爱识别有钱人 准确率高出20%!

汽车行业人工智能应用现状及展望

面对日益激烈的竞争,汽车行业希望借助人工智能技术降低成本,增强竞争力。本文从技术、场景、应用案例等角....
的头像 墨记 发表于 06-11 09:43 1635次 阅读
汽车行业人工智能应用现状及展望

卷积学习与图像识别的技术发展

自20世纪80年代兴起的神经网络热潮已经退去,神经网络再次成为常规科学。托马斯·库恩(Thomas ....
的头像 新机器视觉 发表于 06-11 09:08 284次 阅读
卷积学习与图像识别的技术发展

机器视觉中图像前置知识颜色模型的分类与应用

RGB颜色模型(也叫红、绿、蓝三原色模型或者加色混色模型):将红、绿、蓝3种不同颜色,根据亮度配比的....
的头像 新机器视觉 发表于 06-11 09:02 271次 阅读
机器视觉中图像前置知识颜色模型的分类与应用

智能制造浪潮下 机器视觉产业迎来春天

机器视觉在未来的智能工厂中发挥着关键作用,未来自动化生产线将能够自我调整,以最大限度地提高质量、产量....
的头像 新机器视觉 发表于 06-11 08:56 492次 阅读
智能制造浪潮下 机器视觉产业迎来春天

智能小车进行避障的详细资料说明如何让小车看到障碍物

本文档的主要内容详细介绍的是智能小车进行避障的详细资料说明机器视觉中最接近人眼的莫过于摄像头了,可图....
发表于 06-10 17:52 85次 阅读
智能小车进行避障的详细资料说明如何让小车看到障碍物

工业视觉控制器的工作原理

机器视觉在自动化测量系统中的应用日益普及。其原因是越来越名的信息需要从相机中提取,而不是从一个专用传....
发表于 06-10 17:15 168次 阅读
工业视觉控制器的工作原理

视觉导航定位系统的工作原理

机器人研究的核心就是:导航定位、路径规划、避障、多传感器融合。
的头像 电子发烧友网 发表于 06-10 14:17 379次 阅读
视觉导航定位系统的工作原理

图书生产缺陷控制居然因为它 得到了有效控制!

视觉检测技术综合了机械、电子、光学、计算机等方面的技术,涉及到计算机、图像处理、模式识别、人工智能、....
的头像 机器视觉自动化 发表于 06-10 09:06 495次 阅读
图书生产缺陷控制居然因为它 得到了有效控制!

机器人视觉系统组成及定位算法分析

1.机器人视觉 机器人研究的核心就是:导航定位、路径规划、避障、多传感器融合。定位技术有几种,不关心,只关心视觉的。视觉...
发表于 06-08 08:30 181次 阅读
机器人视觉系统组成及定位算法分析

关于机器视觉金属探头检测的案例

“ “十三五”规划的出台,明确把机器人产业作为我国工业发展的重点方向,推动机器换人,加快企业转型升级....
的头像 电子发烧友网 发表于 06-06 15:36 804次 阅读
关于机器视觉金属探头检测的案例