侵权投诉

双目视觉简介及算法一般流程

新机器视觉 2020-10-23 09:51 次阅读

1.1. 双目视觉简介

双目视觉广泛应用在机器人导航,精密工业测量、物体识别、虚拟现实、场景重建,勘测领域。

什么是双目视觉?

双目视觉是模拟人类视觉原理,使用计算机被动感知距离的方法。从两个或者多个点观察一个物体,获取在不同视角下的图像,根据图像之间像素的匹配关系,通过三角测量原理计算出像素之间的偏移来获取物体的三维信息。

得到了物体的景深信息,就可以计算出物体与相机之间的实际距离,物体3维大小,两点之间实际距离。目前也有很多研究机构进行3维物体识别,来解决2D算法无法处理遮挡,姿态变化的问题,提高物体的识别率。

1.2. 算法一般流程

图1 双目视觉算法流程

1.2.1. 离线标定

标定的目的是获取相机的内参(焦距,图像中心,畸变系数等)和外参(R(旋转)矩阵T(平移)矩阵,用于对其两个相机)。目前比较常用的方法为张正友的棋盘格标定方法,Opencv和Matlab上均有实现。但是一般为了获取更高的标定精度,采用工业级的(60*60格子)玻璃面板效果会更好。并且有人也建议使用Matlab,因为精度包括可视化效果会更好一些,并且Matlab的结果保存为xml,Opencv也可以直接读入,但是步骤相对于Opencv的麻烦了一些。这是Matlab标定工具箱的连接:http://www.vision.caltech.edu/bouguetj/calib_doc/

步骤为:

(1)左摄像头标定,获取内外参数。

(2)右参数摄像头标定获取外参。

(3)    双目标定,获取相机之间的平移旋转关系。


 

图2  Matlab双目视觉标定

1.2.2. 双目矫正

矫正的目的是得到的参考图与目标图之间,只存在X方向上的差异。提高视差计算的准确性。

矫正分为两个步骤

l  畸变矫正

 
 

图3 畸变矫正

l  将相机转化为标准形式


 

图4 转换为标准形式

因为矫正部分,会对图像所有点的位置进行重新计算,因而算法处理的分辨率越大耗时越大,而且一般需要实时处理两张图像。而且这种算法并行化强标准化程度较高,建议使用IVE进行硬化,类似Opencv中的加速模式,先得到映射Map,再并行化使用映射Map重新得到像素位置。Opencv中的矫正函数为cvStereoRectify。

1.2.3. 双目匹配

双目匹配是双目深度估计的核心部分,发展了很多年,也有非常多的算法,主要目的是计算参考图与目标图之间像素的相对匹配关系,主要分为局部和非局部的算法。一般有下面几个步骤。

l  匹配误差计算

l  误差集成

l  视差图计算/优化

l  视差图矫正

一般局部算法,使用固定大小或者非固定大小窗口,计算与之所在一行的最优匹配位置。如下图为最简单的局部方式,求一行最佳对应点位置,左右视图X坐标位置差异为视差图。为了增加噪声,光照的鲁棒性可以使用固定窗口进行匹配,也可以对图像使用LBP变换之后再进行匹配。一般的匹配损失计算函数有:SAD,SSD,NCC等。一般采用最大视差也可以限制最大搜索范围,也可以使用积分图和Box Filter进行加速计算。目前效果较好的局部匹配算法为基于Guided Filter的使用Box Filter和积分图的双目匹配算法,局部算法易于并行化,计算速度快,但是对于纹理较少的区域效果不佳,一般对图像分割,将图像分为纹理丰富和纹理稀疏的区域,调整匹配窗大小,纹理稀疏使用小窗口,来提高匹配效果。

 
 

图5 基于线性搜索的视差计算

非局部的匹配算法,将搜索视差的任务看做最小化一个确定的基于全部双目匹配对的损失函数,求该损失函数的最小值即可得到最佳的视差关系,着重解决图像中不确定区域的匹配问题,主要有动态规划(Dynamic Programming),信任传播(Blief Propagation),图割算法(Graph Cut)。目前效果最好的也是图割算法,Opencv中提供的图割算法匹配耗时很大。

图割算法主要是为了解决动态规划算法不能融合水平和竖直方向连续性约束的问题,将匹配问题看成是利用这些约束在图像中寻求最小割问题。


 

图6 基于图割(左),动态规划(中),相关性计算(右)的效果。

因为考虑到全局能量最小化,非局部算法一般耗时较大,不太好使用硬件加速。但是对于遮挡,纹理稀疏的情况解决的较好。

得到了匹配点之后,一般通过左右视线一致性的方式,检测和确定具有高置信度的匹配点。很类似前后向光流匹配的思想,只有通过左右视线一致性检验的点才认为是稳定匹配点。这样也可以找出因为遮挡,噪声,误匹配得到的点。

那么我们如何得到视差和深度信息呢?


 

图7 视差深度获取示意

关于视差图的后处理,一般采用中值滤波的方法,对当前点的灰度值使用邻域像素的中值来代替,这种方法可以很好去除椒盐噪声。可以去除因为噪声或者弱纹理匹配失败的孤立点。

原文标题:双目视觉及算法流程

文章出处:【微信公众号:新机器视觉】欢迎添加关注!文章转载请注明出处。

责任编辑:haq

原文标题:双目视觉及算法流程

文章出处:【微信号:vision263com,微信公众号:新机器视觉】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
分享:

评论

相关推荐

腾讯申请自动驾驶相关专利

IT之家11月26日消息 企查查 APP 显示,11 月 20 日,腾讯科技(深圳)有限公司公开两个....
的头像 工程师邓生 发表于 11-26 17:14 99次 阅读
腾讯申请自动驾驶相关专利

香橙派Orange Pi Zero2开发板使用USB摄像头的方法(Linux镜像)

前面给大家介绍过香橙派Zero2开发板在安卓系统下连接USB摄像头的操作步骤,本篇接着说明下在Linux下使用USB摄像头的方法...
发表于 11-26 16:10 0次 阅读
香橙派Orange Pi Zero2开发板使用USB摄像头的方法(Linux镜像)

机器视觉在识别检测中的作用是什么

在大规模的工业自动化生产中,很多工业产品都需要进行质量检测,例如工件表面缺陷检测,针对一些划痕,凹凸....
发表于 11-26 15:56 41次 阅读
机器视觉在识别检测中的作用是什么

中国录音笔行业整体呈现供过于求的状态,市场规模达23.17亿元

近年来录音笔产量逐年下滑,2019年有所回升,产量为471万台,出货量为468万台。智能录音笔的推动....
的头像 牵手一起梦 发表于 11-26 15:37 99次 阅读
中国录音笔行业整体呈现供过于求的状态,市场规模达23.17亿元

未来AGV机器人发展具有哪些技术优势

AGV机器人是指配备有电磁或光学等自动导引装置,它可以沿着规定的导引路径行驶,具有安全保护以及各种移....
的头像 牵手一起梦 发表于 11-26 15:02 105次 阅读
未来AGV机器人发展具有哪些技术优势

上海交大开发仿生飞行机器人避障系统

中国航空报讯:在开发机器人系统和计算工具时,计算机科学家经常从动物或其他生物系统中获取灵感。事实上,....
的头像 天津机器人 发表于 11-26 14:14 58次 阅读
上海交大开发仿生飞行机器人避障系统

瑞科专注机器视觉检测系统研发,在多个领域应用铺平了道路

伴随着各行各业对图像和机器视觉技术的需求越来越高,国内制造业行业的发展也得到了快速提升。机器视觉作为....
发表于 11-26 11:24 64次 阅读
瑞科专注机器视觉检测系统研发,在多个领域应用铺平了道路

基于SkySANSS1500设备的视频监控存储方案的特点与实现

为满足工厂、园区、住宅小区、楼宇、学校等园区的安全和科学系统化管理的需要,以及为了对随时发生的情况进....
发表于 11-26 11:02 120次 阅读
基于SkySANSS1500设备的视频监控存储方案的特点与实现

华为璩静:华为唯一能做到端-管-云-芯全面打通

“有了全球最好的5G网络,有了5‘机’协同,我们有能力共同创造新的价值。”在2020世界5G大会5G....
的头像 lhl545545 发表于 11-26 11:00 117次 阅读
华为璩静:华为唯一能做到端-管-云-芯全面打通

浅谈美国打压背景下我国5G突破与商用发展

在昨天召开的“5G与数字生活新消费论坛”上,中国国际经济交流中心总经济师、国家著名经济学家陈文玲作了....
的头像 lhl545545 发表于 11-26 10:31 124次 阅读
浅谈美国打压背景下我国5G突破与商用发展

如何实现地下建筑物防雷系统的应用设计

雷电是一种自然现象,为一连串的干扰脉冲,地球上平均每秒发生100次左右雷电冲击,其放电电流幅值可高达....
的头像 电子设计 发表于 11-26 10:21 126次 阅读
如何实现地下建筑物防雷系统的应用设计

本源量子成功入围2020全球“50家聪明公司”榜单

近日,第四届EmTech China全球新兴科技峰会上,权威技术商业类杂志《麻省理工科技评论》(《M....
的头像 电子观察说 发表于 11-26 10:15 70次 阅读
本源量子成功入围2020全球“50家聪明公司”榜单

摩托罗拉Moto G9 Power国行版通过认证

近日从工业和信息化网站获悉,联想一款名为 XT2081-4 的新机通过认证。该机型为塑料后盖,有指纹....
的头像 璟琰乀 发表于 11-26 09:40 81次 阅读
摩托罗拉Moto G9 Power国行版通过认证

快讯:Giraffe360筹集450万美元推出房地产机器人摄像头

据外媒报道,Giraffe360 的机器人摄像头与订购服务相结合,使房地产经纪人和经纪人能够生成物业....
的头像 机器人大讲堂 发表于 11-26 09:38 67次 阅读
快讯:Giraffe360筹集450万美元推出房地产机器人摄像头

计算机算法的发展过程说明

电子发烧友网站提供计算机算法的发展过程说明资料免费下载
发表于 11-26 08:27 14次 阅读
计算机算法的发展过程说明

三星Galaxy Note20摄像头评分120:未能进前十

11 月 25 日消息 11 月 24 日,DXOMARK 公布了三星 Galaxy Note 20....
的头像 璟琰乀 发表于 11-25 17:00 203次 阅读
三星Galaxy Note20摄像头评分120:未能进前十

机器视觉技术有效自动化堆高机搬运货物

结合机器视觉技术的栈板检测系统(PDS)能有效辅助仓库内的自动化堆高机(AFT)搬运货物,避免堆高机....
的头像 电子魔法师 发表于 11-25 16:49 96次 阅读
机器视觉技术有效自动化堆高机搬运货物

OPPO第二代AR眼镜产品:OPPO AR Glass 2021正式和大家见面

OPPO AR Glass 2021搭载的ToF摄像头、双目鱼眼摄像头和IMU共同组成空间定位系统,....
的头像 MEMS 发表于 11-25 14:33 197次 阅读
OPPO第二代AR眼镜产品:OPPO AR Glass 2021正式和大家见面

iPhone12 Pro Max拍照无法对焦?

iPhone 12 绿屏这个话题已经好几天了,没想上了微博热搜,看来大家对这个问题真的是非常关注啊。....
的头像 哎咆科技 发表于 11-25 14:24 359次 阅读
iPhone12 Pro Max拍照无法对焦?

AI+视觉技术,将会给城市带来怎样的改变

城市,孕育着国家腾飞的动能、社会繁荣的生态、科技进步的方向,和一个个家庭对美好生活的期待。在古代,南....
的头像 脑极体 发表于 11-25 11:40 250次 阅读
AI+视觉技术,将会给城市带来怎样的改变

计算机设计集成电路的成本你知道是多少吗

在如今竞争力日益激烈的计算机市场上,标准零件(磁盘、Flash、DRAM 等)在系统成本中所占的份额....
发表于 11-25 10:19 97次 阅读
计算机设计集成电路的成本你知道是多少吗

基于INSPEC E20通用组态软件实现镀膜生产线计算机监控系统的设计

肇庆市大力真空设备有限公司生产的DJW(L)系列卧式(立式)磁控溅射镀膜生产线采用DC电源或中频电源....
的头像 电子设计 发表于 11-25 10:14 182次 阅读
基于INSPEC E20通用组态软件实现镀膜生产线计算机监控系统的设计

华为AR智能眼镜或将使用弹出式摄像头

据外媒报道,根据苹果CEO蒂姆·库克的说法,增强现实(AR)是一个伟大的想法。这家总部位于库比蒂诺的....
发表于 11-24 17:38 193次 阅读
华为AR智能眼镜或将使用弹出式摄像头

15.9万辆特斯拉汽车可能因内存芯片磨损而面临信息娱乐系统和摄像头故障风险

11月24日消息,据国外媒体报道,15.9万辆特斯拉汽车可能会因为内存芯片磨损而面临信息娱乐系统和摄....
的头像 工程师邓生 发表于 11-24 17:09 117次 阅读
15.9万辆特斯拉汽车可能因内存芯片磨损而面临信息娱乐系统和摄像头故障风险

数据中心逐渐云化:企业应更关注混合云战略

多云其实很多企业都在用,却鲜有人知道是什么、为什么!根据数据库供应商MariaDB的最新调查,71%....
的头像 lhl545545 发表于 11-24 16:42 224次 阅读
数据中心逐渐云化:企业应更关注混合云战略

全球最快人工智能超级计算机将建在欧洲

近日,据外媒报道,图像处理器厂商NVIDIA在今年5月份推出了首款基于Ampere架构的GPU A1....
的头像 lhl545545 发表于 11-24 16:02 306次 阅读
全球最快人工智能超级计算机将建在欧洲

第五代新品重磅上市,它的优势优点是什么

距离2021还剩40多天了,抓住2020的尾巴,触想智能正式发布公告:大家关注已久的第五代新品,已经....
发表于 11-24 15:51 167次 阅读
第五代新品重磅上市,它的优势优点是什么

在山地光伏项目精细化设计中如何使用计算辅助软件

山地光伏电站不同于荒漠大型地面电站。山地地形复杂,苏轼的题西林壁中写道 横看成岭侧成峰,远近高低各不....
的头像 Les 发表于 11-24 15:42 97次 阅读
在山地光伏项目精细化设计中如何使用计算辅助软件

晶圆级新芯片会引领一个新时代吗?

计算机芯片的历史是是一段激动人心的微型化的历史。 众所周知,数字世界催生了一种趋势,规模越小越好。那....
的头像 璟琰乀 发表于 11-24 14:49 537次 阅读
晶圆级新芯片会引领一个新时代吗?

无风扇计算机的工作原理及应用优势分析

无风扇计算机通过利用散热片将内部发热部件(如CPU和硅片)的热量转移到计算机的铝合金机身上,铝制机身....
的头像 牵手一起梦 发表于 11-24 14:46 99次 阅读
无风扇计算机的工作原理及应用优势分析

realme将在明年发布100款以上的AIoT产品

无论是少年时代通过努力考进当地重点高中,还是带领OPPO的海外团队开疆拓土,亦或者创立一家智能手机公....
的头像 lhl545545 发表于 11-24 14:24 460次 阅读
realme将在明年发布100款以上的AIoT产品

如何将常规监控摄像头转为互联网直播

大众直播时代,处处有直播,直播已经在方方面面改变着人们的生活和工作。随着网络直播应用生态的越发完善,....
的头像 千视电子 发表于 11-24 14:12 169次 阅读
如何将常规监控摄像头转为互联网直播

采用计算机局域网联网方式实现楼宇可视对讲系统和网络监控结合应用

银峰花园位于东莞市莞城区,建成于2002年,大楼主体一共有6栋,分列在环中路两傍,一边2栋,马路另外....
发表于 11-24 11:08 203次 阅读
采用计算机局域网联网方式实现楼宇可视对讲系统和网络监控结合应用

白皮书:中国工业机器视觉市场规模约138亿元,增速约4.8%

在11月4日举行的2020世界计算机大会“工业互联与制造生态”专题论坛上,赛迪顾问智能制造研究中心发....
发表于 11-24 10:59 120次 阅读
白皮书:中国工业机器视觉市场规模约138亿元,增速约4.8%

基于计算机技术实现小区远程图像监控及联网报警系统的应用方案

安防工程是一个先进复杂的综合性系统工程,从系统设计开始,包括施工、安装、调试直到最后验收的全过程,都....
发表于 11-24 10:48 541次 阅读
基于计算机技术实现小区远程图像监控及联网报警系统的应用方案

中国电力百科全书电工技术基础卷的PDF电子书免费下载

本文档的主要内容详细介绍的是中国电力百科全书电工技术基础卷的PDF电子书免费下载本书内容有:电工基础....
发表于 11-24 08:00 29次 阅读
中国电力百科全书电工技术基础卷的PDF电子书免费下载

爆小米折叠屏新机专利:采用弹出式双摄

2020 年 9 月 25 日,小米向国际知识产权组织(WIPO)提交了一项折叠屏智能机设计专利,并....
发表于 11-23 15:56 680次 阅读
爆小米折叠屏新机专利:采用弹出式双摄

华为申请“测温”手机新专利

11月23日消息,据天眼查显示,近日,华为技术有限公司公开了一项名为“带温度测量及显示结果图形用户界....
的头像 lhl545545 发表于 11-23 15:54 1226次 阅读
华为申请“测温”手机新专利

晶圆级芯片将引领行业将入新时代?

众所周知,数字世界催生了一种趋势,规模越小越好。那么,为什么在地球上有些人想逆转航向,并使用大芯片呢....
的头像 我快闭嘴 发表于 11-23 15:29 549次 阅读
晶圆级芯片将引领行业将入新时代?

三维视觉将成为机器标配的眼睛

在过去,机器视觉通常指的是二维视觉系统即通过摄像机拍摄一张平面照片,然后通过图像分析或比较来识别物体....
的头像 璟琰乀 发表于 11-23 15:11 221次 阅读
三维视觉将成为机器标配的眼睛

OPPO可能在12月发布有超大杯机型

OPPO的一款新机出现在了工信部的页面之中,这款出现的新机大概率就是即将发布的OPPO Reno5系....
的头像 璟琰乀 发表于 11-23 14:50 406次 阅读
OPPO可能在12月发布有超大杯机型

光存储里蓝光存储国产化率不足10%,半导体存储替代空间最大

所有存储系统结构,最终都需要将用户数据存放到某一类最底层物理介质中。目前,底层物理存储介质有光、磁、....
的头像 牵手一起梦 发表于 11-23 14:30 199次 阅读
光存储里蓝光存储国产化率不足10%,半导体存储替代空间最大

“安防”招牌牢不可破,如何走出单一场景

提起智能家居生态,大多数消费者的第一反应都是小米米家、海尔智家、美的美居等硬件生产商,巨头们要么掌握....
的头像 牵手一起梦 发表于 11-23 14:14 259次 阅读
“安防”招牌牢不可破,如何走出单一场景

请问摄像头、雷达和LIDAR哪个更适合自动驾驶汽车?

摄像头、雷达和LIDAR,自动驾驶汽车选择谁? ...
发表于 11-23 12:32 0次 阅读
请问摄像头、雷达和LIDAR哪个更适合自动驾驶汽车?

沃尔沃汽车将在2022年使用Luminar的激光雷达

今年5月,Mobileye收购了以色列初创公司Moovit,后者是全球领先的MaaS供应商之一,并表....
的头像 我快闭嘴 发表于 11-23 12:13 502次 阅读
沃尔沃汽车将在2022年使用Luminar的激光雷达

从0开始学ARM-CPU原理

一、计算机架构在了解计算机架构之前,我们先来认识几位对计算机的发明做出关键共享的几位大佬。 1. 巴....
的头像 璟琰乀 发表于 11-23 11:56 198次 阅读
从0开始学ARM-CPU原理

洗衣机加入APP控制和屏幕就是“智能”了?

智能化绝对是当今家用电器行业最热门的话题,各个家电品类都被赋予了各种智能功能。
的头像 lhl545545 发表于 11-23 10:58 313次 阅读
洗衣机加入APP控制和屏幕就是“智能”了?

基于PC的DAQ测试板卡实现烟气连续监测仪器的系统设计

实际上,烟气检测主要是对被排放的烟气中有害气体浓度和烟气浊度的检测,有害气体主要包括SO2、CO、N....
的头像 电子设计 发表于 11-23 10:10 788次 阅读
基于PC的DAQ测试板卡实现烟气连续监测仪器的系统设计

宝马展示自动驾驶辅助系统Pro 5个超声波雷达+8摄像头!

在本年度的最后一个大型车展上,宝马虽然没有拿出什么重磅车型,但是宝马对外展示的自动驾驶辅助系统Pro....
的头像 工程师邓生 发表于 11-23 09:59 339次 阅读
宝马展示自动驾驶辅助系统Pro 5个超声波雷达+8摄像头!

基于Movidius Myriad 2的人脸识别摄像头解决方案

2019年9月10日,致力于亚太地区市场的领先半导体元器件分销商---大联大控股宣布,其旗下世平推出基于英特尔(Intel)Movidius ...
发表于 11-23 06:33 0次 阅读
基于Movidius Myriad 2的人脸识别摄像头解决方案

欧菲光:前三季度摄像头模组销量为5.53亿颗,同比增长21.81%

近日,欧菲光官方发布消息称,该公司7P108M光学镜头顺利完成小批量验证。从1300W突破到1亿像素....
的头像 我快闭嘴 发表于 11-22 11:01 34125次 阅读
欧菲光:前三季度摄像头模组销量为5.53亿颗,同比增长21.81%

紫光计算机:目前最大的挑战是自己

11 月 17 日,郑州高新技术产业开发区管理委员会与紫光股份旗下紫光计算机联合在北京召开主题为智造....
的头像 璟琰乀 发表于 11-22 10:46 333次 阅读
紫光计算机:目前最大的挑战是自己

分布式智能停车场系统的原理、功能特点及设计

根据分布式智能停车场系统分散控制和集中管理的需要,引入Ethernet局域网进行数据信息的共享和监督....
的头像 牵手一起梦 发表于 11-22 10:42 200次 阅读
分布式智能停车场系统的原理、功能特点及设计

视觉助手可以识别条形码但是放到程序框图中运行后却无法识别??

试验的条形码应该是code128码,截图了摄像头拍到的条形码,然后再用视觉助手测试了一下可以识别出这个条形码的数据,但是自己连的...
发表于 11-20 16:36 184次 阅读
视觉助手可以识别条形码但是放到程序框图中运行后却无法识别??

请问如何使用labview和大恒摄像头识别读取条形码

刚接触视觉部分的小白,想利用labview和大恒摄像头读取条形码数据。 如下图,不知道是不是采集的条形码还是太过于模糊了,不够清...
发表于 11-18 22:46 0次 阅读
请问如何使用labview和大恒摄像头识别读取条形码

香橙派Orange Pi Zero2开发板使用USB摄像头的方法(安卓镜像)

1) 先在开发板的 USB 接口中插入 USB 摄像头,然后确认下 USB 摄像头相关的内 核模块已正常加载 7) 然后双击...
发表于 11-17 15:08 202次 阅读
香橙派Orange Pi Zero2开发板使用USB摄像头的方法(安卓镜像)

深圳机器视觉检测项目包括哪些?

目前机器视觉在智能制造、自动化领域的作用越来越重要,机器视觉检测技术的应用能更大程度地把关、提高产品质量、降低生产成本,...
发表于 11-11 10:07 101次 阅读
深圳机器视觉检测项目包括哪些?

HiSpark IPC DIY 摄像头套件试用报告

于10月24日参加了深圳的HarmonyOS先行者技术沙龙,在活动现场,除了聆听各位专家的讲座外,并有幸申请到一套HiSpark IPC...
发表于 11-06 15:48 202次 阅读
HiSpark IPC DIY 摄像头套件试用报告

摄像头如何使用?

本章将介绍计算机视觉中最核心传感器-摄像头的基本使用,主要讲解了CSI摄像头,USB摄像头,网络摄像头的基本使用。 ...
发表于 11-06 06:47 0次 阅读
摄像头如何使用?

计算机解题的基本思想方法和步骤

       计算机解题的基本思想方法和步骤。是对要解决一个问题或要完成一项任务所采取的方法和步骤的描述,包...
发表于 11-02 06:15 0次 阅读
计算机解题的基本思想方法和步骤