侵权投诉

3D激光雷达和相机校准是如何考虑传感器之间误差的?

新机器视觉 2021-05-26 09:15 次阅读

作者:Raphael Voges and Bernardo Wagner

来源:IROS 2020

大家好,今天为大家带来的文章是—— 集员法对3D激光雷达和相机的外部校准(Set-Membership Extrinsic Calibration of a 3D LiDAR and a Camera)。

这篇文章与传感器的融合相关,主要介绍了3D激光雷达和相机校准时候是如何考虑不同传感器之间的误差的;

为了融合来自3D激光雷达和相机的信息,需要知道传感器坐标系之间的外部校准。

传统的外部校准方案有三个缺点:

传统的校准方法忽略了传感器误差,导致了校准失真;

传统的校准方法假设了初始平均误差为0,默认传感器每次测量接近真实值,这种假设常常失效。例如,激光雷达入射角和反射率带来的误差,可能会导致激光雷达偏移的情形;

传统的校准方法不能评估提取特征的准确性,因此不能在外部校准的时候不能通过调整特征的权重提高准确性。

本文创新点:

提出了一种基于图像的检测方法,该方法将YOLOv3架构扩展为具有3D质心损失和中级特征融合,以利用这两种方式的互补信息;

介绍基于间距的方法(interval-based approaches)来提取图像和激光点云的相应特征;

利用间距的特征设定约束满足问题(Constraint Satisfaction Problem, CSP),在仿真和实验中验证了准确性。

贡献

提出了一种基于图像的检测方法,该方法将YOLOv3架构扩展为具有3D质心损失和中级特征融合,以利用这两种方式的互补信息;

介绍基于间距的方法(interval-based approaches)来提取图像和激光点云的相应特征;

利用间距的特征设定约束满足问题(Constraint Satisfaction Problem, CSP),在仿真和实验中验证了准确性。

方法介绍

如图1所示,间隔向量(interval vectors)形成了一个框(scan box),包围了实际测量的一些点集。通过使用扫描框,可以得到平面的垂直矢量(plane normal vector)、边界线的矢量(line direction vectors)、标定棋盘的四个角上的点(corner boxes)。

0c20259e-bd5b-11eb-9e57-12bb97331649.png

图1:本文的方法概述。为了找到外部校准,如旋转矩阵R和转换向量t,在间距不确定的情况下,相机和3D激光雷达之间寻找点、线、面特征。

传感器误差模型

A.相机模型:

我们采用OpenCV库中包含的方法,用于检测相机图像中的棋盘角。因此,我们使用的原始测量是图像中的像素点。然后,针孔相机模型用于找到指向棋盘角的方向的3D向量。

不能完全检测到角的原因:

相机具有有限的分辨率,因此必须将模拟信号(即实际场景)离散地分为像素;

图像模糊,例如检测对象未处于适当的聚焦;

图像传感器受到损坏,每个像素的各个颜色通道产生了噪声,从而在角检测期间再次导致误差。

0c88afec-bd5b-11eb-9e57-12bb97331649.png

图2:检测到棋盘角(绿色点)的棋盘的示例图。各种误差源导致检测不准确(红色点)。因此,我们应用了我们的界限误差模型,来包裹真实特征的蓝色边框。

B.激光雷达模型:

由于激光雷达的激光光束和表面入射角受到传感器的环境(温度,湿度等)的影响,实际测量通常产生误差。由于无法预测此系统错误,因此无法使用已建立的随机误差模型进行建模。测量点的实际位置是不确定的,并且可以是激光光束扫描的任何位置。因此,选择基于间距的模型来考虑这种不确定性。

0c9ef158-bd5b-11eb-9e57-12bb97331649.png

图3:3D盒[P]的可视化由未知但是界面的误差为球形坐标R,θ和φ产生的误差。3D盒可以保证覆盖实际测量的点P *和原始测量的点P。

主要结果

我们使用Gazebo 和实际数据生成的模拟数据来评估我们的方法。此外,将我们的方法与最先进算法进行了比较。然而,直接比较是不合适的,因为他们的方法的目标是找到最好的点值结果(point-valued result),而我们的方法旨在封闭真实的解决方案并同时表明计算的不确定性。

A.仿真数据

选择尺寸为100×76厘米的标定棋盘,其中,棋盘距离多传感器系统大约2.5米。模拟相机的像素误差遵循高斯分布,平均值为0,标准偏差为0.01。这导致相机校准期间0.3 px的最大角度检测误差。模拟3D激光雷达的型号是Velodyne VLP16。球形坐标的误差遵循均匀的分布,无需任何异常值。

首先,我们显示从一个标定棋盘姿态计算的转换参数的结果。如图所示,我们选择六种不同的棋盘姿态,以显示对不同外部校准参数的影响。

图4:六种不同棋盘姿态的模拟图像。

对于所有六个姿态,我们的方法包含真实的转换参数。然而,转换参数的准确性随着表I中的参数变化。这可以通过标定棋盘的相应姿态来解释。例如,Pose1和Pose5可以通过沿Z轴旋转和平移实现。

0cf04846-bd5b-11eb-9e57-12bb97331649.png

表I:图3中的姿势的间距半径

表II显示了相机和激光扫描仪的不同模拟误差的结果。显然,相应地调整传感器误差界限。例如,第二行示出了用于[Δpx] = [-0.4,0.4] px的间隔半径,而其他传感器误差界限保持不变。作为参考,第一行显示出了上面引入和评估的错误界限的结果。表格可以说明我们的方法可以在增加不确定性的情况下处理相机和激光扫描数据的不同误差。

0d280f42-bd5b-11eb-9e57-12bb97331649.png

表2:不同模拟误差参数的影响

接下来,展示了系统误差对我们方法的影响。我们使用总共27个棋盘姿态,包括上面所示的六个姿态,在传感器设置周围的旋转空间中均匀分布。

0d5ddd34-bd5b-11eb-9e57-12bb97331649.png

表3:结果显示偏误差测量对我们和最先进的方法的比较

B.真实数据

如图4所示,实验设备包括Velodyne VLP-16 LIDAR,FLIR Grasshopper3相机和100×76cm标定棋盘。相机的分辨率为1920×1200 px。激光雷达LiDAR的垂直角分辨率为2°。此外,LiDAR的旋转速率设定为5Hz,导致水平角分辨率为0.1◦。

我们收集了26个不同的棋盘姿势的数据。表IV显示结果。得到的间距结果和仿真结果类似。因此,我们的方法不仅可以使用外在校准并评估其准确性,还可以验证随机方法的结果。

0d5ddd34-bd5b-11eb-9e57-12bb97331649.png

表4:我们和最先进方法的数据结果比较

原文标题:3D激光雷达和相机的外部校准

文章出处:【微信公众号:新机器视觉】欢迎添加关注!文章转载请注明出处。

责任编辑:haq

原文标题:3D激光雷达和相机的外部校准

文章出处:【微信号:vision263com,微信公众号:新机器视觉】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
分享:

评论

相关推荐

中海达激光雷达产品及解决方案亮相

10月17日,第十一届中国测绘地理信息技术装备博览会在青岛隆重开幕,中海达紧扣“十四五”基础测绘转型....
的头像 中海达讯 发表于 10-20 16:45 173次 阅读

位置传感器在自动化工业系统中实现新一代实时控制技术

随着工业 4.0 的先进制造工艺席卷全球市场,高度自动化系统的需求急剧增长,这些系统既需要在集成的制....
的头像 德州仪器 发表于 10-20 09:48 151次 阅读

奥比中光在VALSE 2021上首次展示了自研的3D智能抠图算法

近日,奥比中光在VALSE 2021(视觉与学习青年学者研讨会)上首次展示了公司自研的3D智能抠图算....
的头像 科技见闻网 发表于 10-19 17:20 229次 阅读
奥比中光在VALSE 2021上首次展示了自研的3D智能抠图算法

浅析全无线体育场馆园区网络解决方案的优势和价值

编辑:jq
的头像 华为产品资料 发表于 10-19 14:33 163次 阅读
浅析全无线体育场馆园区网络解决方案的优势和价值

德州仪器(TI)推出业内超精确的3D霍尔效应位置传感器

德州仪器 (TI) 推出业内超精确的 3D 霍尔效应位置传感器。借助 TMAG5170,工程师能够在....
的头像 德州仪器 发表于 10-19 11:15 215次 阅读

低挥发导热界面材料助力解决激光雷达散热问题

激光雷达,即光探测与测量,具有分辨率高、抗有源干扰能力强、低空探测性能好、体积小质量轻等特点。随着技....
发表于 10-18 15:34 14次 阅读
低挥发导热界面材料助力解决激光雷达散热问题

激光雷达市场呈现什么样的发展特征

激光雷达市场呈现什么样的发展特征?车厂对什么样的激光雷达供应商感兴趣?如何在激光雷达市场进行创业? ....
的头像 Cepton科技 发表于 10-15 11:55 889次 阅读

完整关注跨模态转换器网络

舞蹈是几乎所有文化中的一种通用语言,也是如今许多人在当代媒体平台上表达自己的一种方式。跳舞的能力(组....
的头像 TensorFlow 发表于 10-15 10:25 162次 阅读

图扑可视化大屏在高炉炼铁厂的应用

工业4.0时代已经到来多年,黑灯工厂、无人驾驶、机器人巡航、远程操作,已经屡见不鲜。我们可以在智能化....
发表于 10-14 09:28 23次 阅读

LiDAR测量物料体积能为行业带来哪些变化

在商业化竞争日益激烈的环境下,任何提高运营效率的机会对公司来说都是宝贵的。包括对原材料的精准测量和追....
的头像 广州虹科电子科技有限公司 发表于 10-13 09:11 209次 阅读

激光雷达创新应用助力突破产业边界

在商业化竞争日益激烈的环境下,任何提高运营效率的机会对公司来说都是宝贵的。包括对原材料的精准测量和追....
的头像 广州虹科电子科技有限公司 发表于 10-13 09:09 259次 阅读

对于新型电子元器件硅电容你们了解多少

电子发烧友网报道(文/程文智)根据书本上的定义,两个相互靠近的导体,中间夹一层不导电的绝缘介质,就构....
的头像 电子发烧友网 发表于 10-12 11:35 419次 阅读
对于新型电子元器件硅电容你们了解多少

小米追加投资加速造车 布局产业链

电子发烧友网报道(文/李弯弯)今年3月小米正式宣布造车,随后进行了大量的参访和调研,并大规模进行汽车....
的头像 电子发烧友网 发表于 10-12 10:45 799次 阅读

思锐智能携旗下Beneq品牌亮相CIOE2021,探索从微观到宏观层面的ALD光学应用创新

思锐智能携旗下Beneq品牌重磅亮相第23届中国国际光电博览会(以下简称CIOE2021),并分享A....
发表于 10-12 10:32 591次 阅读
思锐智能携旗下Beneq品牌亮相CIOE2021,探索从微观到宏观层面的ALD光学应用创新

十年之内 激光雷达技术谁将更胜一筹

电子发烧友网报道(文/周凯扬)随着L2级别及以上的量产车型越来越多,激光雷达以不及掩耳之势席卷了汽车....
的头像 电子发烧友网 发表于 10-12 10:00 667次 阅读

欧洲百年积淀焕新容 ams OSRAM 中国市场更夺目

在半导体行业,历史超过100年的公司如果不特别提起,肯定不太敢相信有超过100年历史的公司。事实上,....
的头像 电子发烧友网 发表于 10-12 09:53 1126次 阅读
欧洲百年积淀焕新容 ams OSRAM 中国市场更夺目

激光雷达技术及其发展动向.pdf

激光雷达技术及其发展动向.pdf
发表于 10-09 18:09 248次 阅读

埃万特特种工程材料为头戴式电子产品提供全面解决方案

最近”元宇宙”又火了起来,这和VR/AR技术风靡不无关系。而且,云计算、芯片、5G和人工智能技术的高....
的头像 电子发烧友网 发表于 10-09 17:08 1539次 阅读

大赛资讯|华南赛区第一名:晶通半导体(JTM)获千万级人民币种子轮战略融资

晶通半导体(JTM)的智能驱动Smart-Driver™ 技术支持多种驱动智能功能,提高了氮化镓器件....
发表于 10-09 15:58 1448次 阅读
大赛资讯|华南赛区第一名:晶通半导体(JTM)获千万级人民币种子轮战略融资

洲明首块超高清8K+3D显示屏正式点亮

位于佛山万科金融中心C座外立面的裸眼3D屏被正式点亮,并迅速在当地引起热议,广东电视台、佛山电视台等....
的头像 洲明科技 发表于 10-09 15:24 3313次 阅读

自动驾驶混战 机器视觉和激光雷达争雄 剑气二宗谁能笑傲江湖?

自动驾驶建派之初有两位兄弟功臣,他们各有擅长,但去世后派内分裂成了剑宗(纯机器视觉)和气宗(激光雷达....
的头像 脑极体 发表于 10-09 10:12 2143次 阅读
自动驾驶混战 机器视觉和激光雷达争雄 剑气二宗谁能笑傲江湖?

音圈电机加持的无人机将亮相珠海航展

音圈电机加持的无人机将亮相珠海航展。第十三届中国航空航天博览会开幕在即。中国航天科技集团有限公司将携....
发表于 10-08 14:44 453次 阅读

剖析激光雷达测距能力测试原理

来源 | 光电资讯 激光雷达是一种通过发射激光束来检测目标位置,在进行各种处理后获得目标信息的雷达装....
的头像 新机器视觉 发表于 10-08 09:44 337次 阅读
剖析激光雷达测距能力测试原理

车载激光雷达量产情况如何

电子发烧友网报道(文/梁浩斌)乘着自动驾驶的东风,激光雷达在最近两年攒足了风头,各种融资上市消息蜂拥....
的头像 电子发烧友网 发表于 10-08 09:14 479次 阅读

人脸识别系统相片能识别吗

人脸识别技术目前大致分为2D和3D识别技术。2D是通过2D摄像头成像,3D则是通过3D摄像头成像。然....
发表于 10-07 16:17 415次 阅读

十年之内,激光雷达技术谁将胜出

随着L2级别及以上的量产车型越来越多,激光雷达以不及掩耳之势席卷了汽车市场。就如同手机内的SoC与传....
的头像 21克888 发表于 10-07 07:24 1912次 阅读
十年之内,激光雷达技术谁将胜出

加快企业数字化转型,摩尔线程助力酷栈3D高性能桌面云方案落地

摩尔线程与上海酷栈达成战略合作,将围绕酷栈xView桌面云产品与国产GPU的强大计算平台展开深度合作....
的头像 话说科技 发表于 09-30 13:37 287次 阅读
加快企业数字化转型,摩尔线程助力酷栈3D高性能桌面云方案落地

物联网即服务新用例有哪些?2021年高通智慧城市加速大会上有答案

高通物联网服务套件让希望采用智能解决方案的企业和实体受益。独特的物联网即服务模式旨在免去高额的投资及....
发表于 09-30 09:19 962次 阅读
物联网即服务新用例有哪些?2021年高通智慧城市加速大会上有答案

裸眼3D LED曲面屏是怎么实现这样逼真效果的

2013年3D技术兴起后,引起了LED显示屏行业的轰动。但是这几年发展低调,全维度视觉设计等技术难度....
的头像 齐普光电 发表于 09-28 16:37 2460次 阅读

iPhone13新包装已被华强北破解

近日,有消息称iPhone 13的外表新包装已经被华强北破解。而根据苹果官方的最新消息,苹果公司此前....
的头像 lhl545545 发表于 09-28 11:14 3682次 阅读

【虹科】MEMS激光雷达技术与应用

虹科3D固态激光雷达采用MEMS技术,集小体积、高性能和耐用性于一体。Web端支持灵活配置FOV、线....
发表于 09-26 18:03 46次 阅读

aigo国民好物PCle4.0固态硬盘P7000究竟值得入手吗

相信不少游戏用户在今年深刻的体会到了游戏发展之迅速,现在的游戏对于电脑配置的要求越发的高了,PCle....
的头像 全态科技 发表于 09-26 16:08 669次 阅读

智慧园区3D可视化大屏的主要优势

智慧园区3D可视化大屏展示三维建模公司,是指智慧园区运行中产品或获取的数据。它是一个3D可视化和三维....
发表于 09-24 15:03 96次 阅读

浅谈桌面级FDM3D打印机销量高的原因

  自从3d打印20世纪末面世以来,迅速成为了现代核心制造技术之一。都知道3d打印有多种技术类型,虽....
发表于 09-24 10:28 70次 阅读

为什么医疗系统需要FPGA

X 射线和超声等诊断成像系统已经应用了数十年,而随着包括计算机断层扫描(CT)、核磁共振成像(MRI....
的头像 英特尔FPGA 发表于 09-24 10:23 1451次 阅读

到底哪一种探测手段更加适用于自动驾驶

# 本期导读 雷达技术一直在汽车的感知系统中扮演着不可替代的角色,然而电动汽车领域焦点之一的特斯拉却....
的头像 安富利 发表于 09-24 09:50 1013次 阅读

VR全景虚拟企业线上展馆的应用

今年疫情的影响下很多企业线下展厅无法得到实际的进展,线下企业展厅不管在时间、地域上的限制,以及很多不....
发表于 09-23 11:30 59次 阅读

镭神智能与AI边缘计算创新者Blaize达成战略合作

镭神智能与国际著名AI边缘计算创新者Blaize正式签署了战略合作协议。
发表于 09-23 10:14 879次 阅读
镭神智能与AI边缘计算创新者Blaize达成战略合作

地质灾害机载激光雷达应用研究中心揭牌

当前,全国第一次自然灾害综合风险普查工作正在全面推进和深入开展中。作为空间信息行业的领军企业的中海达....
的头像 中海达讯 发表于 09-23 09:59 309次 阅读

水资源可持续利用VR线上博览会的作用

水资源可持续利用与绿色发展博览会采用VR全景线上的方式举行,展示水资源保护、水环境治理、水高效利用、....
发表于 09-22 14:41 1475次 阅读

变电站3D可视化管理平台的优势

变电站3D可视化是构成互联互通、智能化和低碳环保的全球互联网新型电力线上监控管理平台的重要支撑,是互....
发表于 09-22 11:19 55次 阅读

舜宇光学与Valens合作将A-PHY集成至下一代相机模组

两家公司将合作将VA70XX发射器芯片组集成到舜宇光学的摄像模组中,以支持ADAS和环视应用。
发表于 09-22 10:28 1938次 阅读

激光雷达市场最新排名:速腾聚创全球第二,华为异军突起

自2005年Velodyne发明了实时3D激光雷达以来,全球已经有80多家激光雷达公司成立。伴随自动....
的头像 Hobby观察 发表于 09-19 09:17 4278次 阅读
激光雷达市场最新排名:速腾聚创全球第二,华为异军突起

煤矿人员定位系统3D可视化平台的特点

现阶段,煤矿定位市场应用较多的技术有UWB、Zigbee和RFID等。但是为了满足最新修订的《煤矿井....
发表于 09-18 14:22 61次 阅读

华为哈勃是股东之一,科创板迎来国产VCSEL芯片第一股

9月16日,苏州长光华芯光电技术股份有限公司(以下简称:长光华芯)的科创板上市动态显示,该公司已经完....
的头像 Felix分析 发表于 09-18 09:00 4660次 阅读
华为哈勃是股东之一,科创板迎来国产VCSEL芯片第一股

工业工厂3D沉浸式三维数字化管理系统

3D技术改变了很多领域的展示方式,使用户能够沉浸在三维数字化场景当中,并能够音频,图文等互动方式,创....
发表于 09-17 10:40 88次 阅读

激光雷达量产车走出PPT,全球首款搭载激光雷达的小鹏P5正式上市

电子发烧友网报道(文/莫婷婷)随着智能汽车的发展,智能化水平、辅助驾驶能力都提到了一定程度的提升,越....
的头像 Monika观察 发表于 09-17 09:40 1563次 阅读
激光雷达量产车走出PPT,全球首款搭载激光雷达的小鹏P5正式上市

10年才能实现L5?成本从几十万降至几千,激光雷达上车会给智能驾驶带来哪些可能

电子发烧友网报道(文/莫婷婷)在蔚来事件之后,车企对智能汽车的宣传更加谨慎,例如理想将“全栈自研的理....
的头像 Monika观察 发表于 09-17 09:31 1121次 阅读
10年才能实现L5?成本从几十万降至几千,激光雷达上车会给智能驾驶带来哪些可能

苹果发布iphone13价格

值得关注的是,从苹果发布的官网价格可以看到苹果新款iPhone13系列的把全系最低64GB版本给砍掉....
的头像 lhl545545 发表于 09-16 15:10 994次 阅读

苹果13pro电池容量是多大

苹果13pro手机的电池容量为超大3095mAh并且支持25W快充技术,续航方面比上代12全面提升了....
的头像 lhl545545 发表于 09-16 11:32 11272次 阅读

激光雷达的工作主要分成四大部分

激光雷达可以高精度、高准确度地获取目标的距离、速度等信息或者实现目标成像。激光通过扫描器单元形成光束角度偏转,光束与目标...
发表于 09-13 06:30 0次 阅读

一种不依赖于棋盘格等辅助标定物体实现像素级相机和激光雷达自动标定的方法

主要内容本文提出了一种不依赖于棋盘格等辅助标定物体,实现像素级相机和激光雷达自动标定的方法。方法直接从点云中提取3D边特征...
发表于 09-01 07:42 0次 阅读

SLAM的相关知识点分享

         研究生期间进行了基于2D激光雷达的SLAM的研究,当时主要做了二维激光雷达的数据处...
发表于 08-30 06:13 0次 阅读

求一种基于三维激光雷达的动态障碍物检测方法

基于目标运动的跟踪算法流程是什么? 如何去验证基于目标运动的跟踪算法的有效性? ...
发表于 07-28 08:50 101次 阅读

Camsense欢创科技CEO周琨:激光雷达没有行业标准,只能摸着石头过河 精选资料分享

10月18日,由亿欧公司、EqualOcean主办,粤港澳大湾区研究院(广外)、四方网盈联合主办的“2019大湾区科创峰会-机智·机器人商...
发表于 07-27 06:03 101次 阅读

由iphone12说说激光雷达 FMCW激光雷达 精选资料分享

iphone12这个亮点不在5G上面,毕竟国内的一些厂商早就已配备,也不在颜色,重点在于配备了一颗激光雷达!先说一下这个激光雷达带...
发表于 07-22 09:12 303次 阅读

谈一谈自动驾驶的激光雷达

激光雷达是如何产生的?激光雷达在自动驾驶领域有什么作用? ...
发表于 06-17 07:31 505次 阅读

汽车照明设计LED灯是有什么技巧元素?

现在很多车身造型师经常设计出令人赞叹的前大灯和尾灯轮廓和外形,激发消费者的购买欲望,鉴于灯光设计中涉及的众多学科,LED...
发表于 03-09 08:47 202次 阅读

纯电动和混合动力车电子系统电路保护会有什么特殊要求吗?

电池管理系统 主要讲的是什么? EV/HEV 的电池的理想特性有哪些?...
发表于 03-09 08:30 202次 阅读

怎样延长电动自行车蓄电池的使用寿命?

我们经常会使用电动自行车 ,但是 怎样延长蓄电池的使用寿命是一个难题,如果想要延长电动自行车的电池有什么好办法吗?...
发表于 03-06 08:07 202次 阅读