还未设置个性签名
成为VIP会员 享9项特权: 开通会员

完善资料让更多小伙伴认识你,还能领取20积分哦, 立即完善>

3天内不再提示

探讨关于3D视觉技术和3D传感器

新机器视觉 来源:华为云社 作者:华为云社 2021-04-01 14:01 次阅读

1.3D视觉技术

2D视觉技术借助强大的计算机视觉和深度学习算法取得了超越人类认知的成就,而3D视觉则因为算法建模和环境依赖等问题,一直处于正在研究的前沿。

3D视觉同样为传统研究领域,但最近5年内得到快速发展。与深度学习算法结合,在智能制造/机器人自动驾驶、AR/VR、SLAM、无人机、三维重建、人脸识别等领域取得了优异的效果。

3D视觉主要研究内容包括:

3D感知:点云获取及处理,应用于机器人/机械臂、自动驾驶、无人机等场景。

位姿估计(视觉SLAM):应用于机器人定位导航、VPS等场景。

3D重建:

大规模场景的3D重建、动态实景融合和3D理解(与3D感知趋于一致等),应用于数字城市/园区、数字文旅、混合现实等场景。

人脸、人体、手部3D重建和关键点检测识别,应用于游戏娱乐、动漫影视内容制作等领域。

近年来,学术界和工业界推出了一系列优秀的算法和产品,被广泛应用到各个领域。

学术界:

CVPR、ECCV、ICCV三大顶会每年和3D视觉相关主题的文章数量保持在十分之一左右,且呈增加趋势。3D视觉技术主要包括:3D点云识别与分割、3D物体检测、单目图像深度图的生成、语义SLAM、三维重建、光场计算等。

工业界:

3D视觉广泛应用到人脸识别、智能机器人、自动驾驶、ARVR等领域;比如,OPPO、华为和苹果等公司推出的3D+AI识别功能,通过扫描人脸三维结构完成手机解锁;自动驾驶领域通过分析3D人脸信息,判断司机驾驶时的情绪状态;SLAM方式通过重建周边环境,完成建图与感知;AR领域通过三维重建技术完成目标的重现,等等。

2.3D视觉传感器/相机

传感器/相机作为3D视觉的眼睛,其在3D技术演进及落地应用过程中所占的位置十分重要,甚至一定程度上决定了3D视觉技术的发展了应用。本文概要分析3D传感器/相机技术,并对当前业界硬件厂商和产品进行简单介绍。

3D传感器/相机,不仅能够获得平面图像,还可以获得拍摄对象的深度信息,即三维位置及尺寸等。3D传感器/相机通常有多个摄像头+深度传感器组成。可以实现三维信息采集,且三维数据可以转成点云。

根据基础原理的不同,目前市面上的3D传感器主要包括以下几种:

18287b30-92a8-11eb-8b86-12bb97331649.png

(1)双目相机

双目视觉是机器视觉的一种重要形式,基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像,通过计算图像对应点间的位置偏差,来获取物体三维几何信息的方法。目前有主动双目,被动双目之分,被动双目就是采用可见光,好处是不需要额外光源,但是晚上无法使用,主动双目就是主动发射红外激光做补光,光线暗的场景也能正常使用。

双目相机优缺点:

硬件要求和成本低,普通CMOS相机即可。

可适用室内外场景。

对环境光照非常敏感。光线变化导致图像偏差大,进而会导致匹配失败或精度低。

不适用单调缺乏纹理的场景。双目视觉根据视觉特征进行图像匹配,没有特征会导致匹配失败。

计算复杂度高。纯视觉的方法对算法要求高,计算量较大。

基线限制了测量范围。测量范围和基线(两个摄像头间距)成正比,导致无法小型化。

(2)结构光

结构光(Structured light):通常采用特定波长的不可见的红外激光作为光源,发射出来的光经过一定的编码投影在物体上,通过一定算法来计算返回的编码图案的畸变来得到物体的位置和深度信息。

根据编码图案不同,机构光相机可分为:

一般有条纹结构光---enshape

编码结构光---Mantis Vision, Real sense(F200)

散斑结构光--apple(prime sense)

o4YBAGBlYxKAcyovAACSZpslDU8017.png

结构光相机优缺点包括:

方案成熟,相机基线可以做的比较小,方便小型化。

资源消耗较低,单帧IR图即可计算深度信息,功耗低。

主动光源,暗光线场景也可使用。

在一定范围内精度高,分辨率高,分辨率可达1280x1024,帧率可达到60FPS。

容易受环境光干扰,室外体验差。

随检测距离增加,精度会变差。

(3)ToF相机

不同于使用2D图像来推算3D资讯,ToF是透过红外光在空气中的飞行时间,计算出目标体的距离。ToF技术也是机器视觉工业的重要里程碑,因其只需要使用低成本的CMOS传感器和主动光源技术就能提供3D场景的距离景深资讯。

此外,不同于单点逐点扫描方式,ToF是每个图元都能测量对应目标体的亮度和反射回来的到达时间,从而计算出该点对应的距离景深。ToF提供了视角范围内场景的整个分辨率的距离景深资料。该技术结构简单,容易使用,不依赖环境光,且兼具高精度和高帧率。

TOF法根据调制方法的不同,一般可以分为两种:脉冲调制(Pulsed Modulation)和连续波调制(Continuous Wave Modulation)。脉冲调制需要非常高精度时钟进行测量,且需要发出高频高强度激光,目前大多采用检测相位偏移办法来实现TOF功能。

下面图片描述了TOF相机(连续波)的基本原理,实际应用中,通常采用的是正弦波调制。由于接收端和发射端正弦波的相位偏移和物体距离摄像头的距离成正比,因此可以利用相位偏移来测量距离。

pIYBAGBlY0OAdJzzAAE43ZQ4lgI583.png

TOF的优缺点包括:

检测距离远。在激光能量够的情况下可达几十米。

受环境光干扰比较小。

对设备要求高,特别是时间测量模块。

资源消耗大。该方案在检测相位偏移时需要多次采样积分,运算量大。

边缘精度低。

限于资源消耗和滤波,帧率和分辨率都没办法做到较高。目前消费类最大也就VGA。

除了上述视觉传感器(相机)外,3D视觉相关的数据采集设备还包括:毫米波雷达、激光雷达等,广泛用于机器人、自动驾驶等应用场景。

毫米波是指波长在1mm到10mm之间的电磁波,换算成频率后,毫米波的频率位于30GHz到300GHz之间。毫米波的波长介于厘米波和光波之间,因此毫米波兼有微波制导和光电制导的优点。

pIYBAGBlY3WAQv0OAAMYlu-K3OY398.png

激光雷达(Light Detection And Ranging,LiDAR),即光探测与测量,是一种集激光、全球定位系统(GPS)和惯性测量设备(IMU)于一身的系统,用于获得数据并生成精确的DEM(数字高程模型)。LiDAR可以高度准确地定位激光束打在物体上的光斑,测距精度可达厘米级,其优势包括“精准”、“快速”。下图为自动驾驶领域常用的Velodyne LiDAR。

近几年,无人驾驶技术兴起并快速发展。无人驾驶技术研发公司,包括谷歌、百度、Uber等主流无人驾驶汽车研发团队,都在使用激光雷达作为传感器之一,与图像识别等技术搭配使用,实现三维环境感知,为自动驾驶保驾护航。

LiDAR系统通过发射一束激光,测量光在物体表面反射而返回来的信号,信号传输所需的时间提供了一种直接测量LiDAR系统与物体之间的距离的手段。关于物体的额外的信息,比如它的速率或材料成分,也可以通过测量反射回来的信号中的某些特性而得以确定,这些特性包括诱导多普勒频移,从而创建出完整的3D模型。

编辑:jq

  • 智能机器人
    +关注

    关注

    16

    文章

    713

    浏览量

    78628
  • 无人机
    +关注

    关注

    219

    文章

    8830

    浏览量

    167459
  • vps
    vps
    +关注

    关注

    1

    文章

    40

    浏览量

    11112
收藏 人收藏

    评论

    相关推荐

    机电一体化如何改进无人机技术

      通过添加其他传感器,控件还可以在导航自主中循环。气压计用于高度控制,向下超声波距离传感器可以提高....
    的头像 星星科技指导员 发表于 10-06 07:45 24次 阅读
    机电一体化如何改进无人机技术

    无人机在输电线路巡检中发挥着越来越大的作用

    社会经济的快速发展离不开电网规模的迅速扩大。大规模复杂的输电线路需要更多的人力、物力进行巡检,由于分....
    的头像 工程师邓生 发表于 09-30 17:11 409次 阅读

    普渡机器人赋能百事集团和家乐福产品销售业务

    近日,家乐福与其战略合作伙伴百事集团公司一起在波兰推出了智能机器人的试点促销计划。经过慎重考察,最终....
    发表于 09-30 16:36 311次 阅读

    航天宏图进一步夯实扩展PIE-Engine地球科学试验平台能力

    2022年9月19日至10月2日 ,由中国科学院空天信息创新研究院、中国卫星导航系统管理办公室学术交....
    的头像 航天宏图 发表于 09-30 16:17 151次 阅读

    航天宏图打造三位一体的房屋安全监管应用场景

    以第一次全国自然灾害综合风险普查的房屋普查成果为基础,通过本地化落地管控和应用,助力自建房、老旧危房....
    的头像 航天宏图 发表于 09-30 16:06 194次 阅读

    航天科技集团与湖南省签署战略合作协议

    日前,2022湖南(国际)通用航空产业博览会在湖南省长沙市开幕。开幕式上,中国航天科技集团有限公司与....
    发表于 09-29 11:27 211次 阅读

    恒讯科技不得不说:vps的三大误解

    第一大误解:不少朋友以为vps有多少的宽带就应该有多少的下载速度,其实这是对vps宽带的一种误解。就....
    的头像 深圳市恒讯科技有限公司 发表于 09-28 15:39 112次 阅读

    无人机与热成像的结合的定点巡检监控应用案例

    使用红外热像仪,无论白天黑夜均可随时检测出远程监控站中的潜在设备故障与安全隐患,由此带来的净效应即可....
    发表于 09-27 10:35 153次 阅读

    航天宏图与农业农村部大数据发展中心成立联合实验室

    近日,适逢第五个“中国农民丰收节”之际,航天宏图与农业农村部大数据发展中心正式举行成立联合实验室的签....
    的头像 航天宏图 发表于 09-27 09:52 513次 阅读

    一种新型的使用电力的长航时无人机

    ANCILLARY将放弃常规燃气轮机,转而使用混合电力系统,再加上高密度电池或燃料电池作为动力。电池....
    发表于 09-26 16:16 279次 阅读

    差压传感器在农业无人机的应用方案

    中国作为农业大国,耕地面积 18 亿亩,每年需要大量的农业植保作业,很难单纯地依靠人力完成,且雇佣人....
    的头像 vogreat 发表于 09-25 09:05 656次 阅读

    【OpenHarmony成长计划挑战赛】基于Openarmony的碳侦测无人机:Messge

    内核编程开发——message **使用cmsis 2.0 接口进行消息队列开发 message API分析 osThreadNew() osThreadId_t osT...
    发表于 09-23 11:26 2177次 阅读

    【OpenHarmony成长计划挑战赛】基于Openarmony的碳侦测无人机:Mutex

    2、内核编程开发——mutex Niobe WiFi IoT开发板上使用cmsis 2.0 接口进行互斥锁开发 mutex API分析 osThreadNew()...
    发表于 09-23 11:14 2113次 阅读

    【OpenHarmony成长计划挑战赛】基于Openarmony的碳侦测无人机:LED

    PWM点亮LED呼吸灯 演示PWM接口的基本使用,效果为哦点亮开发板上的LED灯,可以实现不断闪烁,类似LED灯在呼吸的...
    发表于 09-23 11:02 1887次 阅读

    【OpenHarmony成长计划挑战赛】基于Openarmony的碳侦测无人机:Thread

    Thread开发实例 1、内核编程开发——Thread多线程 在Niobe WIFI IoT开发板上使用smsis 2.0 接口进行多线程开发 T...
    发表于 09-23 11:00 1264次 阅读

    【OpenHarmony成长计划挑战赛】基于Openarmony的碳侦测无人机:Semaphore

    内核编程开发——Semaphore 使用cmsis 2.0 接口进行信号量开发 Semaphore API分析 osThreadNew() osThreadId_t o...
    发表于 09-23 10:59 1170次 阅读

    【OpenHarmony成长计划挑战赛】基于Openarmony的碳侦测无人机:MQTT

    MQTT联网演示 本案例程序将演示编写一个连接MQTT服务器的业务程序,实现开发板联网上报数据到服务器。 结构体详解 ty...
    发表于 09-23 10:58 1224次 阅读

    【OpenHarmony成长计划挑战赛】基于Openarmony的碳侦测无人机:IOT-CONNECT

    设备实现云端通信 场景说明 以本项目为例,介绍基于IoT平台操作实现对设备检测的数据得查看。 前提条件 已注册华为云官方...
    发表于 09-23 10:53 1318次 阅读

    【OpenHarmony成长计划挑战赛】基于Openarmony的碳侦测无人机:GPIO_LED

    GPIO点亮LED灯 演示GPIO接口的基本使用,效果为点亮开发板上的LED灯,可以实现不断闪烁的效果。(所以本次开发驱...
    发表于 09-23 10:44 1168次 阅读

    【OpenHarmony成长计划挑战赛】基于Openarmony的碳侦测无人机:ENVIROMENT

    温湿度和烟感模组开发 include beep_demo.h              --蜂鸣器控制头...
    发表于 09-23 10:37 1149次 阅读

    【OpenHarmony成长计划挑战赛】基于Openarmony的碳侦测无人机

    基于OpenHarmony的碳侦测无人机 项目说明文档 项目介绍 一、项目背景 在“双碳”背景下,环保部门不同行业的监察力度不断加...
    发表于 09-23 10:32 7502次 阅读

    基于多边形拼接虚拟管道的无人机集群分布式控制

    针对多边形拼接虚拟管道,我们设计了一种无死锁的切换逻辑。如图4所示,每个多边形都定义了其对应的内接梯....
    的头像 倩倩 发表于 09-21 14:55 157次 阅读

    恒讯科技分析:香港vps常见问题

    用户购买香港vps后或多或少都会遇到一些问题,下面小编列出几点用户经常问到的问题,并一一作出解答,希....
    的头像 深圳市恒讯科技有限公司 发表于 09-20 16:43 163次 阅读

    除了自动驾驶,激光雷达还能应用在哪?

    近年来,随着智能化趋势的愈发明显,激光雷达作为“眼睛”同样取得较大的发展。但激光雷达的用处不仅仅限于....
    的头像 星秒科技 发表于 09-16 17:54 488次 阅读
    除了自动驾驶,激光雷达还能应用在哪?

    恒讯科技分析:香港vps可以放多少个网站?

    香港vps主机就好比如独立的小型服务器,性能非常强大,管理起来也很方便,价格比独立服务器更便宜,使用....
    发表于 09-15 16:45 65次 阅读

    基于动态环境中的鲁棒BA和选择性全局优化的鲁棒VI-SLAM框架

    视觉惯性里程计和SLAM算法广泛应用于各种领域,如服务机器人、无人机和自主车辆。大多数SLAM算法都....
    发表于 09-14 16:22 174次 阅读

    航天宏图SAR卫星星座数据助力柳州市数字化、智能化建设

    航天宏图信息技术股份有限公司(以下简称“航天宏图”)以航天高科龙头企业的姿势,助力柳州市数字化、智能....
    的头像 航天宏图 发表于 09-14 11:03 1447次 阅读

    基于仿生人工微管系统 为微纳机器人架起一座“专用高速公路”

    用微纳机器人精准递送药物一直是科学家想实现的目标,从实际应用的角度来看,如果让微纳机器人自主或借助外....
    的头像 微流控 发表于 09-13 10:04 699次 阅读

    无人机PIX固件分享

    无人机PIX固件分享
    发表于 09-09 15:59 79次 阅读

    恒讯科技教您:如何做好香港vps中win系统安全

    我们都知道,任何的主机服务器都需要安装操作系统以后才能正常的操作,而现在市面上的主流操作系统主要包括....
    的头像 深圳市恒讯科技有限公司 发表于 09-09 15:13 303次 阅读

    航天宏图“宏图实景”即将上线 为用户展现身临其境的三维实景

    作为国内领先的卫星运营与应用服务提供商,航天宏图信息技术股份有限公司(以下简称“航天宏图”)在卫星遥....
    的头像 航天宏图 发表于 09-07 16:53 1396次 阅读

    无人机结构与系统

    无人机结构与系统分为结构和系统两个方面,其中无人机结构主要是指无人机的硬件结构,无人机系统主要是指无....
    发表于 09-07 14:49 57次 阅读

    双向放大器在军事中的新应用

    与无线技术在民用生活中实现新功能和创造新机遇的方式类似,大量的军事应用也使用并通过无线技术得到增强。
    的头像 工程师邓生 发表于 09-06 17:31 219次 阅读

    开发一种刚-柔混合触觉传感器

    随着机器人科学技术的飞速发展,越来越多的智能机器人被用来代替人类在极端或危险环境中执行任务。例如,在....
    发表于 09-06 10:43 32次 阅读

    智能机器人地下综合管廊/矿井巡检有毒有害气体监测应用场景分析

    地下综合管廊短则几公里、长则数十公里,运维情况及其复杂。巡检人员不可能完全实时掌握地下管廊运行工况,....
    发表于 09-06 10:12 74次 阅读
    智能机器人地下综合管廊/矿井巡检有毒有害气体监测应用场景分析

    “无人机+射频识别”构造无人机物联时代

     在这样一波剧烈的无人机应用浪潮之下,作为在GPS技术开发和实际应用方面具有数十年深入研究的全球领先....
    发表于 09-05 17:08 56次 阅读

    兆易创新与北科院合作共建远程自主智能机器人芯片应用实验室

    近日,兆易创新与北京市科学技术研究院联合宣布,合作共建远程自主智能机器人芯片应用实验室,并在2022....
    发表于 09-02 11:22 171次 阅读

    对无人机AVATA进行综合的客观评测

    尽管AR、VR技术已经在2016年前后在业界就已经在无人机上玩转了,但在AVATA上运用自如应该还是....
    发表于 09-01 10:36 550次 阅读

    基于激光雷达传感器无人机避障问题研究

    激光雷达有探测距离远,鲁棒性强等特点,将激光雷达作为无人机的传感器,并对传统的矢量场直方图算法(VF....
    发表于 08-30 09:53 175次 阅读

    基于单目视觉 SLAM的无人机实时生成探索地图的解决方案

    提出了一种使用低成本无人机实时生成探索地图的解决方案。这依赖于Tello Edu无人机提供的信息,该....
    发表于 08-29 16:02 343次 阅读

    无人机遥感技术在水土保持监测中的应用

    要有效防止水土流失和维持生态稳定,就须采取各种现代技术措施来监测水土流失。研究设施可对整个项目区域进....
    的头像 莱森光学 发表于 08-29 13:47 353次 阅读

    思岚科技一站式智能机器人解决方案助力打造智慧酒店

    2022年8月,一年一度的上海国际酒店及商业空间博览会在南京国际博览中心完美落下帷幕。
    发表于 08-29 10:14 231次 阅读

    无人机集群自组织搜索仿真模型设计与实现

    摘要:城市威胁背景下无人机集群自组织搜索移动目标问题,是无人机集群作战应用的一个重要发展方向。采用基....
    的头像 恬静简朴1 发表于 08-29 10:01 1436次 阅读
    无人机集群自组织搜索仿真模型设计与实现

    香港服务器和香港vps有什么区别?

    很多朋友在选择购买香港服务器和香港vps时,总是不能很好的区分它们,当我们需要服务器的时候总是容易选....
    发表于 08-26 16:24 83次 阅读

    航天宏图无人机系统解决方案赋能农业智慧化

    2022年8月22日-24日,中国国际智能产业博览会在重庆举行,来自国内外的500多家参展单位通过线....
    的头像 航天宏图 发表于 08-26 15:27 1542次 阅读

    大疆官宣发布新品无人机

      最近,大疆在其官方微博上宣布,将于8月25日举行一场新的无人机产品发布会,主题为“天生会飞”。并....
    的头像 科技快讯 发表于 08-26 11:04 652次 阅读

    大疆DJI Avata小型无人机正式发布

      DJI Avata配备1/1.7英寸4800万像素f/2.8传感器,支持以155°超广角拍摄4K....
    的头像 科技快讯 发表于 08-26 10:41 416次 阅读

    耐强腐蚀性光电液位传感器在农药喷洒无人机缺液提醒应用方案

    现代农业的不断发展,从以前的人工演变成现在的智能机器,例如喷洒农药。无人机在喷洒农药进行灌溉领域上有....
    的头像 科技技术 发表于 08-25 11:09 302次 阅读
    耐强腐蚀性光电液位传感器在农药喷洒无人机缺液提醒应用方案

    航天宏图PIE-Engine时空遥感云平台赋能数字乡村建设

    此次航天宏图承担的十八洞村测绘任务是:获取十八洞村的整村范围内地面分辨率优于5厘米的影像数据,获取村....
    发表于 08-25 10:17 360次 阅读

    复合材料的的特性与分类

    与普通材料相比,复合材料具有许多特性,可改善或克服单一材料的弱点,充分发挥各材料的优势,并赋予材料新....
    的头像 倩倩 发表于 08-25 09:46 334次 阅读

    天生会飞的大疆新款无人机8月25日发布

    大疆官方微博宣布将于8月25日发布无人机新品,主题为“天生会飞”。天生就会飞?网友纷纷表示这下就再也....
    的头像 科技快讯 发表于 08-24 18:41 1525次 阅读

    无人机相机:一种独特的光学成像方法

    相机、图像传感器和光学器件与其他移动设备有何不同——除了低功耗和小尺寸
    的头像 李永每 发表于 08-24 14:55 236次 阅读
    无人机相机:一种独特的光学成像方法

    配备双 Wi-Fi 的无人机通过像超人一样透过墙壁进行 3D 成像

    研究人员首次演示了使用普通无线信号对穿墙物体进行三维成像
    发表于 08-24 10:32 50次 阅读
    配备双 Wi-Fi 的无人机通过像超人一样透过墙壁进行 3D 成像

    传感器在无人机创新中的关键作用

    鉴于无人机当前的增长趋势,您需要了解使它们工作的基础传感器技术。
    发表于 08-23 10:21 205次 阅读
    传感器在无人机创新中的关键作用

    无人机倾斜摄影测量技术标准

    目前,市场上无人机的种类繁多,按照动力系统可以区分为内燃机动力和电池动力; 从飞行实现方式上可以区分....
    的头像 新机器视觉 发表于 08-22 15:36 325次 阅读

    使用FOMO物体检测算法实现无人机野生动物计数系统的设计

    本项目使用 Edge Impulse 的 FOMO(Faster Objects, More Obj....
    的头像 科技观察员 发表于 08-22 14:56 1219次 阅读
    使用FOMO物体检测算法实现无人机野生动物计数系统的设计

    航天宏图自主研发PIE-U28无人机和无人机监管平台取得飞速发展

    由工业和信息化部、北京市政府和中国科学技术协会共同主办的2022世界机器人大会于8月18日至21日在....
    发表于 08-22 10:37 178次 阅读

    一种红树林亚种分类的无人机高光谱遥感方法

    红树林是生长在热带和亚热带地区,陆地和海洋交界的海岸潮间带滩涂上生长的由木本植物组成的乔木和灌木林群....
    的头像 莱森光学 发表于 08-22 10:16 154次 阅读
    一种红树林亚种分类的无人机高光谱遥感方法

    在gazebo中搭建仿真场景需要哪些内容

    本篇在gazebo中搭建可以模拟产生livox_camera_lidar_calibration功能....
    的头像 新机器视觉 发表于 08-22 09:52 1074次 阅读

    普渡科技携多款智能机器人产品亮相第十届中国电子信息博览会

    近日,第十届中国电子信息博览会(CITE2022)在深圳会展中心(福田)开幕。普渡科技携多款智能机器....
    的头像 普渡科技 发表于 08-19 09:54 282次 阅读