张飞软硬开源基于STM32 BLDC直流无刷电机驱动器开发视频套件,👉戳此立抢👈

深度解析3D摄像头技术与应用报告

新机器视觉 2019-06-18 08:59 次阅读

近几年,国外的巨头公司都在3D摄像头产业链上布局:意法半导体、滨松、欧司朗、艾迈斯、博通元器件及模组生产厂商,苹果、微软、英特尔三星、谷歌、索尼等综合系统方案商,都在抢食这块“肥肉”。

你的双眼,你了解吗?

在自然界中,同样的景物,在不同的动物眼里却是有所差异的的。某些哺乳动物如牛、马、羊等,它们的两眼长在头的两侧,因此两眼的视野完全不重叠,左眼和右眼各自感受不同侧面的光刺激,这些动物仅有单眼视觉(monocular vision)。人和灵长类动物的双眼都在头部的前方,两眼的鼻侧视野相互重叠,因此落在此范围内的任何物体都能同时被两眼所见,两眼同时看某一物体时产生的视觉称为双眼视觉(binocular vision)。双眼看物体时,主观上可产生被视物体的厚度以及空间的深度或距离等感觉。当两只眼睛分别形成的物体被转化成神经信号传输到大脑以后,大脑就会对它们进行综合加工处理,两个物体相同的地方合二为一,不同的地方就代表物体不同维度上的特征。这样一来,两个物体就合成为一个具有很强立体感的物体了。因此双眼视觉也称为立体视觉(stereopsis)。

立体视觉

3D摄像头是什么炫酷的装备?

我们通常接触的普通摄像头只是二维的,没有深度的,也就是每一个景象都是平面的连续播放。这样的摄像头是无法人们提供身临其境的感受的!而3D摄像头在二维图像的基础上增加了对拍摄对象的深度测量,即三维的位置及尺寸信息,从而形成三维图像,其“看到”的景象和眼睛所看到的景深是类似的。

业界认为2D向3D摄像头的转变将成为继黑白到彩色、低分辨率到高分辨率、静态图像到动态影像后的第四次革命。如果说触摸屏实现了交互方式从一维到平面,那么3D摄像头将让交互方式从平面变成立体。3D摄像头为许多“痛点型应用场景”打开了局面,当前科技界炙手可热的领域如人机交互、人脸识别、AR/VR、辅助驾驶等等,都离不开3D摄像头,3D摄像头是未来人工智能“开眼看世界”的提供者!

人脸识别以前主要应用在门禁考勤系统、防盗门等,后续电子护照及身份证也大量采用该项技术。公安、司法和刑侦利用人脸识别系统和网络,在全国范围内搜捕逃犯。在金融业务上,电子商务、智慧银行采用人脸识别,也成了企业增强市场竞争力的手段。人脸识别在消费市场的机会越来越多,比如移动端的身份认证、支付交易确认、权限登录,手机自拍的快速对焦、自拍美颜等……人脸识别带来的便利性将带来人类生活消费方式的变革!

2015年马云在德国汉诺威消费电子、信息及通信博览会上“刷脸”

图像采集则是人脸识别的入口,摄像头采集的图像信息质量直接决定了最终判断的准确性。但是,目前所有的人脸识别摄像头采集的都是二维图像/视频信息,缺失了深度的图像使得各种欺骗人脸识别应用的合成图像或视频有了可趁之机:PS换脸、屏幕翻拍、戴面具、建模驱动等。而如果利用3D摄像头实现三维人脸活体识别,那么不管合成的图像或视频多么逼真,它只能在屏幕上呈现二维图像,注定是无法通过三维人脸活体检测的!

摄像头是人脸识别系统的入口

手势识别的应用场景非常广泛,无论是消费级市场的游戏、娱乐,还是汽车市场等,都需要丰富的手部动作来参与。这块的市场爆发力将非常强大!目前的二维手势识别只能做到一些比较简单的操作,比如控制视频播放开始和暂停、浏览照片等。但是对于更加复杂的体育类游戏或者AR/VR来说,二维手势识别还不够完美。未来集成3D摄像头的智能硬件将极大地促进三维手势识别的普及和应用,这也将带来比触摸屏交互更加接近人类方式的交互式体验。

手势识别应用

在汽车辅助驾驶系统,3D摄像头的引入更是赋予了汽车的“第六感”。3D摄像头可以时刻追踪司机的眼皮动作,当检测驾驶员有困倦或注意力不集中式能立即做出响应甚至气动紧急制动系统。配合雷达,还可以提供精准的路面状况信息,避免车祸的发生。

3D摄像头呈现的三维路面图像

在消费电子领域,3D摄像头也即将引爆市场。2016年,全球首款搭载Tango技术的智能手机:联想和谷歌凭借PMD独家3D技术重新定义了移动设备的新类别。而智能手机的“风向标”苹果公司中将在新一代iPhone 8中将配置3D摄像头的传言已经闹得纷纷扬扬。

联想PHAB2 Pro手机搭载Tango AR技术,具备3D测绘功能

3D摄像头——国外争相布局的产业

近几年,国外的巨头公司都在3D摄像头产业链上布局:意法半导体、滨松、欧司朗、艾迈斯、博通等元器件及模组生产厂商,苹果、微软、英特尔、三星、谷歌、索尼等综合系统方案商,都在抢食这块“肥肉”。

微软是最早涉足3D视觉的公司之一,在2010年与PrimeSense合作,推出了XBOX360体感周边外设——Kinect1代。颠覆了游戏的单一操作,使人机互动的理念彻底地展现出来。在Kinect上市后的头60天内,微软总计卖出了800万台,成功拿下了“吉尼斯世界纪录中销售速度最快消费者设备”的头衔。2012年微软先后收购了ToF(飞行时间光)相机公司canesta和3dv,自行开发了Kinect2代,采用ToF原理,在精度、分辨率和响应时间都有很大的提升。2015年,微软研究院的发明Handpose,,目的是让计算机精确地识别手势动作,并应用在2016年问世的AR头戴式显示器HoloLense。

微软Kinect 1代

谷歌,作为人工智能的专家之一,早已敏锐地嗅到了3D视觉市场的机会。其明星项目Project Tango在2016年成功植入联想手机PHAB2 Pro,提前在移动端运动追踪、深度感知和区域学习方面实现布局。2015年的谷歌开发者大会上提出了的60GHz毫米波手势识别技术Project Soli更是让人耳目一新,采用的60GHz毫米波弥补了红外光无法穿过被遮挡物的缺点。

Tango采集三维信息输出“点云”数据

2013年11月,苹果收购以色列3D传感器生产商PrimeSense,便暴露了其将3D体感控制器小型化并配置在PC、电视并最终到智能手机等消费电子产品的野心。乐观估计,苹果公司十周年推出的iPhone 8有望见证这一黑科技。

2016年苹果发布的3D手势识别专利示意图

而微软在2012年也开始涉及实感技术,2015年推出全新的RealSense。作为一款智能3D摄像头,主要有三部分组成:(1)传统的2D摄像头;(2)近红外图像传感器;(3)红外激光发射器。英特尔RealSense 3D摄像头有两种类型:一种是用于远距离、精度稍低的后置3D摄像头;另一种是用于近距离、精度较高的前置3D摄像头。目前,RealSense 3D 摄像头已经集成到戴尔、联想、华硕、惠普、宏碁等厂商的产品。

RealSense 3D摄像头组成——远距离使用(左图)&近距离使用(右图)

中国——3D摄像头产业链雏形已形成

麦姆斯咨询整理出中国3D视觉产业链,整个产业链生态圈已初步形成。

麦姆斯咨询用一张图展示中国3D视觉产业链

在核心元器件领域:红外LED设计企业有三安光电、乾照光电,晶圆制造商有三安光电,封装测试有聚飞光电、联创光电;VCSEL(垂直腔面发射激光器,Vertical Cavity Surface Emitting Laser)提供商有华芯半导体、光迅科技、昂纳科技集团;MEMS微镜提供商有微奥科技、励德微系统、创微电子;图像传感器设计企业有北京君正(收购豪威科技)、思比科、格科微、比亚迪微电子,芯片制造商有中芯国际,封装测试商有晶方科技和华天科技;滤光片和镜头提供商有水晶光电、舜宇光学、联创电子和歌尔股份;图像处理芯片提供商有北京君正、全志科技和瑞芯微。

在摄像头模组领域:欧菲光、舜宇光学、丘钛科技、歌尔股份(但是近期歌尔股份退出了摄像头模组领域的竞争)。

在应用方案领域按原理可分为三类:结构光法提供商(图漾科技、奥比中光和华捷艾米),飞行时间法提供商(海康威视、舜宇光学和乐行天下),多目(双目)立体视觉法提供商(图漾科技、纵目科技、凌云光技术、西纬科技和弼智仿生)。

3D视觉测量原理知多少

要谈3D视觉应用方案,就必须先弄清楚光学测量分类以及其原理。光学测量分为主动测距法和被动测距法。

主动测距方法的基本思想是利用特定的、人为控制光源和声源对物体目标进行照射,根据物体表面的反射特性及光学、声学特性来获取目标的三维信息。其特点是具有较高的测距精度、抗干扰能力和实时性,具有代表性的主动测距方法有结构光法、飞行时间法、和三角测距法。

光学测距法的分类

1. 主动测距法

(1)结构光法

根据投影光束形态的不同,结构光法又可分为光点式结构光法、光条式结构光法和光面式结构光法等。

三种结构光法测量的原理图

目前应用中较广,且在深度测量中具有明显优势的方法是面结构光测量法。面结构光测量将各种模式的面结构投影到被测物体上,例如将分布较密集的均匀光栅投影到被测物体上面,由于被测物体表面凹凸不平,具有不同的深度,所以表面反射回来的光栅条纹会随着表面不同的深度发生畸变,这个过程可以看作是由物体表面的深度信息对光栅的条纹进行调制。所以被测物体的表面信息也就被调制在反射回来的光栅之中。通过被测物体反射回来的光栅与参考光栅之间的几何关系,分析得到每一个被测点之间的高度差和深度信息。

结构光的优点是计算简单,测量精度较高,对于平坦的、无明显纹理和形状变化的表面区域都可进行精密的测量。其缺点是对设备和外界光线要求高,造价昂贵。目前,结构光法主要应用在条件良好的室内。

(2)飞行时间法(ToF)

飞行时间(Time of Flight,简称ToF)法,又叫做激光雷达(LiDAR)测距法。它将脉冲激光信号投射到物体表面,反射信号沿几乎相同路径反向传至接收器,利用发射和接收脉冲激光信号的时间差可实现被测量表面每个像素的距离测量。

飞行时间(ToF)深度测量法的原理示意图

ToF直接利用光传播特性,不需要进行灰度图像的获取与分析,因此距离的获取不受物体表面性质的影响,可快速准确地获取景物表面完整的三维信息。缺点则是需要较复杂的光电设备,价格偏贵。

(3)三角测距法

三角测距法又称主动三角法,是基于光学三角原理,根据光源、物体和检测器三者之间的几何成像关系来确定空间物体各点的三维坐标。在实际测量过程中,它常用激光作为光源,用CCD相机作为检测器。这种方式主要用于工业勘探、工件表面粗糙度检测、轮胎检测、飞机检测等工业、航空、军事领域,在消费电子类产品还不曾涉及。

基于激光三角法测量系统简图

2. 被动测距法

被动测距技术不需要人为地设置辐射源,只利用场景在自然光照下的二维图像来重建景物的三维信息,具有适应性强、实现手段灵活、造价低的优点。但是这种方法是用低维信号来计算高维信号的,所以其使用的算法复杂。被动测距按照使用的视觉传感器数量可分为单目视觉、双目立体视觉和多目视觉三大类。

(1)单目视觉

单目视觉是指仅利用一台照相机拍摄一张相片来进行测量。因仅需要一台相机,所以该方法的优点是结构简单、相机标定容易,同时还避免了立体视觉的小视场问题和匹配困难问题。

单目视觉测量示意图

单目视觉方法又可分聚焦法和离焦法两类。聚焦法是指首先使相机相对于被测点处于聚焦位置,然后根据透镜成像公式求得被测点相对于相机的距离。相机偏离聚焦位置会带来测量误差,因此寻求精确的聚焦位置是关键所在。而离焦法不要求相机相对于被测点处于聚焦位置,而是根据标定出的离焦模型计算被测点相对于相机的距离,这样就避免了由于寻求精确的聚焦位置而降低测量效率的问题,但离焦模型的准确标定是该方法的主要难点。

(2)双目立体视觉

双目立体视觉的基本原理是从两个视点观察同一景物,以获取在不同视角下的感知图像,然后通过三角测量原理计算图像像素间的位置偏差(视差)来获取景物的三维信息。这一过程与人类视觉感知过程是类似的。

双目立体视觉测量示意图

在双目立体视觉系统的硬件结构中,通常采用两个摄像机作为视觉信号的采集设备,通过双输入通道图像采集卡与计算机连接,把摄像机采集到的模拟信号经过采样、滤波、强化、模数转换,最终向计算机提供图像数据。一个完整的双目立体视觉系统通常可分为数字图像采集、相机标定、图像预处理与特征提取、图像校正、立体匹配、三维重建六大部分。

(3)多目立体视觉

多目立体视觉系统是对双目视觉系统的一种拓展。所谓多目立体视觉系统,就是采用多个摄像机设置于多个视点,或者由一个摄像机从多个视点观测三维景物的视觉系统。

多目视觉测量示意图

对多目系统所采集到的景物图像进行感知、识别和理解的技术被称为多目立体视觉系统技术。在双目立体视觉中,对于给定的物体距离,视差与基线长度成正比,基线越长,对距离的计算越精确。但是当基线过长时,需要在相对较大的视觉范围内进行搜索,从而增加计算量。利用多基线立体匹配是消除误匹配、提高视差测量准确性的有效方法之。基线数目的增加可以通过增加相机来实现。

一张表看懂3D视觉应用案列

目前市场上的3D视觉采用的应用方案原理主要有三种:结构光法、ToF法和多目(双目)立体视觉法。就其优缺点,应用领域和实际案例,下面一张图则做了总体的概括。

一张表看懂3D视觉应用方案优缺点及案例

一张图展示国内外3D视觉应用方案主要玩家

在3D视觉应用方案领域三大原理的提供商分别有:

多目(双目)立体视觉法提供商:国外(英特尔、微软,Leapmotion);国内(图漾科技、纵目科技、凌云光技术、西纬科技和弼智仿生)。

结构光法提供商:国外(英特尔,谷歌);国内(图漾科技、奥比中光和华捷艾米)。

飞行时间法提供商:国外(微软、谷歌、英飞凌德州仪器、意法半导体),国内(海康威视、舜宇光学和乐行天下)。

一张图展示国内外3D视觉应用方案主要玩家

摄像头模组——智能手机的兵家必争之地

最近三年间,每部智能手机的摄像头模组成本从15美元上升到近25美元,不少手机的配置数量也从1颗增至3颗。智能手机的各大巨头,如苹果、三星、华为、OPPO、VIVO、小米、LG等的旗舰机采取了差异化的摄像头战略。随着人们在微信朋友圈、Facebook和Snapchat等社交网站上PO图的热情高涨,对照片的要求也越来越高,一款能突出主体、色彩艳丽又能增加颜值的智能手机对消费者的吸引力是巨大的,摄像头成了智能手机厂商争夺市场的一把利器。

每部智能手机摄像头数量的发展趋势

智能手机在摄像头模组上可谓费尽心思,后置摄像头、前置摄像头,增加像素,加大镜头和感光元件,这些还不够。双摄像头的方案逐渐成为主打方案:主摄像头+辅助摄像头,做到类似单反的背景虚化效果;长焦+广角镜头方案,光学变焦的双摄像头模组;RGB+Mono方案,也就是彩色摄像头+黑白摄像头的方案,提高夜拍效果,提亮降噪。从后置双摄像头到前置前置双摄像头,输出的照片焦内更加锐丽清晰,而虚化部分也更加真实。

从本质上讲,双摄像头是一个过渡产品,因为没有深度信息,只能依靠算法进行测算,对于拍照或许能满足摄像爱好者的初级要求,但是对于识别跟踪和智能化增强处理方面,还是需要深度摄像头的帮助才能做到完美。

那么,继双摄像头时代的下个时代会是什么呢?麦姆斯咨询认为,3D成像和传感技术已经在高端市场的“庇护”下逐渐成熟,并在医疗类和工业类领域取得了巨大的成功。2016年,3D成像和传感器件开始出现明显的商业拓展,市场规模超过13亿美元。未来两年,我们很可能看到以智能手机和电脑为首的大量采用3D成像感知设备的消费类产品涌入,iPhone8极有可能采用前置3D摄像头。苹果这座“风向标”对3D摄像头的应用,极有可能将引发“类似指纹传感器在消费类电子上井喷式爆发”的场景再次出现,3D摄像头最终将成为生物识别和脸部识别的主流配置。

3D摄像头模组结构

3D摄像头模组拆解后,其主要硬件包括:红外光发射器(IR LED或VCSEL)、红外光图像传感器(IR CIS或者其他光电二极管)和可见光图像传感器(Vis CIS)、图像处理芯片、滤光片或镜头。此外,室外工作的飞行时间(ToF)方案需要窄带滤光片;结构光方案需要发射端光学棱镜与DOE光栅;双目立体成像方案采用两颗红外光摄像头或两颗可见光摄像头。

典型的3D摄像头模组结构

基于ToF方案的3D视觉系统的工作原理为:首先红外激光发射器发射出近红外光,经过人手或人脸的反射之后,红外信息(IR Light)被红外光图像传感器所接收,这个图像信息用来计算人手所处的位置(Z轴);同时,可见光图像传感器采集二维平面(X与Y轴)的人手的可见光信息(Vis Light);图像传感器的信息汇总至专用的图像处理芯片,从而得到人手或人脸的三维数据,实现空间定位。

基于ToF方案的3D视觉系统工作原理

从硬件方面讲,3D摄像头模组与普通二维摄像头模组的差异在于红外光发射器的选择上,采用垂直腔面发射激光器VCSEL取代传统的红外LED。VCSEL的优势是驱动电压和电流小、功耗低、光源可调变频率更高(可达数GHz),与化合物半导体工艺兼容,适合大规模集成制造。传言iPhone8的3D摄像头将采用VCSEL+ToF方案,有望将VCSEL带入消费电子蓝海。VCSEL的相关知识在后续的报道中我们会专门做详细讲解。

3D摄像头模组的“春天”真的来了吗?

据Yole报告《3D成像和传感-2017版》,预计3D成像和传感器件市场的复合年增长率为37.7%,2022年将达到90亿美元。如此爆发性的增长让人不禁想起指纹传感器,2013年苹果公司发布了采用指纹识别传感器的iPhone 5S,由此引爆了指纹识别传感器市场,三年间市场规模从几乎为零飙升到几十亿美元。故事的开始惊人的相似,主角都是苹果公司,剧情是否会重演?

2011~2022年3D成像和传感器件市场预测

各大公司在3D视觉布局已久,但是一直未出现大规模应用,硬件是制约因素,算法的复杂性和未找到合适的应用场景则是主要原因。从硬件方面讲,单光子雪崩二极管(SPAD)、VCSEL、MEMS扫描镜、近红外图像传感器等技术工艺复杂,国内有能力量产的企业简直是凤毛麟角;3D摄像头模组的工艺流程也较双摄像头模组复杂许多,国内的丘钛科技已有量产的案例。在算法端,3D深度摄像头要求模组厂和算法进行有效配合。3D更偏向于深度摄像技术,它对算法提出的要求更高,它不再满足双摄机械式AA制程。没有合适的应用场景则是导致3D摄像技术一直处于不温不火局面的原因。现在,我们期待苹果(Apple)公司能够迈出重要一步,推动3D成像和传感产业发展。生物识别和脸部识别将成为3D成像和传感技术的主要应用,增强现实(AR)则是另一个重要应用。未来几年,消费类产品对3D摄像头的采用,则是推动该市场的强劲动力!

3D视觉系统的“最强大脑”

图像信号处理器(Image Signal Processor,以下简称ISP),是一种专用数字集成电路,对从CMOS图像传感器中输出的图像数据进行处理,得到经过复原、增强后的数字图像,使其更加接近现实中人眼所看到的图像。

ISP是一款“软硬皆施”的芯片,需要配合专业算法处理传感器数据,如线性纠正、噪点去除、坏点修补、颜色插值、白平衡校正、曝光校正等。通常,图像数据从前端感知后,均须经过ASP(Analog Signal Processing)、ADC(Analog-Digital Converter)、前期影像处理(Pre-ISP)与后端影像处理(Post-ISP)四个阶段后,“完美”的图像才能最终呈现于终端设备上。

成像框图

对于3D视觉系统来讲,如果说图像传感器好比“眼睛”,那么ISP则是它的“大脑”。ISP主要作用如下:

1.拜耳转换

图像传感器中的光电二极管本质上是“色盲”,它们只能记录不同的灰度信息。之所以能呈现出彩色图片,那是因为不同的红、绿、蓝三种颜色滤镜——拜耳滤镜将灰度信息转换成彩色信息。由于每个光电二极管只记录图像的一个像素的颜色信息,像素点只可能有三种颜色:红、绿、蓝,或者什么也没有(黑)。不同颜色的滤光点的排列是有规律的:每个绿点的四周,分布着2个红点、2个蓝点、4个绿点。这意味着,整体上,绿点的数量是其他两种颜色点的两倍。这是因为研究显示人眼对绿色最敏感,所以滤光层的绿点最多。然而,拜耳转换过程相当复杂,涉及到许多不同的操作。成像质量在很大程度上取决于对图像传感器输出原始数据处理的算法优劣。

拜耳阵列

2.去马赛克

如上所述,图像处理器对颜色和亮度的赋予像素数据,比较它们与相邻像素的数据,然后采用插值算法计算出这个像素的颜色和亮度值。ISP对整个图片评估,猜测对比度的正确分布。通过调整伽玛值(提高或降低图像的中间色调的对比度范围)进行色彩微调,如人体的皮肤和蓝色的天空,使整个画面与现实更为接近。

3.降噪

噪声在任何电子线路普遍存在。在数码摄影中,一幅流畅的彩色画面出现的明显突兀的色彩随机斑点被视为噪声。噪声随着温度和曝光时间的增加而增多。当选择较高的ISO设置时,图像传感器中的电子信号被放大,同时增加噪声电平,从而导致较低的信噪比。ISP从图像信息中分离噪声并去除它。但面临的相当大的挑战是图像中正常区域可能会被误认为是噪声,导致画面受损。

4.图像锐化

当每个像素的颜色和亮度值被插值时,图像平滑会使图像的边界、轮廓变得模糊。为了增强图像的灰度跳变,保持清晰度和细节完整性,图像处理器必须锐化边缘和轮廓。因此,它必须正确检测边缘,并顺利地复制它们,而不过分锐化。

难以跨越的技术鸿沟

ISP技术壁垒高,要求专业算法层面的深层配合,两者相辅相成,互为补充。ISP虽然可以对样张的质量进行后期处理,但不同的芯片或者使用同一款芯片的不同产品在拍摄性能方面也存在明显的差异,这是因为ISP不仅仅有处理能力,还具有可编程性,经过不同方式调试后的新算法会和集成原厂算法拉开差距。

市面上绝大多数手机都集成了ISP芯片,部分产品则采用了独立的ISP芯片,除了富士通为不少知名机型提供了独立ISP之外,像苹果这样的厂商都是自己定制专属于iPhone的ISP。高通骁龙820集成了Spectra ISP、联发科的Helio P25内置12位双ISP支持,都融合了自家最前沿的ISP。但研发难度相当大,财力消耗大,只有智能手机巨头才有能力建立自己的ISP和专业的算法团队。而国内的华为也投入9800万美金组建顶尖的专业团队,自主开发并由海思半导体制造Hi3516首次搭载在华为Mate 8,开启宣告国产手机突出重围。

高通的Spectra ISP拥有双ISP

iPhone专属定制的ISP

就芯片集成方式而言,将图像传感器和ISP通过封装集成于一颗模组可以有效降低成本,而业界领头羊索尼已经将图像传感器和ISP直接集成于一颗芯片。2017年,索尼推出的CMOS图像传感器IMX400采用三层堆叠式结构:顶层为CIS,中间层为DRAM,底层则是ISP。全新的三层芯片能够在1/120秒内读取1930万像素图片,是IMX318芯片的4倍。这减少了读取每个像素行的时间间隔。这对于缺乏机械快门来控制曝光的智能手机尤其重要。

索尼CMOS图像传感器芯片IMX400的三层堆叠结构

目前全球范围内主要被欧洲和日本巨头所垄断,如意法半导体、德州仪器、英飞凌、恩智浦、安霸、索尼、东芝、富士通等。而在国内,北京君正、全志科技和瑞芯微借助前几年平板电脑的爆发期也获得快速成长,此外还有一些新兴的创业型公司,如兴芯微。

应用:始于工业,盛于消费电子,走向人工智能

ISP的应用领域涉及消费电子、工业、安防、汽车、无人机、机器人等。其中,智能手机是目前ISP的主要应用领域。近几年智能手机厂商都在打摄像头的牌,通过不断改善拍照质量来吸引消费者的眼球。但是,没有ISP与图像传感器、镜头等硬件的高度协同,不论是前置还是后置的双摄像头都仅仅是摄像头性能参数的堆砌和噱头。

当前,人工智能已经延伸至ISP领域。这点苹果应当是布局已久,陆续收购了四家机器学习公司,而机器学习正是人工智能的核心所在。iPhone 7 使用的新款ISP处理能力比之前版本了提高一倍,它可以通过特定的算法获取拍摄对象的更多信息,并据此对成像进行深度处理。在人工智能的驱动下,通过机器学习技术检测到目标、设置曝光、焦距和白平衡。苹果营销总监Phil Schiller表示,这种通过人工智能驱动的ISP能够在25毫秒中进行最多1000亿次的操作,比原先快了60%。谷歌和微软也在不断渲染自己在人工智能上的技术储备,三大IT巨头相继发力,可以预见,人工智能扮演的角色将越来越重要,相信更加智能的ISP已经在路上。

原文标题:【深度解析】3D摄像头技术与应用报告

文章出处:【微信号:vision263com,微信公众号:新机器视觉】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
分享:

评论

相关推荐

四轴机器人编程与应用

主题简介:本次直播主要讲解四轴机器人控制器基本原理及组成。四轴机器人的核心技术内嵌人工智能算法的工业级运动控制技术和伺服
发表于 10-30 00:00 11587次 阅读
四轴机器人编程与应用

大胆预测未来工厂里有哪些新科技?

人工智能、深度学习、边缘计算、数字孪生、Factory 2.0……热词频现,数字化技术与各行业的交汇....
的头像 ABB中国 发表于 07-19 17:54 55次 阅读
大胆预测未来工厂里有哪些新科技?

气候预测面临挑战 人工智能扭转乾坤

一个研究人员联盟现在正在致力于从零开始,编写一个可以综合利用AI,新的软件工具和NVIDIA GPU....
的头像 英伟达NVIDIA中国 发表于 07-19 17:29 47次 阅读
气候预测面临挑战 人工智能扭转乾坤

“瓶盖挑战”Baxter机器人完美复刻了人类动作,成功完成了挑战

这个月,一项名为“瓶盖挑战”的比赛在全球社交媒体上火爆传播,众多各界名人都来凑热闹,尽显自己最炫酷的....
的头像 全球人工智能 发表于 07-19 17:28 38次 阅读
“瓶盖挑战”Baxter机器人完美复刻了人类动作,成功完成了挑战

腾玛人工智能助力政府部门积极参与慈善公益活动感恩回馈社会

当今社会,企业不再是一个可以游离于社会的“商业工具”,它被赋予了拟人化的社会成员属性,要承担相应的社....
的头像 腾玛人工智能 发表于 07-19 17:24 95次 阅读
腾玛人工智能助力政府部门积极参与慈善公益活动感恩回馈社会

机器学习准确预测发病风险

机器学习算法在改善慢性病风险评估和护理方面发挥了关键作用,尤其对阿尔茨海默病(俗称老年痴呆症)患者和....
的头像 机器人技术与应用 发表于 07-19 17:15 31次 阅读
机器学习准确预测发病风险

DARPA人工智能作战应用研究将提升美军“算法战”能力

近日,DARPA副局长彼得·海纳姆在华盛顿接受记者采访时说,DARPA的“下一代人工智能”(AI N....
的头像 人工智能学家 发表于 07-19 17:10 30次 阅读
DARPA人工智能作战应用研究将提升美军“算法战”能力

机器视觉在医疗行业的应用详细资料说明

随着人工智能、深度学习等技术的飞速发展,机器视觉正日趋敏锐,技术含量更高的质检与诊病工作也渐渐可以由....
发表于 07-19 17:08 5次 阅读
机器视觉在医疗行业的应用详细资料说明

5G时代云化机器人将迎来春天

随着智能系统的感知能力和行动能力日益增强,人与智能系统的日益融合,即人机共融系统。
发表于 07-19 16:59 20次 阅读
5G时代云化机器人将迎来春天

传统客服游戏规则已被人工智能改写

人工智能的融入,则让服务即产品的价值增长点得以扩大。
发表于 07-19 16:57 12次 阅读
传统客服游戏规则已被人工智能改写

购买智能机器人要看哪些核心参数

在科技越来越发达的今天,智能机器人作为载体已经走进大众的生活。
发表于 07-19 16:52 14次 阅读
购买智能机器人要看哪些核心参数

国内首创超低功耗存算一体人工智能芯片在合肥问世

7月16日,合肥恒烁半导体科技公司与中国科大团队历时两年共同研发的基于NOR闪存架构的存算一体(Co....
的头像 半导体动态 发表于 07-19 16:44 52次 阅读
国内首创超低功耗存算一体人工智能芯片在合肥问世

智能协作能为人类做到什么

把人类的动作当做“棋谱”大量输入给神经网络,让神经网络自行挖掘动作和实现目标之间的关系。
发表于 07-19 16:36 11次 阅读
智能协作能为人类做到什么

人工智能如何影响网络安全

人工智能的攻防之战不断展开,在网络上关于它的负面评论也渐渐浮现。
发表于 07-19 16:25 16次 阅读
人工智能如何影响网络安全

如何从难以普及的数据增强技术

虽然数据驱动不是AI算法训练的唯一途径,但在产业中已经出现了很明显的趋势。
发表于 07-19 16:19 14次 阅读
如何从难以普及的数据增强技术

《工业互联网战略与投资逻辑》演讲,获得基金合伙人和管理者关注

2019年7月18日,工业4.0研究院院长、开源工业互联网联盟理事长胡权应邀参加了“中国银河证券20....
的头像 开源工业互联网联盟 发表于 07-19 16:17 34次 阅读
《工业互联网战略与投资逻辑》演讲,获得基金合伙人和管理者关注

为AI加上安全锁有没有可能

然而随着AI的发展与应用,这门新技术所暴露出来的危险与不确定性确实也渐渐浮出水面。
发表于 07-19 16:15 12次 阅读
为AI加上安全锁有没有可能

AI机器人的工作边界在哪

人工智能虽然可以取代劳动,却不能取代服务与价值。
发表于 07-19 16:07 7次 阅读
AI机器人的工作边界在哪

2019年中京电子总结暨下半年工作计划会议如期在多功能厅举行

7月15日,中京电子2019年年中总结暨下半年工作计划会议如期在多功能厅举行。公司董事长杨林先生、总....
的头像 CPCA印制电路信息 发表于 07-19 15:52 88次 阅读
2019年中京电子总结暨下半年工作计划会议如期在多功能厅举行

人工智能时代,它是下一个机器人明星产品

在本届峰会上,深圳未来科技有限公司展示的儿童智能机器人通过语言识别、人脸识别、语音唤醒等技术,搭建了....
的头像 机器人峰会 发表于 07-19 15:34 41次 阅读
人工智能时代,它是下一个机器人明星产品

新人工智能模型提高预测乳癌准确度达87%

新的AI模型能以良好的准确度来预测患者恶性乳癌一年内的发展,以减少进行不必要测试的女性患者人数。
发表于 07-19 15:29 23次 阅读
新人工智能模型提高预测乳癌准确度达87%

钻开脑袋连接芯片,吓到你了吗?

大脑和电脑连接起来一直是科幻作品中久用不烂的设定,但如果有一天它不仅真的能实现,而且安全、无痛,你会....
的头像 中科院半导体所 发表于 07-19 15:19 95次 阅读
钻开脑袋连接芯片,吓到你了吗?

联邦学习的最新发展及应用

“同态加密”的突破使联邦学习成为解决“隐私保护+小数据”双重挑战的利器。
的头像 中国人工智能学会 发表于 07-19 15:16 39次 阅读
联邦学习的最新发展及应用

扑克牌是是AI首次在超过两个人的游戏中击败人类玩家

也许你会认为AI能战胜人类在今天已经是司空见惯的事了。但这次具有突破性的是,这场对战不再是一对一,对....
的头像 机器人学堂 发表于 07-19 15:06 35次 阅读
扑克牌是是AI首次在超过两个人的游戏中击败人类玩家

IVR是一种交互式语音应答电话自动服务系统

IVR(Interactive Voice Response)即交互式语音应答,是一种电话自动服务系....
的头像 小语智能机器人 发表于 07-19 15:02 53次 阅读
IVR是一种交互式语音应答电话自动服务系统

《教育部实施全国中小学教师信息技术意见》促进施教方面技术

为贯彻落实《教育部关于实施全国中小学教师信息技术应用能力提升工程2.0的意见》(教师〔2019〕1号....
的头像 科大讯飞智慧教育 发表于 07-19 14:32 56次 阅读
《教育部实施全国中小学教师信息技术意见》促进施教方面技术

人工智能与教育大数据峰会即将在北京国家会议中心召开,共探未来

8月1日-2日,由北京师范大学与科大讯飞联合举办的人工智能与教育大数据峰会即将在北京国家会议中心召开....
的头像 科大讯飞智慧教育 发表于 07-19 14:27 55次 阅读
人工智能与教育大数据峰会即将在北京国家会议中心召开,共探未来

行业 | 孙正义:日本在开发人工智能的竞赛中处于落后位置

在当前最重要的技术革命 “人工智能 ”上,日本已经成了‘发展中国家’。
的头像 天津机器人 发表于 07-19 14:25 84次 阅读
行业 | 孙正义:日本在开发人工智能的竞赛中处于落后位置

2019光子学与光学工程国际学术会议在泰国普吉岛举行

7月16-20日,2019光子学与光学工程国际学术会议(icOPEN2019)在泰国普吉岛举行。作为....
的头像 奥比中光 发表于 07-19 14:22 92次 阅读
2019光子学与光学工程国际学术会议在泰国普吉岛举行

2019第二届Arm人工智能开发者全球峰会圆满举办,共塑AI精彩未来!

2019 第二届Arm人工智能开发者全球峰会在上海圆满举办。今年的峰会以“共塑AI精彩未来” (To....
发表于 07-19 13:55 35次 阅读
2019第二届Arm人工智能开发者全球峰会圆满举办,共塑AI精彩未来!

区块链将促进更干净更有组织的个人数据建立

又如,人工智能与大数据是同生同涨的有机整体。人工智能,帮助人自动地感知、认知、分析和预测世界,它在数....
发表于 07-19 13:53 11次 阅读
区块链将促进更干净更有组织的个人数据建立

停车机器人全国火热 超25家企业竞争

停车机器人作为AGV的一个新的衍生应用领域,近两年在AGV市场蓬勃发展以及停车场需求高涨的带动下,正....
的头像 墨记 发表于 07-19 12:26 473次 阅读
停车机器人全国火热 超25家企业竞争

人工智能实现触觉和视觉的信息交互

触觉使我们可以感受世界,而视觉帮助我们了解其全貌。
的头像 大数据文摘 发表于 07-19 11:53 236次 阅读
人工智能实现触觉和视觉的信息交互

抢占人工智能发展制高点 增创体制机制新优势

回顾历史,每次产业技术革命都给人类生产生活带来巨大而深刻的影响。
的头像 北京市电子科技情报研究所 发表于 07-19 11:25 79次 阅读
抢占人工智能发展制高点 增创体制机制新优势

人工智能的“软硬结合”

AI硬件趋于异构,软件趋于统一,最后一定是软硬件的综合体。
的头像 网易智能 发表于 07-19 11:21 99次 阅读
人工智能的“软硬结合”

科技如何避免成为黑产帮凶

科技的发展推动了社会进步,同时也带来很多风险和隐患。
发表于 07-19 09:48 23次 阅读
科技如何避免成为黑产帮凶

人工智能(AI)对于当今生活的现实意义有什么

人工智能绝对是现代生产力变革的巨大动力,和不远的将来,和你和我都息息相关,现如今它已经在不远的将来向....
发表于 07-19 09:43 26次 阅读
人工智能(AI)对于当今生活的现实意义有什么

来看看中国机器人的发展现状

新的视觉技术、机器人的认知、灵巧性的追求、高投资回报、机械手的开发等都在不断吸引着协作机器人新兴入局....
的头像 高工机器人 发表于 07-19 09:35 75次 阅读
来看看中国机器人的发展现状

如何设计一款无人搬运车?

无人搬运车(Automated Guided Vehicle,AGV),也叫做自动导引运输车,是指装....
的头像 新机器视觉 发表于 07-19 09:15 66次 阅读
如何设计一款无人搬运车?

旷视《人工智能应用准则》人工智能能的持续发展方向在哪里?

《准则》从正当性、人的监督、技术可靠性和安全性、公平和多样性、问责和及时修正、数据安全与隐私保护六个....
的头像 Megvii旷视科技 发表于 07-19 08:58 87次 阅读
旷视《人工智能应用准则》人工智能能的持续发展方向在哪里?

未来生活,AI无处不在?

Vimicro AI是人工智能技术的先行者,基于深度学习技术的嵌入式神经网络处理器芯片和人工智能技术....
的头像 中星微人工智能 发表于 07-19 08:50 100次 阅读
未来生活,AI无处不在?

人工智能企业的出路——挤泡沫,抓痛点

目前人工智能的泡沫巨大无比,媒体吹捧,市场过热。
的头像 新机器视觉 发表于 07-19 08:45 139次 阅读
人工智能企业的出路——挤泡沫,抓痛点

人工智能道德伦理指南

人工智能技术是前沿技术,它对社会发展有着严重的影响。
的头像 AI人工智能D1net 发表于 07-18 17:40 409次 阅读
人工智能道德伦理指南

AI赋能教育产业应用管窥与琐思

人工智能已进入“大航海时代”,成为科技创新的“超级风口”。
发表于 07-18 16:50 48次 阅读
AI赋能教育产业应用管窥与琐思

人工智能进步须突破算力依赖

对脸书这样的公司来说,人工智能在其服务的几乎每个方面都发挥着作用。
发表于 07-18 16:45 37次 阅读
人工智能进步须突破算力依赖

更多AI新品将在这里先行先试

浦东新区将建成一批新一代人工智能产业创新应用“试验场”,更多人工智能创新产品、平台和服务将在这里先行....
发表于 07-18 16:39 46次 阅读
更多AI新品将在这里先行先试

近日,国家技术标准创新医疗健康大数据专业委员会成立

国家技术标准创新基地(贵州大数据)医疗健康大数据专业委员会于7月14日在贵阳高新区揭牌成立。
的头像 中国标准化 发表于 07-18 16:39 149次 阅读
近日,国家技术标准创新医疗健康大数据专业委员会成立

AI赋予生活更多智慧

浦东新区按照先导区创建方案,在推进应用场景建设、产业集聚发展等方面都取得了积极成效。
发表于 07-18 16:32 34次 阅读
AI赋予生活更多智慧

产业互联时代已经到来

推动互联网、大数据、人工智能与实体经济深度融合。
发表于 07-18 16:22 29次 阅读
产业互联时代已经到来

AI将电影制作变成娱乐游戏

Queisser 说道:“你可以在软件中创建两个不同的场景,分别在每个场景中比较 Emma Wats....
的头像 AI科技大本营 发表于 07-18 15:49 106次 阅读
AI将电影制作变成娱乐游戏

为什么物联网的未来需要依赖机器学习

人工智能是对感知周围世界、形成计划并为实现目标而做出决策的智能体的研究。它的基础包括数学、逻辑、哲学....
发表于 07-18 15:22 46次 阅读
为什么物联网的未来需要依赖机器学习

面对对象和正则表达式如何处理

面对对象是软件开发的方法。面对对象的概念和应用已超越了程序设计和软件开发,扩展到如数据库系统、交互式界面、应用结构、应用...
发表于 07-18 08:26 111次 阅读
面对对象和正则表达式如何处理

人工智能的神奇复活

1月底,计算领域经历了两个不同寻常的里程碑——很多人都没有注意到。一个记录了开拓者的逝去:人工智能(AI)领域先驱、导师Ma...
发表于 07-16 09:00 216次 阅读
人工智能的神奇复活

【技术杂谈】用python实现自己的小说阅读器

前一段时间书荒的时候,在喜马拉雅APP发现一个主播播讲的小说-大王饶命。听起来感觉很好笑,挺有意思的,但是只有前200张是免...
发表于 07-16 04:00 316次 阅读
【技术杂谈】用python实现自己的小说阅读器

【技术杂谈】手把手教你用keras搭建GAN

章节目录 SGAN代码实现训练结束语 01 SGAN什么是生成对抗网络:简单的来说,就是给定一个噪声z的输入,通过生成器...
发表于 07-12 04:00 446次 阅读
【技术杂谈】手把手教你用keras搭建GAN

嵌入式智能传感器的定义及特点

作者:王立刚 引言 传感器技术是一项当今世界令人瞩目的迅猛发展起来的高新技术之一,也是当代科学技术发展的一个重要标志...
发表于 07-09 06:03 293次 阅读
嵌入式智能传感器的定义及特点

【Toybrick RK3399Pro AI开发板试用体验】ACT I:开箱+板载资源详解

很开心,在90+的申请者中脱颖而出,得到RockChip以及发烧友的青睐,获得本次Toybrick TB-RK3399Pro开发板试用机会,同...
发表于 07-06 17:29 303次 阅读
【Toybrick RK3399Pro AI开发板试用体验】ACT I:开箱+板载资源详解

【Toybrick RK3399Pro AI开发板试用申请】机器人激光与视觉融合的导航模块

项目名称:机器人激光与视觉融合的导航模块 试用计划:申请理由 本人在机器人SLAM领域有4年开发经验,从最开始激光SL...
发表于 07-03 10:50 323次 阅读
【Toybrick RK3399Pro AI开发板试用申请】机器人激光与视觉融合的导航模块

【Toybrick RK3399Pro AI开发板试用申请】AI图形识别+语音识别

项目名称:AI图形识别+语音识别 试用计划:本人一直致力于各种AI智能平台以及物联网硬件平台的推广和试用,Toybrick RK...
发表于 07-03 10:48 322次 阅读
【Toybrick RK3399Pro AI开发板试用申请】AI图形识别+语音识别

2019年人工智能技术峰会落幕,大咖演讲PPT火热出炉!

2019年6月28日,由主办,深圳市机器人协会、深圳市人工智能行业协会和华强智慧网联合主办的“2019年人工智能技术峰会”在深圳成功...
发表于 07-02 16:36 1457次 阅读
2019年人工智能技术峰会落幕,大咖演讲PPT火热出炉!

人工智能——MATLAB图像处理及机器学习

今天华为的成功离不开3大基础软件系统的支撑,一是全球团队项目协作沟通邮件系统LOTUS,二是产品全生命周期管理软件PLM,...
发表于 07-01 15:05 1366次 阅读
人工智能——MATLAB图像处理及机器学习