发烧友10周年庆典,全网超值优惠来袭!千元现金券,下单抽奖赶紧参与》》

深度解析3D摄像头技术与应用报告

新机器视觉 2019-06-18 08:59 次阅读

近几年,国外的巨头公司都在3D摄像头产业链上布局:意法半导体、滨松、欧司朗、艾迈斯、博通元器件及模组生产厂商,苹果、微软、英特尔三星、谷歌、索尼等综合系统方案商,都在抢食这块“肥肉”。

你的双眼,你了解吗?

在自然界中,同样的景物,在不同的动物眼里却是有所差异的的。某些哺乳动物如牛、马、羊等,它们的两眼长在头的两侧,因此两眼的视野完全不重叠,左眼和右眼各自感受不同侧面的光刺激,这些动物仅有单眼视觉(monocular vision)。人和灵长类动物的双眼都在头部的前方,两眼的鼻侧视野相互重叠,因此落在此范围内的任何物体都能同时被两眼所见,两眼同时看某一物体时产生的视觉称为双眼视觉(binocular vision)。双眼看物体时,主观上可产生被视物体的厚度以及空间的深度或距离等感觉。当两只眼睛分别形成的物体被转化成神经信号传输到大脑以后,大脑就会对它们进行综合加工处理,两个物体相同的地方合二为一,不同的地方就代表物体不同维度上的特征。这样一来,两个物体就合成为一个具有很强立体感的物体了。因此双眼视觉也称为立体视觉(stereopsis)。

立体视觉

3D摄像头是什么炫酷的装备?

我们通常接触的普通摄像头只是二维的,没有深度的,也就是每一个景象都是平面的连续播放。这样的摄像头是无法人们提供身临其境的感受的!而3D摄像头在二维图像的基础上增加了对拍摄对象的深度测量,即三维的位置及尺寸信息,从而形成三维图像,其“看到”的景象和眼睛所看到的景深是类似的。

业界认为2D向3D摄像头的转变将成为继黑白到彩色、低分辨率到高分辨率、静态图像到动态影像后的第四次革命。如果说触摸屏实现了交互方式从一维到平面,那么3D摄像头将让交互方式从平面变成立体。3D摄像头为许多“痛点型应用场景”打开了局面,当前科技界炙手可热的领域如人机交互、人脸识别、AR/VR、辅助驾驶等等,都离不开3D摄像头,3D摄像头是未来人工智能“开眼看世界”的提供者!

人脸识别以前主要应用在门禁考勤系统、防盗门等,后续电子护照及身份证也大量采用该项技术。公安、司法和刑侦利用人脸识别系统和网络,在全国范围内搜捕逃犯。在金融业务上,电子商务、智慧银行采用人脸识别,也成了企业增强市场竞争力的手段。人脸识别在消费市场的机会越来越多,比如移动端的身份认证、支付交易确认、权限登录,手机自拍的快速对焦、自拍美颜等……人脸识别带来的便利性将带来人类生活消费方式的变革!

2015年马云在德国汉诺威消费电子、信息及通信博览会上“刷脸”

图像采集则是人脸识别的入口,摄像头采集的图像信息质量直接决定了最终判断的准确性。但是,目前所有的人脸识别摄像头采集的都是二维图像/视频信息,缺失了深度的图像使得各种欺骗人脸识别应用的合成图像或视频有了可趁之机:PS换脸、屏幕翻拍、戴面具、建模驱动等。而如果利用3D摄像头实现三维人脸活体识别,那么不管合成的图像或视频多么逼真,它只能在屏幕上呈现二维图像,注定是无法通过三维人脸活体检测的!

摄像头是人脸识别系统的入口

手势识别的应用场景非常广泛,无论是消费级市场的游戏、娱乐,还是汽车市场等,都需要丰富的手部动作来参与。这块的市场爆发力将非常强大!目前的二维手势识别只能做到一些比较简单的操作,比如控制视频播放开始和暂停、浏览照片等。但是对于更加复杂的体育类游戏或者AR/VR来说,二维手势识别还不够完美。未来集成3D摄像头的智能硬件将极大地促进三维手势识别的普及和应用,这也将带来比触摸屏交互更加接近人类方式的交互式体验。

手势识别应用

在汽车辅助驾驶系统,3D摄像头的引入更是赋予了汽车的“第六感”。3D摄像头可以时刻追踪司机的眼皮动作,当检测驾驶员有困倦或注意力不集中式能立即做出响应甚至气动紧急制动系统。配合雷达,还可以提供精准的路面状况信息,避免车祸的发生。

3D摄像头呈现的三维路面图像

在消费电子领域,3D摄像头也即将引爆市场。2016年,全球首款搭载Tango技术的智能手机:联想和谷歌凭借PMD独家3D技术重新定义了移动设备的新类别。而智能手机的“风向标”苹果公司中将在新一代iPhone 8中将配置3D摄像头的传言已经闹得纷纷扬扬。

联想PHAB2 Pro手机搭载Tango AR技术,具备3D测绘功能

3D摄像头——国外争相布局的产业

近几年,国外的巨头公司都在3D摄像头产业链上布局:意法半导体、滨松、欧司朗、艾迈斯、博通等元器件及模组生产厂商,苹果、微软、英特尔、三星、谷歌、索尼等综合系统方案商,都在抢食这块“肥肉”。

微软是最早涉足3D视觉的公司之一,在2010年与PrimeSense合作,推出了XBOX360体感周边外设——Kinect1代。颠覆了游戏的单一操作,使人机互动的理念彻底地展现出来。在Kinect上市后的头60天内,微软总计卖出了800万台,成功拿下了“吉尼斯世界纪录中销售速度最快消费者设备”的头衔。2012年微软先后收购了ToF(飞行时间光)相机公司canesta和3dv,自行开发了Kinect2代,采用ToF原理,在精度、分辨率和响应时间都有很大的提升。2015年,微软研究院的发明Handpose,,目的是让计算机精确地识别手势动作,并应用在2016年问世的AR头戴式显示器HoloLense。

微软Kinect 1代

谷歌,作为人工智能的专家之一,早已敏锐地嗅到了3D视觉市场的机会。其明星项目Project Tango在2016年成功植入联想手机PHAB2 Pro,提前在移动端运动追踪、深度感知和区域学习方面实现布局。2015年的谷歌开发者大会上提出了的60GHz毫米波手势识别技术Project Soli更是让人耳目一新,采用的60GHz毫米波弥补了红外光无法穿过被遮挡物的缺点。

Tango采集三维信息输出“点云”数据

2013年11月,苹果收购以色列3D传感器生产商PrimeSense,便暴露了其将3D体感控制器小型化并配置在PC、电视并最终到智能手机等消费电子产品的野心。乐观估计,苹果公司十周年推出的iPhone 8有望见证这一黑科技。

2016年苹果发布的3D手势识别专利示意图

而微软在2012年也开始涉及实感技术,2015年推出全新的RealSense。作为一款智能3D摄像头,主要有三部分组成:(1)传统的2D摄像头;(2)近红外图像传感器;(3)红外激光发射器。英特尔RealSense 3D摄像头有两种类型:一种是用于远距离、精度稍低的后置3D摄像头;另一种是用于近距离、精度较高的前置3D摄像头。目前,RealSense 3D 摄像头已经集成到戴尔、联想、华硕、惠普、宏碁等厂商的产品。

RealSense 3D摄像头组成——远距离使用(左图)&近距离使用(右图)

中国——3D摄像头产业链雏形已形成

麦姆斯咨询整理出中国3D视觉产业链,整个产业链生态圈已初步形成。

麦姆斯咨询用一张图展示中国3D视觉产业链

在核心元器件领域:红外LED设计企业有三安光电、乾照光电,晶圆制造商有三安光电,封装测试有聚飞光电、联创光电;VCSEL(垂直腔面发射激光器,Vertical Cavity Surface Emitting Laser)提供商有华芯半导体、光迅科技、昂纳科技集团;MEMS微镜提供商有微奥科技、励德微系统、创微电子;图像传感器设计企业有北京君正(收购豪威科技)、思比科、格科微、比亚迪微电子,芯片制造商有中芯国际,封装测试商有晶方科技和华天科技;滤光片和镜头提供商有水晶光电、舜宇光学、联创电子和歌尔股份;图像处理芯片提供商有北京君正、全志科技和瑞芯微。

在摄像头模组领域:欧菲光、舜宇光学、丘钛科技、歌尔股份(但是近期歌尔股份退出了摄像头模组领域的竞争)。

在应用方案领域按原理可分为三类:结构光法提供商(图漾科技、奥比中光和华捷艾米),飞行时间法提供商(海康威视、舜宇光学和乐行天下),多目(双目)立体视觉法提供商(图漾科技、纵目科技、凌云光技术、西纬科技和弼智仿生)。

3D视觉测量原理知多少

要谈3D视觉应用方案,就必须先弄清楚光学测量分类以及其原理。光学测量分为主动测距法和被动测距法。

主动测距方法的基本思想是利用特定的、人为控制光源和声源对物体目标进行照射,根据物体表面的反射特性及光学、声学特性来获取目标的三维信息。其特点是具有较高的测距精度、抗干扰能力和实时性,具有代表性的主动测距方法有结构光法、飞行时间法、和三角测距法。

光学测距法的分类

1. 主动测距法

(1)结构光法

根据投影光束形态的不同,结构光法又可分为光点式结构光法、光条式结构光法和光面式结构光法等。

三种结构光法测量的原理图

目前应用中较广,且在深度测量中具有明显优势的方法是面结构光测量法。面结构光测量将各种模式的面结构投影到被测物体上,例如将分布较密集的均匀光栅投影到被测物体上面,由于被测物体表面凹凸不平,具有不同的深度,所以表面反射回来的光栅条纹会随着表面不同的深度发生畸变,这个过程可以看作是由物体表面的深度信息对光栅的条纹进行调制。所以被测物体的表面信息也就被调制在反射回来的光栅之中。通过被测物体反射回来的光栅与参考光栅之间的几何关系,分析得到每一个被测点之间的高度差和深度信息。

结构光的优点是计算简单,测量精度较高,对于平坦的、无明显纹理和形状变化的表面区域都可进行精密的测量。其缺点是对设备和外界光线要求高,造价昂贵。目前,结构光法主要应用在条件良好的室内。

(2)飞行时间法(ToF)

飞行时间(Time of Flight,简称ToF)法,又叫做激光雷达(LiDAR)测距法。它将脉冲激光信号投射到物体表面,反射信号沿几乎相同路径反向传至接收器,利用发射和接收脉冲激光信号的时间差可实现被测量表面每个像素的距离测量。

飞行时间(ToF)深度测量法的原理示意图

ToF直接利用光传播特性,不需要进行灰度图像的获取与分析,因此距离的获取不受物体表面性质的影响,可快速准确地获取景物表面完整的三维信息。缺点则是需要较复杂的光电设备,价格偏贵。

(3)三角测距法

三角测距法又称主动三角法,是基于光学三角原理,根据光源、物体和检测器三者之间的几何成像关系来确定空间物体各点的三维坐标。在实际测量过程中,它常用激光作为光源,用CCD相机作为检测器。这种方式主要用于工业勘探、工件表面粗糙度检测、轮胎检测、飞机检测等工业、航空、军事领域,在消费电子类产品还不曾涉及。

基于激光三角法测量系统简图

2. 被动测距法

被动测距技术不需要人为地设置辐射源,只利用场景在自然光照下的二维图像来重建景物的三维信息,具有适应性强、实现手段灵活、造价低的优点。但是这种方法是用低维信号来计算高维信号的,所以其使用的算法复杂。被动测距按照使用的视觉传感器数量可分为单目视觉、双目立体视觉和多目视觉三大类。

(1)单目视觉

单目视觉是指仅利用一台照相机拍摄一张相片来进行测量。因仅需要一台相机,所以该方法的优点是结构简单、相机标定容易,同时还避免了立体视觉的小视场问题和匹配困难问题。

单目视觉测量示意图

单目视觉方法又可分聚焦法和离焦法两类。聚焦法是指首先使相机相对于被测点处于聚焦位置,然后根据透镜成像公式求得被测点相对于相机的距离。相机偏离聚焦位置会带来测量误差,因此寻求精确的聚焦位置是关键所在。而离焦法不要求相机相对于被测点处于聚焦位置,而是根据标定出的离焦模型计算被测点相对于相机的距离,这样就避免了由于寻求精确的聚焦位置而降低测量效率的问题,但离焦模型的准确标定是该方法的主要难点。

(2)双目立体视觉

双目立体视觉的基本原理是从两个视点观察同一景物,以获取在不同视角下的感知图像,然后通过三角测量原理计算图像像素间的位置偏差(视差)来获取景物的三维信息。这一过程与人类视觉感知过程是类似的。

双目立体视觉测量示意图

在双目立体视觉系统的硬件结构中,通常采用两个摄像机作为视觉信号的采集设备,通过双输入通道图像采集卡与计算机连接,把摄像机采集到的模拟信号经过采样、滤波、强化、模数转换,最终向计算机提供图像数据。一个完整的双目立体视觉系统通常可分为数字图像采集、相机标定、图像预处理与特征提取、图像校正、立体匹配、三维重建六大部分。

(3)多目立体视觉

多目立体视觉系统是对双目视觉系统的一种拓展。所谓多目立体视觉系统,就是采用多个摄像机设置于多个视点,或者由一个摄像机从多个视点观测三维景物的视觉系统。

多目视觉测量示意图

对多目系统所采集到的景物图像进行感知、识别和理解的技术被称为多目立体视觉系统技术。在双目立体视觉中,对于给定的物体距离,视差与基线长度成正比,基线越长,对距离的计算越精确。但是当基线过长时,需要在相对较大的视觉范围内进行搜索,从而增加计算量。利用多基线立体匹配是消除误匹配、提高视差测量准确性的有效方法之。基线数目的增加可以通过增加相机来实现。

一张表看懂3D视觉应用案列

目前市场上的3D视觉采用的应用方案原理主要有三种:结构光法、ToF法和多目(双目)立体视觉法。就其优缺点,应用领域和实际案例,下面一张图则做了总体的概括。

一张表看懂3D视觉应用方案优缺点及案例

一张图展示国内外3D视觉应用方案主要玩家

在3D视觉应用方案领域三大原理的提供商分别有:

多目(双目)立体视觉法提供商:国外(英特尔、微软,Leapmotion);国内(图漾科技、纵目科技、凌云光技术、西纬科技和弼智仿生)。

结构光法提供商:国外(英特尔,谷歌);国内(图漾科技、奥比中光和华捷艾米)。

飞行时间法提供商:国外(微软、谷歌、英飞凌德州仪器、意法半导体),国内(海康威视、舜宇光学和乐行天下)。

一张图展示国内外3D视觉应用方案主要玩家

摄像头模组——智能手机的兵家必争之地

最近三年间,每部智能手机的摄像头模组成本从15美元上升到近25美元,不少手机的配置数量也从1颗增至3颗。智能手机的各大巨头,如苹果、三星、华为、OPPO、VIVO、小米、LG等的旗舰机采取了差异化的摄像头战略。随着人们在微信朋友圈、Facebook和Snapchat等社交网站上PO图的热情高涨,对照片的要求也越来越高,一款能突出主体、色彩艳丽又能增加颜值的智能手机对消费者的吸引力是巨大的,摄像头成了智能手机厂商争夺市场的一把利器。

每部智能手机摄像头数量的发展趋势

智能手机在摄像头模组上可谓费尽心思,后置摄像头、前置摄像头,增加像素,加大镜头和感光元件,这些还不够。双摄像头的方案逐渐成为主打方案:主摄像头+辅助摄像头,做到类似单反的背景虚化效果;长焦+广角镜头方案,光学变焦的双摄像头模组;RGB+Mono方案,也就是彩色摄像头+黑白摄像头的方案,提高夜拍效果,提亮降噪。从后置双摄像头到前置前置双摄像头,输出的照片焦内更加锐丽清晰,而虚化部分也更加真实。

从本质上讲,双摄像头是一个过渡产品,因为没有深度信息,只能依靠算法进行测算,对于拍照或许能满足摄像爱好者的初级要求,但是对于识别跟踪和智能化增强处理方面,还是需要深度摄像头的帮助才能做到完美。

那么,继双摄像头时代的下个时代会是什么呢?麦姆斯咨询认为,3D成像和传感技术已经在高端市场的“庇护”下逐渐成熟,并在医疗类和工业类领域取得了巨大的成功。2016年,3D成像和传感器件开始出现明显的商业拓展,市场规模超过13亿美元。未来两年,我们很可能看到以智能手机和电脑为首的大量采用3D成像感知设备的消费类产品涌入,iPhone8极有可能采用前置3D摄像头。苹果这座“风向标”对3D摄像头的应用,极有可能将引发“类似指纹传感器在消费类电子上井喷式爆发”的场景再次出现,3D摄像头最终将成为生物识别和脸部识别的主流配置。

3D摄像头模组结构

3D摄像头模组拆解后,其主要硬件包括:红外光发射器(IR LED或VCSEL)、红外光图像传感器(IR CIS或者其他光电二极管)和可见光图像传感器(Vis CIS)、图像处理芯片、滤光片或镜头。此外,室外工作的飞行时间(ToF)方案需要窄带滤光片;结构光方案需要发射端光学棱镜与DOE光栅;双目立体成像方案采用两颗红外光摄像头或两颗可见光摄像头。

典型的3D摄像头模组结构

基于ToF方案的3D视觉系统的工作原理为:首先红外激光发射器发射出近红外光,经过人手或人脸的反射之后,红外信息(IR Light)被红外光图像传感器所接收,这个图像信息用来计算人手所处的位置(Z轴);同时,可见光图像传感器采集二维平面(X与Y轴)的人手的可见光信息(Vis Light);图像传感器的信息汇总至专用的图像处理芯片,从而得到人手或人脸的三维数据,实现空间定位。

基于ToF方案的3D视觉系统工作原理

从硬件方面讲,3D摄像头模组与普通二维摄像头模组的差异在于红外光发射器的选择上,采用垂直腔面发射激光器VCSEL取代传统的红外LED。VCSEL的优势是驱动电压和电流小、功耗低、光源可调变频率更高(可达数GHz),与化合物半导体工艺兼容,适合大规模集成制造。传言iPhone8的3D摄像头将采用VCSEL+ToF方案,有望将VCSEL带入消费电子蓝海。VCSEL的相关知识在后续的报道中我们会专门做详细讲解。

3D摄像头模组的“春天”真的来了吗?

据Yole报告《3D成像和传感-2017版》,预计3D成像和传感器件市场的复合年增长率为37.7%,2022年将达到90亿美元。如此爆发性的增长让人不禁想起指纹传感器,2013年苹果公司发布了采用指纹识别传感器的iPhone 5S,由此引爆了指纹识别传感器市场,三年间市场规模从几乎为零飙升到几十亿美元。故事的开始惊人的相似,主角都是苹果公司,剧情是否会重演?

2011~2022年3D成像和传感器件市场预测

各大公司在3D视觉布局已久,但是一直未出现大规模应用,硬件是制约因素,算法的复杂性和未找到合适的应用场景则是主要原因。从硬件方面讲,单光子雪崩二极管(SPAD)、VCSEL、MEMS扫描镜、近红外图像传感器等技术工艺复杂,国内有能力量产的企业简直是凤毛麟角;3D摄像头模组的工艺流程也较双摄像头模组复杂许多,国内的丘钛科技已有量产的案例。在算法端,3D深度摄像头要求模组厂和算法进行有效配合。3D更偏向于深度摄像技术,它对算法提出的要求更高,它不再满足双摄机械式AA制程。没有合适的应用场景则是导致3D摄像技术一直处于不温不火局面的原因。现在,我们期待苹果(Apple)公司能够迈出重要一步,推动3D成像和传感产业发展。生物识别和脸部识别将成为3D成像和传感技术的主要应用,增强现实(AR)则是另一个重要应用。未来几年,消费类产品对3D摄像头的采用,则是推动该市场的强劲动力!

3D视觉系统的“最强大脑”

图像信号处理器(Image Signal Processor,以下简称ISP),是一种专用数字集成电路,对从CMOS图像传感器中输出的图像数据进行处理,得到经过复原、增强后的数字图像,使其更加接近现实中人眼所看到的图像。

ISP是一款“软硬皆施”的芯片,需要配合专业算法处理传感器数据,如线性纠正、噪点去除、坏点修补、颜色插值、白平衡校正、曝光校正等。通常,图像数据从前端感知后,均须经过ASP(Analog Signal Processing)、ADC(Analog-Digital Converter)、前期影像处理(Pre-ISP)与后端影像处理(Post-ISP)四个阶段后,“完美”的图像才能最终呈现于终端设备上。

成像框图

对于3D视觉系统来讲,如果说图像传感器好比“眼睛”,那么ISP则是它的“大脑”。ISP主要作用如下:

1.拜耳转换

图像传感器中的光电二极管本质上是“色盲”,它们只能记录不同的灰度信息。之所以能呈现出彩色图片,那是因为不同的红、绿、蓝三种颜色滤镜——拜耳滤镜将灰度信息转换成彩色信息。由于每个光电二极管只记录图像的一个像素的颜色信息,像素点只可能有三种颜色:红、绿、蓝,或者什么也没有(黑)。不同颜色的滤光点的排列是有规律的:每个绿点的四周,分布着2个红点、2个蓝点、4个绿点。这意味着,整体上,绿点的数量是其他两种颜色点的两倍。这是因为研究显示人眼对绿色最敏感,所以滤光层的绿点最多。然而,拜耳转换过程相当复杂,涉及到许多不同的操作。成像质量在很大程度上取决于对图像传感器输出原始数据处理的算法优劣。

拜耳阵列

2.去马赛克

如上所述,图像处理器对颜色和亮度的赋予像素数据,比较它们与相邻像素的数据,然后采用插值算法计算出这个像素的颜色和亮度值。ISP对整个图片评估,猜测对比度的正确分布。通过调整伽玛值(提高或降低图像的中间色调的对比度范围)进行色彩微调,如人体的皮肤和蓝色的天空,使整个画面与现实更为接近。

3.降噪

噪声在任何电子线路普遍存在。在数码摄影中,一幅流畅的彩色画面出现的明显突兀的色彩随机斑点被视为噪声。噪声随着温度和曝光时间的增加而增多。当选择较高的ISO设置时,图像传感器中的电子信号被放大,同时增加噪声电平,从而导致较低的信噪比。ISP从图像信息中分离噪声并去除它。但面临的相当大的挑战是图像中正常区域可能会被误认为是噪声,导致画面受损。

4.图像锐化

当每个像素的颜色和亮度值被插值时,图像平滑会使图像的边界、轮廓变得模糊。为了增强图像的灰度跳变,保持清晰度和细节完整性,图像处理器必须锐化边缘和轮廓。因此,它必须正确检测边缘,并顺利地复制它们,而不过分锐化。

难以跨越的技术鸿沟

ISP技术壁垒高,要求专业算法层面的深层配合,两者相辅相成,互为补充。ISP虽然可以对样张的质量进行后期处理,但不同的芯片或者使用同一款芯片的不同产品在拍摄性能方面也存在明显的差异,这是因为ISP不仅仅有处理能力,还具有可编程性,经过不同方式调试后的新算法会和集成原厂算法拉开差距。

市面上绝大多数手机都集成了ISP芯片,部分产品则采用了独立的ISP芯片,除了富士通为不少知名机型提供了独立ISP之外,像苹果这样的厂商都是自己定制专属于iPhone的ISP。高通骁龙820集成了Spectra ISP、联发科的Helio P25内置12位双ISP支持,都融合了自家最前沿的ISP。但研发难度相当大,财力消耗大,只有智能手机巨头才有能力建立自己的ISP和专业的算法团队。而国内的华为也投入9800万美金组建顶尖的专业团队,自主开发并由海思半导体制造Hi3516首次搭载在华为Mate 8,开启宣告国产手机突出重围。

高通的Spectra ISP拥有双ISP

iPhone专属定制的ISP

就芯片集成方式而言,将图像传感器和ISP通过封装集成于一颗模组可以有效降低成本,而业界领头羊索尼已经将图像传感器和ISP直接集成于一颗芯片。2017年,索尼推出的CMOS图像传感器IMX400采用三层堆叠式结构:顶层为CIS,中间层为DRAM,底层则是ISP。全新的三层芯片能够在1/120秒内读取1930万像素图片,是IMX318芯片的4倍。这减少了读取每个像素行的时间间隔。这对于缺乏机械快门来控制曝光的智能手机尤其重要。

索尼CMOS图像传感器芯片IMX400的三层堆叠结构

目前全球范围内主要被欧洲和日本巨头所垄断,如意法半导体、德州仪器、英飞凌、恩智浦、安霸、索尼、东芝、富士通等。而在国内,北京君正、全志科技和瑞芯微借助前几年平板电脑的爆发期也获得快速成长,此外还有一些新兴的创业型公司,如兴芯微。

应用:始于工业,盛于消费电子,走向人工智能

ISP的应用领域涉及消费电子、工业、安防、汽车、无人机、机器人等。其中,智能手机是目前ISP的主要应用领域。近几年智能手机厂商都在打摄像头的牌,通过不断改善拍照质量来吸引消费者的眼球。但是,没有ISP与图像传感器、镜头等硬件的高度协同,不论是前置还是后置的双摄像头都仅仅是摄像头性能参数的堆砌和噱头。

当前,人工智能已经延伸至ISP领域。这点苹果应当是布局已久,陆续收购了四家机器学习公司,而机器学习正是人工智能的核心所在。iPhone 7 使用的新款ISP处理能力比之前版本了提高一倍,它可以通过特定的算法获取拍摄对象的更多信息,并据此对成像进行深度处理。在人工智能的驱动下,通过机器学习技术检测到目标、设置曝光、焦距和白平衡。苹果营销总监Phil Schiller表示,这种通过人工智能驱动的ISP能够在25毫秒中进行最多1000亿次的操作,比原先快了60%。谷歌和微软也在不断渲染自己在人工智能上的技术储备,三大IT巨头相继发力,可以预见,人工智能扮演的角色将越来越重要,相信更加智能的ISP已经在路上。

原文标题:【深度解析】3D摄像头技术与应用报告

文章出处:【微信号:vision263com,微信公众号:新机器视觉】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
分享:

评论

相关推荐

四轴机器人编程与应用

主题简介:本次直播主要讲解四轴机器人控制器基本原理及组成。四轴机器人的核心技术内嵌人工智能算法的工业级运动控制技术和伺服
发表于 10-30 00:00 11587次 阅读
四轴机器人编程与应用

2019模拟半导体大会开幕! 产、投两界代表热议中国模拟芯片发展思路!

9月20日,由深圳华秋电子有限公司主办的2019中国模拟半导体大会在深圳成功举办,如何判断中国模拟半....
的头像 章鹰 发表于 09-21 07:56 0次 阅读
2019模拟半导体大会开幕! 产、投两界代表热议中国模拟芯片发展思路!

联想贺志强:智能互联网时代正在到来,未来20年内是产业发展最佳时期

9月19日下午消息,在联想2020校园宣讲会上,联想集团高级副总裁、联想创投集团总裁贺志强向现场50....
的头像 牵手一起梦 发表于 09-20 17:09 288次 阅读
联想贺志强:智能互联网时代正在到来,未来20年内是产业发展最佳时期

京东智谷与三大运营商签署战略合作协议,建设5G智慧园区

2019年省重大预备项目、市重大建设项目京东智谷有了新进展。今日(19日),京东智谷先后与移动、联通....
的头像 牵手一起梦 发表于 09-20 16:46 270次 阅读
京东智谷与三大运营商签署战略合作协议,建设5G智慧园区

人工智能在未来将实现社会包容式发展

很多人看到人工智能,看到的都是悲观的景象,但我看到的是光明的未来。在过去的60多年当中,科技进步最重....
发表于 09-20 16:29 32次 阅读
人工智能在未来将实现社会包容式发展

未来人工智能将可以让机器变得有自我意识

20世纪50年代,计算机科学之父阿兰·图灵在《思想》杂志上发表了题为“计算的机器和智能”的论文,首次....
发表于 09-20 16:23 74次 阅读
未来人工智能将可以让机器变得有自我意识

高维空间对于人工智能是非常重要的

在人类历史上发生过很多次革命。第一次革命可以称之为“农业革命”。当人类第一次出现在地球上的时候,他们....
发表于 09-20 16:22 30次 阅读
高维空间对于人工智能是非常重要的

快速跟踪其人工智能实施的五种方法

围绕人工智能这一重要支持技术的快速成功,可以进一步增加对更广泛的数字转型和创新举措进行更多投资的商业....
发表于 09-20 16:15 36次 阅读
快速跟踪其人工智能实施的五种方法

关于机器学习的to do & not to do

模型复现可以给自己规定一个任务,譬如在一个月内,把某篇论文的Tensorflow实现的代码,复现成P....
的头像 倩倩 发表于 09-20 16:11 93次 阅读
关于机器学习的to do & not to do

掌握这三点才是AI系统的未来

特别是,我们需要停止构建那些只是用来更好检测数据集统计模式(通常被称为深度学习的方法)的计算机系统通....
的头像 倩倩 发表于 09-20 16:09 155次 阅读
掌握这三点才是AI系统的未来

深度学习路径的由来,面对人工智能人类还只是“小学生”

这些研究人员认为,受大脑生物学启发的、那些被称为神经网络、连接主义和并行分布处理的AI实现方法,会最....
的头像 倩倩 发表于 09-20 16:05 132次 阅读
深度学习路径的由来,面对人工智能人类还只是“小学生”

深度学习与机器阅读

随后,以传统机器阅读的方法作为引入,引出了深度学习的方法。先介绍了机器阅读的主要步骤:文本表示(将文....
的头像 倩倩 发表于 09-20 16:01 126次 阅读
深度学习与机器阅读

AI寒冬将至?深度学习的“新江湖”

说到深度学习与人工智能的关系,简单来说就是:将海量数据通过深度学习进行处理后形成一个模型,再将模型应....
的头像 倩倩 发表于 09-20 15:29 106次 阅读
AI寒冬将至?深度学习的“新江湖”

FPGA的云端部署将使用户对新应用触手可及

利用FPGA进行机器学习推断的云识别,加速倍数是40倍。Ngcodec是做视频解码的企业,编码追诉率....
发表于 09-20 15:16 62次 阅读
FPGA的云端部署将使用户对新应用触手可及

机器学习技术将促使“算法生成新闻提要和内容推荐”的应用普及

智能内容意味着内容本身受到阅读或视听内容的影响,根据人工智能技术、用户个性化需求追踪、机器学习技术等....
的头像 倩倩 发表于 09-20 15:04 69次 阅读
机器学习技术将促使“算法生成新闻提要和内容推荐”的应用普及

最常见的机器学习面试问题及其相应的回答

在监督学习中,机器在标记数据的帮助下进行训练,即带有正确答案标记的数据。而在无监督机器学习中,模型自....
的头像 倩倩 发表于 09-20 15:01 82次 阅读
最常见的机器学习面试问题及其相应的回答

第四范式市场份额位列中国第一,并处于机器学习平台市场领导者位置

IDC中国区首席分析师武连峰表示:“对于第四范式自主创新的核心技术和产品的分析与比较、及企业发展关键....
的头像 倩倩 发表于 09-20 14:57 89次 阅读
第四范式市场份额位列中国第一,并处于机器学习平台市场领导者位置

人工智能和机器学习与深度学习之间是怎样的关系

这三种方式在运行机制上的差异使得它们分别适用于不同的任务。而其间最为突出的差别存在于人工智能 (AI....
发表于 09-20 14:57 21次 阅读
人工智能和机器学习与深度学习之间是怎样的关系

IDC逐步深入开展机器学习开发平台厂商评估

应用落地现状:目前商业化机器学习产品已经落地的行业及应用包括金融行业反欺诈、信用模型评估,跨行业的产....
的头像 倩倩 发表于 09-20 14:53 117次 阅读
IDC逐步深入开展机器学习开发平台厂商评估

AWS是如何推动AI技术实际落地到各行各业场景中?

目前,全球已有几万个客户选择借助 AWS 实施机器学习,其中既有巨头企业,也有风口上的初创企业。作为....
的头像 倩倩 发表于 09-20 14:50 119次 阅读
AWS是如何推动AI技术实际落地到各行各业场景中?

机器学习技术在高德的地图数据生产的具体应用

交通标志检测,特指在普通街景图像上通过自动化手段检测出各种类型的交通标志,如限速、禁止掉头、人行横道....
的头像 倩倩 发表于 09-20 14:45 103次 阅读
机器学习技术在高德的地图数据生产的具体应用

人工智能、机器学习与深度学习之间有什么区别联系?

如果你观察下跳棋程序的输出,你会发现这些动作背后隐藏着某种形式的“人工智能”,尤其是当电脑打败你的时....
的头像 倩倩 发表于 09-20 14:35 100次 阅读
人工智能、机器学习与深度学习之间有什么区别联系?

联想员工暗示将会推出搭载35W i7-10710U的笔记本

不久前,雷蛇发布了第一台搭载25W 10nm 低压处理器的笔记本,当时该博主就在微博表示“猜猜谁将推....
的头像 倩倩 发表于 09-20 14:24 70次 阅读
联想员工暗示将会推出搭载35W i7-10710U的笔记本

Swift for TensorFlow:无边界机器学习,值得大家期待

据资料显示,Swift for TensorFlow:无边界机器学习简介主要是——Swift for....
的头像 倩倩 发表于 09-20 14:20 67次 阅读
Swift for TensorFlow:无边界机器学习,值得大家期待

2020年我国机器视觉市场规模将超过150亿元

根据我国机器视觉行业CAGR为23.81%的增速水平,预测2019年我国机器视觉行业市场规模将达到1....
的头像 墨记 发表于 09-20 14:06 579次 阅读
2020年我国机器视觉市场规模将超过150亿元

启英泰伦发布第二代语音AI芯片,首批10万片已售罄,语音模组最低14.99元!

9月19日,启英泰伦在深圳发布最新第二代语音AI芯片CI110X 系列CI1102和CI1103。此....
的头像 芯链 发表于 09-20 12:02 650次 阅读
启英泰伦发布第二代语音AI芯片,首批10万片已售罄,语音模组最低14.99元!

四大银行均采用了SAS自动化分析工具来实现银行卡反欺诈检测

就目前而言,自动化分析正成为人工智能反欺诈检测的关键组成部分,可以有效减少50-70%的误报,使人们....
的头像 倩倩 发表于 09-20 11:38 227次 阅读
四大银行均采用了SAS自动化分析工具来实现银行卡反欺诈检测

如何快速认识Ceph/CephFS,最简单的方式就是快速应用它

了解Ceph的人,大都会认为Ceph是一个相对复杂的系统,尤其当磁盘规模达到千块甚至万块时。Ceph....
的头像 倩倩 发表于 09-20 11:33 112次 阅读
如何快速认识Ceph/CephFS,最简单的方式就是快速应用它

Java程序员把机器学习作为主攻方向,未来会有更多的发展机会

对于Java程序员来说,要想转向机器学习,首先要了解机器学习的概念和步骤,然后根据自身的知识结构来补....
的头像 倩倩 发表于 09-20 11:27 97次 阅读
Java程序员把机器学习作为主攻方向,未来会有更多的发展机会

介绍21种用于机器学习的开源工具

优步路德维希:路德维希允许我们训练和测试深度学习模型,而无需编写代码。您需要提供的只是一个包含数据的....
的头像 倩倩 发表于 09-20 11:16 114次 阅读
介绍21种用于机器学习的开源工具

机器学习教父:从未标记数据中促进机器学习能力

会上,美国卡内基梅隆大学CMU计算机学院院长、机器学习教父、乂学教育-松鼠AI首席AI科学家Tom ....
的头像 倩倩 发表于 09-20 11:12 151次 阅读
机器学习教父:从未标记数据中促进机器学习能力

2019年人工智能初创企业的资金没有大幅增长

对于美国和全球AI和ML初创企业而言,真正的资金跃升发生在2016-2018年之间。就在那时,风险投....
的头像 倩倩 发表于 09-20 11:09 135次 阅读
2019年人工智能初创企业的资金没有大幅增长

国际纸业:为机器学习魔兽馈送数据

这是一个良好的开端,但后面还有更大的挑战。2017 年,国际纸业发起了一个以数据和机器学习为核心的试....
的头像 倩倩 发表于 09-20 11:06 100次 阅读
国际纸业:为机器学习魔兽馈送数据

IDC发布了首份《IDC MarketScape:中国机器学习开发平台2019厂商评估》

百度拥有齐全的机器学习产品矩阵,秉承“双引擎双轮驱动往前走”的发展战略, 致力于针对不同能力的开发者....
的头像 倩倩 发表于 09-20 10:59 96次 阅读
IDC发布了首份《IDC MarketScape:中国机器学习开发平台2019厂商评估》

博士在线提问,怎么成功读完机器学习博士?

一位题主是一名最近换了导师转向机器学习的博士生,他问道:我目前已经进行了初步学习,尽管我已经想到了一....
的头像 倩倩 发表于 09-20 10:45 108次 阅读
博士在线提问,怎么成功读完机器学习博士?

一种越来越多被应用于加速机器学习应用的浮点格式bfloat16

bfloat16的主要想法是提供动态范围与标准IEEE-FP32相同的16位浮点格式,精度较低。相当....
的头像 倩倩 发表于 09-20 10:32 184次 阅读
一种越来越多被应用于加速机器学习应用的浮点格式bfloat16

机器学习必需数据标注,人工标注帮助AI快速落地

AI数据标注员被称作“人工智能背后的人工”。“数据是人工智能的血液。当下是大数据基础上的人工智能,是....
的头像 倩倩 发表于 09-20 10:29 231次 阅读
机器学习必需数据标注,人工标注帮助AI快速落地

如果要从事机器学习方面的研发,可以按照以下几个步骤学习

具备软件开发能力的程序员,转向机器学习领域会更容易一些,但是即使没有软件开发基础,如果具备扎实的数学....
的头像 倩倩 发表于 09-20 10:26 77次 阅读
如果要从事机器学习方面的研发,可以按照以下几个步骤学习

Arm宣布将会采用Bfloat16数据类型,这种数据类型会成为主流吗?

在SVE中包含对bfloat16的支持特别有趣,因为这些向量指令是专门为高性能计算开发的。截至目前,....
的头像 倩倩 发表于 09-20 10:23 80次 阅读
Arm宣布将会采用Bfloat16数据类型,这种数据类型会成为主流吗?

我想学习机器学习和人工智能,该从哪开始呢?

当人们发现我的作品,他们通常会私信并提问。我不一定知道所有的答案,但我会尽量回复。人们最常问的问题是....
的头像 倩倩 发表于 09-20 10:21 81次 阅读
我想学习机器学习和人工智能,该从哪开始呢?

苹果再次成为AI战场的主力军,一种全新的机器学习技术

当我们向Siri提问时,语音交互只是前端流程。问题发送之后,机器学习模型先要理解问题、理解问题存在的....
的头像 倩倩 发表于 09-20 10:17 122次 阅读
苹果再次成为AI战场的主力军,一种全新的机器学习技术

人工智能即将迎来新一代的技术革命

1946年第一台计算机埃尼阿克诞生,谁也不知道未来这几十吨的大家伙竟改变了世界,因为人们发现如果能够....
发表于 09-20 10:17 47次 阅读
人工智能即将迎来新一代的技术革命

苹果更加重视如何在移动设备商打造机器学习平台

为做到这一点,苹果正在使用一种名为“深度融合”(DeepFusion)的技术,将所有三个镜头的图像结....
的头像 倩倩 发表于 09-20 10:15 152次 阅读
苹果更加重视如何在移动设备商打造机器学习平台

5G、物联网和人工智能的关系是什么

网际协议版本(Internet Protocol version,IPv),又称互联网通信协议,是网....
发表于 09-20 10:14 44次 阅读
5G、物联网和人工智能的关系是什么

探讨机器学习与深度学习的差异

人工智慧、機器學習以及深度學習已變成現今最熱門的話題之一,但以字面上的意思不足以清楚的表達其意義,使得人們常常混淆。以下...
发表于 09-20 09:05 71次 阅读
探讨机器学习与深度学习的差异

郑交会人工智能科技展

2019年,“智能+”作为一个概念,首次出现在政府工作报告中,人工智能也已连续三年被写入政府工作报告。在国务院印发的关于“新...
发表于 09-16 18:24 93次 阅读
郑交会人工智能科技展

Ubuntu下试玩visionseed工具的数据可视化

日前购得一套AI视觉模组visionseed,我准备先在Ubuntu下试玩visionseed工具来了解这套视觉模组。当然前期准备工作是要做的:...
发表于 09-16 11:29 362次 阅读
Ubuntu下试玩visionseed工具的数据可视化

大话人工智能成功进入测试阶段

大话人工智能成功进入测试阶段 人工智能英文简称为AI,英文全写Artificial Intelligence,中文直译就是人工智能。 人工...
发表于 09-15 12:40 210次 阅读
大话人工智能成功进入测试阶段

机器学习分类与算法选择

根据需求选择算法
发表于 09-12 15:38 49次 阅读
机器学习分类与算法选择

国内外人工智能十大芯片怎么样?

2019年属于人工智能爆发的一年,特别是芯片领域,华为一家就推出来四个芯片,芯片可不像软件一样简单复制,也不像普通的线路板一...
发表于 09-11 11:52 191次 阅读
国内外人工智能十大芯片怎么样?

人工智能能否取代人类?

为什么大家对这类问题如此感兴趣?这可能要追溯到2016年,AI真正进入到大众视野并引爆媒体的标志性事件,也就是AlphaGo战胜围...
发表于 09-11 11:52 257次 阅读
人工智能能否取代人类?

神经网络结构搜索有什么优势?

近年来,深度学习的繁荣,尤其是神经网络的发展,颠覆了传统机器学习特征工程的时代,将人工智能的浪潮推到了历史最高点。然而,...
发表于 09-11 11:52 46次 阅读
神经网络结构搜索有什么优势?

神经处理单元IP VIP9000怎么样?

芯片设计平台即服务(SiPaaS®)公司芯原(VeriSilicon)今日宣布推出VIP9000,这是一款高度可扩展、可编程的计算机视觉和人...
发表于 09-11 11:52 144次 阅读
神经处理单元IP VIP9000怎么样?

通用型AI语音识别芯片音旋风611如何?

近日,国产原生芯片品牌探境科技宣布全球首款通用型AI语音识别芯片——音旋风611(英文名称:Voitist611)目前正式进入批量供货...
发表于 09-11 11:52 127次 阅读
通用型AI语音识别芯片音旋风611如何?