0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

英飞凌新款长距离3D ToF图像传感器满足摄影和AR/MR需求

MEMS 来源:MEMS 作者:MEMS 2021-01-19 10:26 次阅读

如今的智能手机必须提供许多吸引用户的功能,尤其是要满足对高质量摄影效果,以及日益增长的增强现实(AR)/混合现实(MR)功能需求。据麦姆斯咨询介绍,英飞凌(Infineon)基于pmd technologies的飞行时间(ToF)像素技术开发了新款长距离3D ToF图像传感器,可以满足上述摄影和AR/MR的需求。

购买新款智能手机时,消费者越来越重视手机摄像头。一方面,他们想要拍摄高质量的照片和视频;另一方面,他们希望全面的增强现实功能,以支持AR/MR游戏领域中的新兴和高级的应用功能。因此,智能手机的摄像头已经成为购买过程中的决定性要素,并且无论在商业、教育还是工业应用中,智能手机的摄像头都必须能够将现实世界与数字世界联系起来。集成飞行时间(ToF)图像传感器的3D摄像头正好可以具备此项能力!

过去几年,智能手机3D摄像头的开发主要集中在手机正面。因为前置摄像头对于各种高安全性和便利性应用至关重要。例如,前置3D摄像头用于高级安全功能——3D人脸识别以及应用解锁和移动支付。此外,前置3D摄像头还可用于3D虚拟化身、社交媒体交互和具有特殊深度效果的摄影美化。上述功能促进了3D摄像头在手机正面的部署应用,目前这一趋势现已在市场上确立。

同时,具有专业品质和沉浸式AR/MR体验的计算摄影将成为推动智能手机发展的下一个游戏规则变革者,并为在智能手机背面采用3D摄像头提供重要机遇。这也将引发无数此类新应用的诞生,从而将进一步推动后置3D摄像头的发展。根据Strategy Analytics预测,2025年智能手机后置ToF摄像头市场出货量将超过5亿个(如图1所示)。

f84334ea-59ae-11eb-8b86-12bb97331649.jpg

图1 智能手机后置3D ToF摄像头市场预测

然而,目前AR/MR应用仍然非常有限。几年前在游戏和3D设计中普及的AR应用,用户在其中将虚拟角色或对象放置在场景中的某处,通常只不过是将计算机生成的视觉效果叠加到物理环境上——利用数字细节补充现实世界,从而产生有限或不沉浸的用户体验。在这种情况下,两个关键要素只是集成摄像头的手机和带有合适算法的AR应用程序(App)——用于计算图像并将其投影到手机屏幕上的场景中。但是,真正的MR将现实世界与数字元素融合在一起,使它们可以实时交互和融合。MR可以实现虚拟对象与真实对象之间更高程度的沉浸和无处不在的交互,并将虚拟图像完美地渲染到现实世界中。MR需要在所有光照条件下实时准确地获取3D深度数据,并且对处理能力的要求比带有图像叠加的简单AR效果要高得多。基于3D传感技术的解决方案由于提供了2D摄像头无法提供的深度细节,因而备受关注。尽管如此,但仍然存在挑战——因为当前部署3D传感解决方案的智能手机尚无法在不对测距范围和功耗进行重大折衷的情况下提供理想的分辨率。

英飞凌REAL3产品组合中最新一代的3D ToF图像传感器现已解决了上述缺点。在详细解释这种新器件的优点之前,让我们先看看ToF原理。

基于ToF原理的3D图像传感器

英飞凌新型REAL3 3D ToF图像传感器芯片利用红外光,并采用飞行时间工作原理(图2)。

f86d3f1a-59ae-11eb-8b86-12bb97331649.jpg

图2 英飞凌REAL3 3D ToF图像传感器的工作原理

智能手机3D摄像头的照明系统将通常在几十兆赫兹范围内调制的红外光发射到物体上,然后红外光再反射回来被3D ToF图像传感器接收。3D ToF图像传感器的每个单独像素都测量由照明系统发出的调制红外光经物体反射回来的传播时间。由于3D ToF图像传感器的每个像素都配备一个微透镜,因此大部分入射光被引导到像素的敏感区域:实际上,在非活动表面上几乎没有光能损失,并且光学像素的灵敏度明显更高。最后,利用算法处理测得的数据,以检测物体的距离、大小、运动和形状,并在此基础上创建精确的3D模型。

英飞凌与专注于ToF技术的德国公司pmd technologies一起开发了REAL3 3D ToF图像传感器系列。到目前为止,只有少数公司成功地将合适的3D ToF解决方案推向了市场,因为这需要广泛的系统能力和对ToF技术的深刻理解。英飞凌和pmd technologies自2013年以来通力合作,一直处于ToF技术的前沿领域。他们共同开发了五代3D ToF图像传感器,这些ToF传感器已应用于多款智能手机、AR设备、智能家居工业相机和汽车。

与之前的3D ToF图像传感器相比,第六代REAL3 3D ToF图像传感器经过专门优化,可以解决智能手机的痛点,从而增强拍照效果和AR/MR功能。该传感器比前几代产品能耗降低40%,从而提高了智能手机的电池使用寿命。这是AR/MR游戏的关键,例如ToF摄像头长时间处于开启状态。由于具有较高的SoC集成度,因此采用这种新款3D ToF图像传感器的摄像头设计可以缩小35%,从而为智能手机设计提供了更大的自由度,进而提高了成本效率。最后,新款3D ToF图像传感器及系统旨在提供最远10米的深度数据,并且不会在短距离内损失高分辨率(图3)。

f8d1e438-59ae-11eb-8b86-12bb97331649.jpg

图3 英飞凌新款长距离REAL3 3D ToF图像传感器应用

为了达到10米的测量距离,必须显著改变发射光的调制方法(图4)。

f8fbac5a-59ae-11eb-8b86-12bb97331649.jpg

图4 可以使用两个调制频率精确测量距离

ToF摄像头照明系统投射的红外光调制频率与深度质量/精度有关。调制频率越高,深度质量越好,但是同时无歧义范围(UR)也会缩小。因此,高深度精度需要高调制频率,但是对于较长的无歧义范围,则需要较低的调制频率。为了解决此问题,REAL3 3D ToF图像传感器使用两个不同的调制频率。这意味着对于每个频率都进行距离测量,然后将两个频率的测量值进行比较以确定物体的准确位置。这样可以将测量范围扩展到每个调制频率的无歧义范围之外。所有这些步骤都是通过pmd technologies的复杂ToF摄像头驱动软件完成的。

英飞凌最新一代3D ToF图像传感器和相关VCSEL驱动芯片使得3D成像系统能够采用比之前更高的调制频率对(modulation frequency pairs)。通过这种方式,深度精度得到提高,并且同时可以在长达10米的范围内高质量地扫描周围环境。在高达5米的距离处,甚至可以获得4万个深度点的高分辨率图像(图5)。

图5 英飞凌新款远距离REAL3 3D ToF图像传感器可提供灵活且卓越的分辨率,以在更远的距离范围内改善AR/MR体验

相比之下,市场上其它可用的3D传感解决方案只能在5米距离提供约600个深度点的分辨率,这意味着无法解决小物体的感知。凭借如此高的测距范围和分辨率,英飞凌的3D ToF图像传感器系列适用于各种AR/MR应用:无论是AR/MR游戏、房间和物体的3D扫描,还是家具设计和其它设计应用的3D成像。

此外,诸如智能手机AR游戏之类的“始终在线(always-on)”应用程序尤其受益于英飞凌新款3D ToF图像传感器的低功耗。在新一代产品中,功耗已降低了40%,这意味着智能手机的电池运行时间将大大延长。

在所有环境光条件下提供准确可靠的深度数据

英飞凌REAL3 3D ToF图像传感器还有另一个重要优势——它们在所有环境照明条件下都可以提供准确可靠的深度数据。这意味着即使在复杂的环境光条件下也可以生成高质量的深度数据。这一点变得越来越重要,尤其是在现代摄影中。为此,pmd technologies专门开发了一种专利电路,该电路集成在每个像素中,称为“背景照明抑制(Suppression of Background Illumination,SBI)”。SBI扩展了ToF图像传感器芯片的动态性能,并降低了由环境光(例如阳光直射)引起的像素饱和。

弱光条件是2D摄像头最具挑战性的环境之一,并且会阻止高质量的夜间模式人像和快速自动对焦。图6显示了ToF辅助弱光条件下的人像拍摄案例,该人像具有完美的背景虚化效果。ToF辅助人像拍摄的背后秘密是新型3D ToF图像传感器还可以创建场景的夜视图像,该图像以灰度图显示。

图6 在弱光条件下,英飞凌REAL3 3D ToF图像传感器实现具有完美背景虚化效果的ToF辅助人像拍摄

除了深度数据之外,ToF图像传感器的灰度数据也可以应用。同样,分辨率也是关键:英飞凌新款3D ToF图像传感器提供清晰的夜视图像,而同类应用中的其它商业解决方案仅提供数百个像素。图6的中间显示了所拍摄人像的灰度图和深度图,左侧图像显示了没有ToF辅助的2D人像照片,右侧显示了利用灰度图和深度图创建的背景虚化的人像照片。

最后,ToF辅助人像拍摄功能可以实现非常高效的图像处理,因此美化效果也可以实时应用于视频流。总之,在适当设计的3D摄像头系统中,英飞凌3D ToF图像传感器可确保在所有环境光条件下(无论是在强烈的阳光照射下,还是在黑暗之中,抑或是在建筑物内或车内)都能够可靠地工作。

用户还可以通过I²C接口动态配置3D ToF图像传感器。因此,在操作期间,帧率可以像曝光时间或预定义的操作模式一样轻松地调整,从而实现针对照明和操作环境进行功能优化。此外,智能电源管理可确保低功耗。借助3D ToF图像传感器,ToF摄像头可以在生产结束后数秒内可靠地校准。

英飞凌新款长距离REAL3 3D ToF图像传感器尺寸仅为4.4mm x 4.8mm,因此在电路板空间有限的情况下,它是紧凑型3D摄像头设计的理想解决方案。得益于高度集成的CMOS图像传感器和英飞凌VCSEL驱动芯片,英飞凌3D摄像头方案使用的组件数量少于其它商用3D摄像头方案,这也大大降低了3D摄像头的成本。3D ToF图像传感器特性(例如编码调制)和配置灵活性还为各种应用和多摄像头场景提供了改进的性能和鲁棒性。性能、低功耗、功能、尺寸和低成本的结合使3D ToF图像传感器特别适合于移动设备的3D摄像头应用。

英飞凌新款REAL3 3D ToF图像传感器的高级配置性提供了差异化的3D摄像头性能,以支持不同的测距范围、不同的环境光条件和不同的使用情况。根据应用需求,该传感器可实现以下功能:实时增强现实、远程扫描、小物体重建、低功耗的快速自动对焦和图像分割。这使得诸如视频和图像中的背景虚化等效果易于实现,并且与照明条件无关,无需对图像进行复杂的后处理。

据麦姆斯咨询介绍,作为一家全球领先的半导体制造商,英飞凌为移动和其它消费类应用提供REAL3 3D ToF图像传感器产品组合(如裸芯片),而系统设计及广泛的应用需求则由设计合作伙伴负责。pmd technologies提供适用于全系列REAL3 3D ToF图像传感器的摄像头驱动软件——通过全面且通用的API轻松实现3D ToF图像传感器配置。新款3D ToF图像传感器芯片的批量供货将于2021年第二季度开始。目前,3D ToF图像传感器演示套件已经可以提供。

总结

英飞凌与pmd technologies合作开发的新一代3D ToF图像传感器适用于多种应用领域,例如实时混合现实、增强摄影、3D对象扫描和房间重建。无论环境光条件如何,都可以轻松实现视频和运动场景图像的背景虚化等效果。此外,可以在长达10米的距离内进行高质量的深度数据采集,并且不会在较短距离内损失分辨率。

智能手机中的“始终在线(always-on)”应用程序(例如混合现实游戏)受益于新款3D ToF图像传感器的低功耗,可为用户提供了更长的运行时间。在用于房间和对象重建的3D扫描等应用中,以及在建筑和工业室内设计等应用中,基于新款3D ToF图像传感器的解决方案的测量范围是其它商用解决方案的两倍。

原文标题:英飞凌新款ToF图像传感器实现先进的摄影技术和身临其境的AR/MR体验

文章出处:【微信公众号:MEMS】欢迎添加关注!文章转载请注明出处。

责任编辑:haq

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 英飞凌
    +关注

    关注

    64

    文章

    1862

    浏览量

    136829
  • 传感器
    +关注

    关注

    2515

    文章

    47684

    浏览量

    738664
  • 芯片
    +关注

    关注

    445

    文章

    47476

    浏览量

    407875
  • 智能手机
    +关注

    关注

    66

    文章

    17988

    浏览量

    176864

原文标题:英飞凌新款ToF图像传感器实现先进的摄影技术和身临其境的AR/MR体验

文章出处:【微信号:MEMSensor,微信公众号:MEMS】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    基于ToF 的 OPT3101 远距离接近和距离传感器AFE数据手册

    电子发烧友网站提供《基于ToF 的 OPT3101 远距离接近和距离传感器AFE数据手册.pdf》资料免费下载
    发表于 03-12 15:04 0次下载

    将MLX75027 3D图像传感器与CX3 RDK MIPI开发板连接后报错如何解决?

    我们打算将MLX75027 3D图像传感器与CX3 RDK MIPI开发板连接,但EZ-USB-suite软件中配置MIPI块参数中针对的是2D
    发表于 02-28 07:41

    英飞凌推出新款磁性位置传感器

    英飞凌科技股份公司,凭借其丰富的磁性位置传感器技术经验与成熟的线性隧道磁阻(TMR)技术,成功研发出新款磁性位置传感器XENSIV™ TLI5590-A6W。
    的头像 发表于 01-31 11:08 352次阅读

    倍加福全新3D视觉传感器的工作原理和典型应用

    也在不断增长。本期我们将详解另一种高性能视觉技术版本:飞行时间(ToF)技术。SmartRunner Explorer 3-D ToF 传感器同样具备许多优势——该版本的传感器能够生成
    的头像 发表于 12-08 14:37 447次阅读
    倍加福全新<b class='flag-5'>3D</b>视觉<b class='flag-5'>传感器</b>的工作原理和典型应用

    ToF4M Unit高精度距离传感器单元

    Time-of-Flight(ToF)是一种用于测量物体距离的技术。它通过测量光或其他波的往返时间来确定物体与传感器之间的距离。在光学ToF
    的头像 发表于 11-25 08:29 432次阅读
    <b class='flag-5'>ToF</b>4M Unit高精度<b class='flag-5'>距离</b><b class='flag-5'>传感器</b>单元

    tof原理介绍 ToF传感器的优缺点

    ToF传感器使用微小的发射器发射红外光或者激光,其中产生的光会从任何物体反弹并返回到传感器。根据光的发射与被物体反射后返回传感器之间的时间差,传感器
    发表于 08-23 11:21 2253次阅读
    <b class='flag-5'>tof</b>原理介绍 <b class='flag-5'>ToF</b><b class='flag-5'>传感器</b>的优缺点

    ToF传感器的原理及优缺点分析

    ToF传感器使用微小的发射器发射红外光或者激光,其中产生的光会从任何物体反弹并返回到传感器。根据光的发射与被物体反射后返回传感器之间的时间差,传感器
    发表于 08-22 09:52 2622次阅读
    <b class='flag-5'>ToF</b><b class='flag-5'>传感器</b>的原理及优缺点分析

    光学3D表面轮廓仪可以测金属吗?

    光学3D表面轮廓仪是基于白光干涉技术,结合精密Z向扫描模块、3D 建模算法等快速、准确测量物体表面的形状和轮廓的检测仪器。它利用光学投射原理,通过光学传感器对物体表面进行扫描,并根据反射光的信息来
    发表于 08-21 13:41

    CMOS图像传感器类型及3D堆叠

    CMOS图像传感器根据像素排列方式可以划分为面阵CMOS图像传感器和线阵 CMOS 图像传感器
    发表于 07-07 10:00 1972次阅读
    CMOS<b class='flag-5'>图像</b><b class='flag-5'>传感器</b>类型及<b class='flag-5'>3D</b>堆叠

    Melexis ToF传感器助力实现汽车和工业功能安全应用

    Melexis推出ToF传感器新品MLX75027RTI,助力汽车和工业客户满足功能安全要求,进一步巩固其在3D传感技术领域的地位。
    发表于 06-25 09:56 208次阅读

    浅谈3D ToF传感的各场景应用

    3D ToF传感数据的使用,是实现未来车内设计,并让汽车制造商脱颖而出的一大特点。而较为简单和经济的3D数据采集方法要数使用飞行时间(ToF
    发表于 05-30 11:03 1253次阅读
    浅谈<b class='flag-5'>3D</b> <b class='flag-5'>ToF</b><b class='flag-5'>传感</b>的各场景应用

    我们拆了一款Tof+AI避障的扫地机

    更多的距离信息,结合图像识别算法和环境感知技术带来的智能导航和3D地图创建技术,成为了扫地机避障系统中不可或缺的一部分。头部的摄像头模组可以实现图像识别,激光雷达则是负责场景构建,雷达
    发表于 05-26 10:10

    ToF传感器究竟有多神奇?

    上反射回传感器后,根据光的发射与反射的时间差,就可以计算出传感器与测量物体之间的距离。很多时候,ToF传感器也被称为"深度相机"(depth
    的头像 发表于 05-18 09:48 4258次阅读
    <b class='flag-5'>ToF</b><b class='flag-5'>传感器</b>究竟有多神奇?

    全新i-ToF图像传感器助力打造更小巧的3D摄像系统

    IRS2976C 图像传感器支持多种远距离、低功耗使用场景,测量距离可达到甚至超过 10 米。与REAL3 系列的所有其他成员一样,这款图像
    的头像 发表于 05-10 14:24 551次阅读

    全新iToF图像传感器助力打造小型3D摄像头

    英飞凌与专注于3D ToF领域的优质合作伙伴湃安德(pmd)联合推出IRS2877C飞行时间(ToF)VGA传感器的性能进阶版——IRS29
    的头像 发表于 04-03 09:33 809次阅读