三镜头手机时代已经到来_三镜头到底强在哪?

在双镜头智能手机越来越普及的同时，华为(Huawei)最新推出的P20 Pro揭示三镜头手机时代的来临…三个镜头真的有比两个镜头厉害吗？

在过去两年，我们已经见证到在大众市场上的大多数智能手机对双镜头技术之采用，而且几乎是跨所有手机业者；双镜头出现在前置或后置摄影机，有不同的配置以及终极目标。

根据市场研究机构的报告指出，2018年有30%的智能手机将采用双镜头，明年该比例将成长至50%。而虽然智能手机市场花了超过十年时间才添加第二个镜头，看来第三个镜头也马上要登场了──在双镜头方案被采纳的两年之内。

本文将探讨智能手机影像系统添加第三个镜头的一些动机、所带来的挑战，以及一些可能的解决方案。

双镜头发展回顾

智能手机的厚度一直是移动摄影技术的挑战；随着技术演进，摄影机光圈尺寸可以非常迷你，像素(pixel)尺寸也越来越小，此外自动对焦与影像稳定也仍然需要能放进去。而最近，智能手机厂竞相实现不错的低光线拍照性能、高分辨率、低SNR，甚至还能以仅6mm的摄影机高度来变焦。

双镜头技术的诞生，除了为相机模组制造商与智能手机业者带来救赎，同时也带来挑战；它提出的方案是：如果单支摄影机已经充分发挥潜力，为何不合成两支摄影机的输出，好让它们能各自贡献其特殊优势？

最早搭载双镜头的智能手机是HTC One (M8)，应用于后置摄影机；其唯一目的是提供景深与对焦效果。而双镜头手机发展的第一阶段持续至2016年中，当时有多家智能手机业者都在旗舰机种尝试采用双镜头技术，利用不同的设定，包括仅支持景深、RGB-单色(Mono) ，以及广角-超广角(Wide-Wider)等组合。不过并没有出现“杀手级拍照应用程式”，也没有任何一种配置方法胜出。

2016年9月，Apple发表配备后置双镜头摄影机的iPhone 7 Plus，以“广角+望远”(Wide+Tele)的高阶双镜头配置，强调支持两种消费者最想要的功能：光学变焦( optical zoom)与数字散景(digital bokeh；或称“人像模式”)。从那时候起，双镜头智能手机市场地位确立，各家高阶与旗舰机种都采用了与Apple类似的配置，中低阶手机则仍仅支持景深功能。

Corephotonics (以色列新创公司，本文提供者)是在2014年推出变焦双镜头系统，能在不牺牲摄影机Z轴高度的前提下支持真正的光学变焦

然后是三镜头！

虽然双镜头智能手机已经在高阶市场普及，在近期内仍将会有许多新的双镜头拓朴亮相，以强化今日的双镜头方案性能；一个下一代双镜头进化的案例即将发生，即是可折叠摄影机架构的应用，不只能大幅改善变焦倍数以及低光线拍摄性能，也能实现更低的摄影机模组高度以适应更薄的手机机身。OPPO在2017年MWC就曾发表过采用这类技术的初期原型──配备5倍变焦镜头的智能手机摄影机技术。

另一个智能手机摄影机的有趣变化，会是利用三镜头组合；不过说比做容易得多，添加第三个摄影机镜头会带来明显的挑战(以及奖赏)，也为智能手机制造商开启了更广泛的可能性与配置选项。

三镜头智能手机可以有很多不同配置

接下来让我们来看看三镜头相机系统面临的三大挑战：

挑战一：“坪数”与成本

三镜头解决方案不但增加了摄影机系统物料清单(BoM)成本，也会因为其他可能整合到手机内的技术(例如红外线感测、近接感测器、结构光、更大的电池…等等)，而在机体内部空间占据更多“坪数”。这种“惩罚”几乎是不可避免的，但厂商必须要以整体金钱价值来衡量，有部分取决于其目标受众的优先性。

第三支摄影机添加的成本会与其配置直接相关，这点笔者在接下来会进一步解释；其金额估计在10美元至30美元之间。

挑战二：校准

为了要达到在视讯/影像预览的无缝使用者体验，并避免在影像融合或散景时出现残影或过长的处理时间，必须要在此三镜头成像系统的内部与外部属性上仔细校准，而且要在摄影机的生产线上进行，必须一丝不苟甚至可能以连续、自动化的执行方式来补偿物理性动态变化，例如温度变化与设备掉落冲击等。

摄影机系统的校准以及讯框同步(frame-to-frame synchronization)，为摄影机模组制造商以及这种更复杂摄影机系统供应商带来挑战；因为如果三个镜头每一个都需要完美校准，组装程序必须要谨慎设计，而良率预期会较低，如此可能会直接影响整体摄影机成本。

挑战三：固件、算法与功耗

三镜头摄影系统在固件方面也会更复杂，新架构会必须能像是只运作一支摄影机那样搞定三支摄影机；处理程序例如电源管理、讯框要求(frame request)、存储器管理，以及其他摄影机管理员程式内部的状态机(state-machines)，会需要处理更多的逻辑、更多数据并允许在流水线内更多的平行处理，同时以更有效率的方式支持应用层以因应即时性能。

在另一方面，算法也面临相同挑战，包括确保合理的处理运作时间，以及避免来自多个镜头的多输入影像而导致的残影；同时还要处理三镜头在讯框同步、遮蔽(occlusions )方面的不精准，以及三镜头校准数据中的缺陷。因为这些复杂性，这种配置的整体系统(包括摄影镜头与处理平台)功耗会大大受影响。

接着让我们来讨论几种三镜头配置方法，这些案例各有优缺点，当然也可能还有其他的配置…

支持低光线拍摄的三镜头配置

三镜头摄影机能让使用者在光线相对较暗的场景中拍摄照片，而且变焦功能也不会打折扣。在演唱会现场拍摄舞台上的画面就是一个很好的例子，这种场景不但需要变焦，而且需要能支持低光线拍摄。

支持低光线拍摄的三镜头配置

连续变焦功能源自于以下几点：

单色摄影机(Camera I)因为没有使用通常会配置在彩色摄影机感测器像素中的拜尔滤色镜阵列(Bayer filter array)，而能提供更高的对角线分辨率(diagonal resolution)；在这种系统中，能使用彩色摄影机(Camera II与Camera III)来实现色彩重现。

单色广角摄影机与彩色广角摄影机(Camera I与Camera II)不同的空间取样尺寸(例如像素尺寸)，也有助于此双镜头子系统的整体放大倍率性能。

第三个摄影机还能支持来自望远镜头之更高的中央分辨率(center resolution)。

强化低光线拍摄性能，源自于与三镜头都有相关的、相对较低的焦比(f/#；镜头光圈设定)。将彩色摄影机(Camera II)输出讯框与单色摄影机(Camera I)输出讯框融合，会取得是前者两倍的光线，如此也能大幅改善SNR。

两倍曝光的效益是不采用彩色滤光片阵列的结果，因为在彩色滤光片中，每个像素会被过滤为只记录三种色彩中的一种，以牺牲整体潜在可吸收光线为代价。

RGB/单色(Mono)/望远(Tele)三镜头能支持更佳的光线敏感度以及光学变焦

另一个这种三镜头配置方案胜过现有双镜头变焦摄影机的显著优势，是在Camera I与Camera II之间有较大的重叠视野(field of view，FoV)；这种功能可以在扩增实境(AR)以及数字散景(浅化背景深度的效果)等多种应用中，支持整体宽广FoV中的立体深度感测，

而此种配置的一个显著缺点是在静态影像撷取时的快门延迟相对较高，而且在视讯录影时的低光线拍摄性能就没有改善；此外很重要的是，这类摄影机系统的功耗必须小心监控，以避免当三镜头同时运作时发生悬崖式掉电。

支持广角拍摄的三镜头配置

镜头排列顺序对系统性能会有影响；举例来说，将广角彩色摄影机放在中间，能在视讯拍摄时支持较顺畅的广角镜头到望远镜头过渡，同时简化两相邻摄影机(彩色与单色)之间的融合程序。但这种配置的代价是牺牲立体深度感测精确度，不过能透过将广角彩色摄影机与广角单色摄影机放在相对两端来改善。

鱼眼变焦摄影机配置

这种摄影机配置会非常适合旅游爱好者；举例来说，在拍摄开阔的景观时，超广角镜头能避免一般采用影像拼接的拍摄模式。同时非常有助于在变焦时撷取精细的影像细节；现在的智能手机只能让使用者在影像品质较佳的光学变焦或是超广角画面中二选一，但三镜头配置就不需要做出这种抉择。

相较于前一种三镜头配置，这种配置能以更经济的方式处理功耗，因为大多数时间只有一个镜头启动，依据使用者的变焦倍数；此外此摄影机阵列顺序背后的逻辑会更直接，因为依据摄影机放大性能，相邻的两摄影机之间会一直以连续模式无缝切换。

这类系统的挑战在于超广角镜头会有相对较高的影像失真，特别是在视讯平滑过渡、融合两个影像甚或是工厂校准程序时；不过热爱摄影的手机使用者，会非常欣赏望远镜头较长的焦距，能让他们从远处拍摄到效果更好的目标物特写。

支持折叠式望远摄影机的三镜头配置

这种三镜头配置也能让使用者享受前所未有的真正5倍光学变焦，不需要妥协于今日的智能手机外观(也就是能与无边框全萤幕显示器共存的5mm高度摄影机)。而尽管F/#相对较高(例如f/2.8)，望远镜头的低光线拍摄性能也很出色，因为折叠式望远镜头强化了入摄瞳(pupil)，比起标准RGB广角镜，能撷取五倍以上的光线；比起前面提到的这种配置中的广角摄影机，光线撷取量则是超过2.5倍。

采用先进折叠光学技术的三镜头配置

这种超级变焦三镜头配置，从1到5倍变焦都能提供无缝、连续的变焦体验，无论是拍摄静态影像或是4K视讯录影；结合多讯框(multi-frame)技术、影像融合以及多阶影像(multi-scaling)，这种摄影机最高能提供25倍变焦。结合可折叠变焦光学元件与OIS技术，这种先进的三镜头系统能改善今日智能手机摄影机的两大缺陷：低光线拍摄性能以及光学变焦倍数不足。

广角/2倍望远/5倍望远拍摄

报酬递减原则

我们在这篇文章中探讨了三镜头摄影系统的关键挑战，以及可能很快会被业者采用的三种不同摄影机配置方法。

一般来说，报酬递减原则(Law of Diminishing Returns)也适用于多镜头技术，在双镜头配置中的第二个摄影机在提升使用者体验上提供了最高的报酬，但任何一种三镜头配置中的第三个摄影机，可能需要为整体使用者体验带来很明显的价值，才能抵销其添加的额外成本、占位面积以及复杂度。

无论如何，三镜头配置能充分解决低光线拍摄时的限制(包括静态影像与动态视讯撷取)，同时提供适当的光学变焦能力(3倍以上)，这在近期之内会成为对手机业者来说最具说服力的解决方案。