手机多摄研报：三摄普及、四摄不远 算法成决胜关键

   虽然手机硬件竞争似乎在某些方面已经失去动力，但智能手机摄影在过去几年中已经突飞猛进。比如近段时间，手机后置三摄热度开始直线上升，三星、LG、华为、小米、OPPO、vivo以及联想等不少主流安卓机大厂都已开始跟进三摄乃至多摄机型。同时，业内知名分析师郭明錤预测苹果2019年的新 iphone也将采用后置三摄这一方案。因此，后置三摄极有可能成为2019年全球高阶智能手机的标配。而随着三摄及多摄市场的快速爆发,如何突破算法高技术门槛,在新一轮的市场争霸战中脱颖而出,已成为当下各大手机及摄像头模组供应商们最为关切的话题。

     后置三摄场景实用性强 算法成多摄时代最大难点

     据多方统计,截止目前全球已有八家主流手机品牌旗下多达16款新机都已搭载或确定搭载后置三摄。2019年,随着苹果和三星全新旗舰机的助攻,全球市场也将涌现出更多的三摄机型。市场占有率方面，IDC预测2019年华为三摄手机的出货量占比将达到25%、苹果是22%、三星是20%，此外OPPO、vivo及小米也都将有不错的表现，三摄手机有望占据手机市场总份额的15%。
 

     作为智能手机摄像头算法领域最主要的提供商, ArcSoft虹软也十分看好三摄在2019年的市场增长,认为三摄不仅将在高端旗舰机市场扎根,中低端机市场也将苗头初显。虹软全球副总裁徐坚表示:“近两年来，双摄所带来的多种拍摄功能,让用户对于三摄甚至多摄有了更多的期待。以当前消费市场来看,三摄将会成为2019年旗舰机型的主流配置,而且还会出现‘三摄+深度像头’的四摄手机。作为最主要的三摄算法提供商，目前虹软正在为多家手机品牌集成落地三摄方案，这也从市场角度说明了三摄主流化发展的趋势。"
 

     站在应用的角度考虑，事实上三摄是在双摄方案的基础上,额外加入了一颗camera辅助成像，这样不仅带来了更多的双摄组合及更好的宽容度，并实现更强的变焦能力，除此，三摄像头还能在AR增强现实领域大显身手，比如日前OPPO发布的R17 Pro后置三摄顶部镜头就采用了TOF 3D立体视觉方案(市场传言苹果2019年新款机型也将采用该方案)，可以探测更加精密的景深信息并快速生成3D模型，支持3D拍照等等应用，这些都很大程度上拓展了三摄的应用场景。
 

     三摄的出现，其实就是为了增强手机在更多应用领域的场景化适应能力，从而提升用户的整体体验感。而谷歌在 Pixel手机摄像头上却极力推崇单颗摄像头的方案，他们认为通过软件算法端采取加载更多AI深度学习算法的方式，可以令手机在单摄相头条件下实现超过很多双摄的拍照水平，那三摄时代是否也能如此呢 ？徐坚认为:“作为算法公司，我们理解谷歌的说法，它其实是在强调单摄算法的能力。但单摄和多摄要实现的前提和目标不一样。的确，有些功能在不需要多个摄像头的硬件支持下，通过算法就可以完成，如超级夜景。但如遇到光学变焦的需求,在当前硬件水平下，双摄或者多摄才能是最好的选择。当然，谷歌在Pixel 3的前置摄像头上也选用了双摄方案，所以谷歌也是认可双摄方案的。”
 

     诚然，在这一波创新应用和市场增长环境下，各摄像头模组厂无疑还是最大受益者之一。编者获悉，目前一线模组厂的三摄模组造价基本在35到40美金左右，而在华为Mate20 Pro上采用的三摄模组，重要原材料由于都选用了客制化产品，价格可能超过了50美金。以欧菲科技在华为Mate20 Pro项目上高达20％的单个三摄模组利润来计算，供应商在三摄模组上的利润基本上都能达到7到8美金甚至更多。
 

     不过，如今手机摄像头的升级重点已经从像素提升开始转向高倍光学变焦能力上，加之过去多年在双摄市场红利的洗礼下，各大模组厂在量产工艺和制造能力上也都经过了充分的打磨，供应商之间的硬件制造实力虽仍存在差距但渐呈逐步缩小的态势。而今，各大手机品牌厂商的相机竞争态势已从单纯的硬件竞争转换为硬件+算法的组合竞争，尤其是针对当下势头正猛的三摄市场。对此，有业内资深人士就指出，算法是三摄和多摄时代的最大差异点，手机品牌厂商想要在三摄或多摄市场拉开差距，优质的算法技术是必不可少的。在双摄时代，我们见证过黑白camera +彩色camera、彩色camera +彩色camera、广角+长焦等种类的组合，而三摄时代则会有更多不同摄像头的组合变换和搭配，由此带来的算法技术门槛和难度也大幅提升。

资料来源：ArcSoft虹软官网

     三摄之间“难舍难分”算法端需“兼顾”更需“独立”

     在三摄方案中，为了最大化发挥各摄像头的价值，软件算法端首先就需要充分考虑和照顾到三个摄像头的“小情结”，即兼顾三镜头在各种不同应用场景和环境下的组合性能表现。其中包括提高算法运算性能，确保合理的算法运行时间、避免来自多个摄像头的多输入影像而导致的残影，同时还要处理三摄像头在输入图像和视频数据的时间同步性，以及因为不同摄像头位置引起的视差问题等等，因此其复杂度远高于单摄像头和双摄像头。因此如何能够精确处理好三者之间纷繁复杂的“邻里关系”，以及利用好每个摄像头的优势是当下各算法技术提供商打造差异化市场竞争优势的“杀手锏”。
 

     徐坚强调:“与双摄不同，要处理好三个摄像头之间的问题，对硬件和软件都会带来更大的挑战。硬件上，需要动态支持三个摄像头的加载，或者要三个ISP去支持三摄，这些都会要求增加手机硬件资源，对于厂商会有硬件成本上的提升。而软件上，过去双摄只要考虑两个摄像头之间的切换、融合问题，但现在三摄就需要考虑三个摄像头之间的切换、融合问题，软件的框架、算法本身都要做大幅度的提升才能满足要求，比如需要通过算法做好三摄的标定。其次，常规双摄一般实现1倍至2倍光学变焦，但三摄的发展将提供向下至0.5倍，向上至10倍的光学变焦，这使得手机拍摄近景和远景的能力大大提升。这当中三个摄像头之间的光学变焦无感知的顺滑切换就需要算法去实现。此外，三摄中加入的超广角镜头，将为手机拍摄时带来更广的拍摄角度，但超广角镜头拍摄时产生的镜头畸变会非常明显，这也需要用算法去进行矫正。目前，主流的三摄算法方案，不管是针对旗舰机还是中低端机，虹软都提供完善且可靠的解决方案。”
 

     而就典型的三摄标定问题为言，业内资深专家告诉记者:“其实多摄像头的拍照，从照片中得到的一些空间信息，比如距离和物体的尺寸等，一般都还需要利用二维图像来得到三维信息。要将二维转三维就需要去找到一个摄像机数学模型，通过已经获得的二维信息加上模型逆推来获得图像的三维信息，标定其实就是在找这个模型。这个过程一般需要涉及到包括焦距和主点在内的固定物理参数，以及标定板到摄像机的坐标系变换矩阵等外部参数。由于三摄相比双摄更多了一个摄像头，摄像头数量提升的情况下这些参数相应都会发生不小的变化，这也相应提升了整体的算法复杂度，非常考验算法的设计能力。如果算法端能够将标定问题处理的比较好的话，也会对解决三摄镜头的畸变等问题有所助力。”
 

     当然，调和“邻里间的矛盾”只是方面，由于各摄像头单体在功能和性能上也存在差异，不同场景下所扮演的角色也各不相同，针对三颗摄像头的不同特性做对应的调校也是算法技术的难点。

AI场景识别拍照

     Al技术变革摄像头算法？应用“针对性”是关键

     诚如上述，三摄及多摄像头手机的出现，给算法技术提出了更多新的挑战。而在多摄这一优厚的硬件条件下，如今市场上也涌现出了越来越多的AI拍照类应用。由此，业内也有观点认为，做多摄不仅是算法层面上做升级，一些算法计算量很大的部分还需要AI类硬件去跑，因此要做好三摄手机，硬件端配置高算力的AI芯片也十分重要，否则在拍照时很容易出现系统卡顿或者其他极大影响用户体验的问题。
 

     但在徐坚看来，做好三摄，其实跟Al芯片并没有本质联系，他表示：AI芯片的意义在于，它能够为深度学习算法提供更好的硬件支撑及更强的计算能力。但双摄、三摄算法本质上与深度学习算法关系不大,它们更多是通过计算机视觉的方法来实现。不过，部分原先通过计算机视觉实现的技术，在融合深度学习算法后，也迎来了创新改革的机会，如深度计算、HDR、暗光高清、防抖等。在这些技术上，使用AI芯片可以发挥出更好的性能。但单就三摄算法而言，AI芯片是重要加分项，并非必选项。”
 

     那三摄和多摄时代，AI技术究竟该如何融入算法端,来满足日益涌现出的越来越多手机端AI拍照和图像处理应用需求呢?徐坚告诉记者:“目前，市场对于深度学习的AI技术热度非常高。但事实上，从传统义上说计算机视觉也属于AI，不管是深度学习，还是传统计算机视觉，其实都只是一种手段，一种方法。我们可以运用它们，去达成一个同样的目的。举个简单的例子，比如大光圈景深虚化效果，传统方法是利用双摄像头的信息，运用计算机视觉方法来实现深度计算，而现在我们也融合深度学习的方法来提高深度计算的准确度。”
 

     但是，这两者是无法完全互相替代的，徐坚进一步补充到:“所以，虹软在看待AI深度学习方法时，会更加有选择有目的去使用深度学习。将它与计算机视觉深度、高效地融合在一起，以提供更高效的算法为最终目的。”因此，AI深度学习的出现并非是为了完全变革现有的手机摄像头算法技术，而是在现有CV算法技术已经构筑的“城墙”上，更多的通过融合与协作的方式去改进和强化现有算法，推动算法技术向更高水平、更适应市场需求的方向去不断演进。
 

     总之，双摄时代之后，随着更多创新拍照场及应用的出现，三摄和多摄正快速起步，大有成为未来智能手机后置镜头的主流配置的趋势。正如徐坚所说:“手机的未来。最终还是由用户需求、市场导向所决定。单摄也好，多摄也罢，存在的背后就是用户的实际需求。如同双摄刚刚起步时，很多人也在讨论它的意义在哪里，而随着双摄成为主流，人像模式，光学变焦成为标配，用户接受了双摄，而且进一步推动了双摄的发展。”如今，三摄也将接下双摄递予的“火矩”继续前行，而三摄时代将决胜“算法“高地，对于众多手机品牌厂商来说，如何能够拿到更多更优质的算法技术和资源，利用算法技术端的升级搭配硬件的升级，从而充分体现硬件的能力，将是未来在三摄和多摄时代决胜手机相机市场的关键一步。