0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

基于芯片的AI摄影到底有哪些体验呢?

jmiy_worldofai 来源:未知 作者:伍文辉 2018-04-30 15:45 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

在咱们身边,有一个铁打的定律,那就是一个东西或者名称火了,马上就会群起而模仿之。久而久之,这种“微创新”甚至“不用创新”的方式,被国人冠名为“山寨文化”。

互联网领域则更是如此,团购火了能百团大战,O2O火了能全面“开O”,共享经济火了,愣是连男友女友都能“共享”。

山寨得多,就连技术都可以山寨。比如到了今年,全面屏等技术普及之后,AI似乎成为了各手机厂商普遍希望蹭到的热点。

那么问题来了,到底实现AI有哪些方法,各种方法最终又会得到什么结果呢?让我们先从摄影说起,聊一聊手机AI摄影的三个流派。

流派一:用芯片提供AI摄影通用加速

去年,华为发布了搭载NPU的麒麟970芯片开始,之后苹果也公开了A11仿生神经芯片。从后来华为、荣耀的相关搭载产品,以及苹果iPhoneX来看,基于AI专用芯片来实现手机的AI摄影功能,是这类手机的核心AI能力。

这可以看做是手机AI摄影的第一个流派:芯片派。

从底层芯片开始做AI处理能力。有两个层面的目的,一是在硬件里完成终端AI计算,可以保证摄像任务的实时性和安全性。毕竟摄影任务上传到云端计算有卡顿可能,断网后无法工作,图片上传服务器面临的数据危险也是显而易见的。

另一方面,芯片派容易被忽略的目的,在于对AI摄影任务进行通用加速。比如有的玩法要人脸识别,有的直播要读取动作指令,有的滤镜要搞空间处理,把这些全挤在CPUGPU上手机马上会进入龟速状态,用云处理无法支持不说,更丧失了实时体验。APP的摄影需求有千千万,目前来看只有在终端有AI处理单元才能满足这些“未知需求”。

说到底,基于芯片的AI摄影到底有哪些体验呢?

华为Mate10、荣耀V10以及iPhone X的能力数据说明,AI摄影可以体现在识别、动作捕捉、光影分析、AR等几个方面。

比如iPhoneX利用A11仿生芯片,可以与结构光传感器、深度陀螺仪进行结合,处理人脸、AR等任务,并可以快速处理图像识别。

接下来,荣耀、华为的新产品,以及新一代iPhone必然会继续这条路。

这个流派的优点在于,用户可以体验到AI的多样化和增长性,手机里不是一成不变的AI体验,而是可以随着生态和技术的发展不断进化。但问题是芯片流的门槛很高,需要研发的巨大投入和长达几年的等待周期。

流派二:基于摄像头搞AI

第二个AI手机摄影流派,不能不提到让人爱恨纠葛的谷歌。

众所周知,谷歌是不大力押注硬件技术的,而是在战略上选择强打AI算法优势和云计算强项。这个被谷歌称为AI First的战略,已经体现在谷歌各种穿戴、家庭以及移动设备上,其中pixel系列手机也不例外。

去年推出的谷歌pixel2,给出了一个非常特别的AI摄影模式,它没有专属的AI芯片,却利用算法和AI图像处理单元完成了动态模糊摄影等摄影能力的补偿。甚至把摄像头切割成非常复杂的成像单元,来供给算法端实现对景深、空间感的AI计算。

这种“吃力不讨好”的方式,大概也只有谷歌会做。背后的核心原因,一方面是谷歌希望用户适应所有数据都上传到谷歌云的生活方式,另一方面也是希望加强AI优势的商业化通道。

谷歌手机的AI秘诀,不在底层芯片里,而是在摄像头区域里藏了一颗专用图像处理协处理器,即ImageProcessing Unit (IPU),专门用来结合云计算与算法集群处理AI拍照与视频任务。

但这样做的问题是图像任务会在专门的部件里处理,并且极大程度依赖云计算。但确实一定程度上绕开了开发芯片的难度,弥补了谷歌硬件上的弱势。这种剑走偏锋,让手机各部件自行AI的思路,有赖于谷歌强绝天下的算法积累,以及云计算处理能力。缺点是:除了谷歌大概没有人可以尝试。

流派三:搞个带算法的APP算了

在手机AI概念火热起来之后,国内手机厂商似乎很快就按耐不住了。雨后春笋版的“AI摄影”字样应运而生,于是也催生了AI摄影的第三个流派:APP派。

所谓APP派很好理解,想一想我们用的各种美颜拍照相机、动态美颜录制应用等等,这些能力,在今天基本都要用到AI算法来实现更好的效果。比如美图秀秀旗下的美图相机,就是在APP里集成了机器学习算法,用来识别拍摄人像和背景、光源间的关系,从而把人像分离出来。

假如把这种基于算法的“AI应用”或者“AI滤镜”,直接搭载到产品摄像头里,说这是AI摄影功能,行不行呢?

好像,大概,可能,也可以吧?

前不久,红米Note5主打了所谓“千元AI双摄”打开了这场关于AI的宣传战序幕。随后vivo X21也以AI摄影能力作为宣传。从产品说明中可见,这两部手机的解决方案基本就是上文所说的“AI滤镜”模式:开发具有一定识别特性的摄影功能,然后在不卡的前提下部署在手机中就可以了。

刚刚发布的小米Mix2S,也是走这种解决方案。即在手机相机中初始化搭载“美图相机”之类APP的算法功能。比如场景识别拍照、用机器学习进行人脸和人体轮廓识别,自动进行背景虚化和抠图等等。

这类手机的问题,在于芯片和摄像头中缺乏专项处理AI任务的单元,一旦运行高负载的AI任务就需要呼唤云端。而云端的响应速度不够,就可能导致AI摄影的识别率和准确率下降。

举个例子,处理夜拍效果时,手机需要运用光源捕捉、空间捕捉等AI算法,从而实现夜晚中清晰拍照和光源还原。

而这类APP派假如要加载夜拍类的AI应用就有点尴尬了。因为这类深度学习的负载很大,用传统移动芯片+云计算来跑这类AI拍摄任务,会出现黑夜一层层褪去,半天无法对焦。拍照之后又要上传到云端进行很长时间“处理”,精准度和体验都很差。而一旦没网就更麻烦了。所以我们能看到的是,目前大部分国产手机宣传所谓的AI拍照时,都绝口不提夜拍、动作捕捉等复杂任务。

于是,这个流派中消费者看到的宣传材料里的“AI拍照”,也就变成了整个手机的全部AI能力。其实这些能力弄个不算太差的手机下载个相关APP就可以实现了,单独作为一款产品的主要宣传材料就有点奇怪。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 芯片
    +关注

    关注

    463

    文章

    54410

    浏览量

    469161
  • AI
    AI
    +关注

    关注

    91

    文章

    41059

    浏览量

    302561
  • iphonex
    +关注

    关注

    3

    文章

    614

    浏览量

    33895

原文标题:AI手机摄影暗藏三大流派,其中一类是假AI

文章出处:【微信号:worldofai,微信公众号:worldofai】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    到底有多小?

    想知道硅到底有多小;CPU 并不比 Wii 上的百老汇芯片大,但功能却无限强大,哈哈。
    发表于 03-25 06:51

    5G SA和NSA到底有啥不一样

    平时刷手机,只要稍微留意过 5G 设备或者运营商的信息,SA 和 NSA 这两个词应该不陌生。大家也知道它们跟 5G 有关,但真要问起它俩到底有什么区别,好像一下子也说不太明白。
    的头像 发表于 03-14 14:10 2480次阅读

    自动驾驶中毫米波雷达到底有何作用?

    毫米波雷达、超声波雷达等感知硬件,更像是一个配角,成为自动驾驶技术实现的辅助硬件。那在自动驾驶中毫米波雷达到底有何作用?
    的头像 发表于 12-10 17:07 2051次阅读
    自动驾驶中毫米波雷达<b class='flag-5'>到底有</b>何作用?

    汉威科技薄膜铂电阻温度传感器到底有多强

    测量温度简单吗?简单却也不简单,为了测得准,人类已经努力了上千年!薄膜铂电阻温度传感器到底有多强?为何是高端温度传感器的代表?
    的头像 发表于 11-28 11:51 982次阅读

    驱动芯片到底有多重要?这些黑科技让电子设备飞起来!

    你知道吗? 驱动芯片 就像电子设备的心脏,没有它,你的手机、电脑、智能家电统统都会变成废铁!但这么重要的东西,99%的人却对它一无所知。 驱动芯片到底是什么鬼? 简单来说,驱动芯片就是
    的头像 发表于 11-25 08:37 567次阅读
    驱动<b class='flag-5'>芯片</b><b class='flag-5'>到底有</b>多重要?这些黑科技让电子设备飞起来!

    磁通门电流传感器的精度能达到多少

    高精度电流传感器的精度到底有多高
    的头像 发表于 11-04 16:01 500次阅读

    自动驾驶SoC芯片到底有何优势?

    [首发于智驾最前沿微信公众号]近年来,随着智能网联汽车技术的快速发展,车载计算芯片已成为智能驾驶系统的中枢。传统的MCU(单片机)芯片在处理速度和算力方面已难以满足自动驾驶对于异构数据高吞吐与低延迟
    的头像 发表于 09-21 10:56 2920次阅读
    自动驾驶SoC<b class='flag-5'>芯片</b><b class='flag-5'>到底有</b>何优势?

    【「AI芯片:科技探索与AGI愿景」阅读体验】+AI芯片到AGI芯片

    AI大家都很了解了吧;AGI是什么? AGI:通用人工智能,可以再各个应用领域都具备AI的处理能力。 AGI可以组成能够24小时连续工作的优秀员工队伍,他们拥有比人类更强的能力和领导力,能够
    发表于 09-18 15:31

    【「AI芯片:科技探索与AGI愿景」阅读体验】+AI的科学应用

    是一种快速反应能力,是直接的感知;灵感是一种通过思考和探索获得的创造性想法,是一种创意。 AI怎么模拟直觉与灵感?四、AI代替人类的假说 这可能吗? 用机器来生成假说: 1、直接生成 生成式
    发表于 09-17 11:45

    【「AI芯片:科技探索与AGI愿景」阅读体验】+AI芯片的需求和挑战

    的工作吗? 从书中也了解到了AI芯片都有哪些?像CPU、GPU、FPGA、ASIC都是AI芯片。 其他的还是知道的,FPGA属于AI
    发表于 09-12 16:07

    电磁干扰“江湖三兄弟”:EMC、EMI、EMS 到底有啥区别?

    电磁干扰“江湖三兄弟”:EMC、EMI、EMS 到底有啥区别?
    的头像 发表于 08-20 15:16 3060次阅读
    电磁干扰“江湖三兄弟”:EMC、EMI、EMS <b class='flag-5'>到底有</b>啥区别?

    【书籍评测活动NO.64】AI芯片,从过去走向未来:《AI芯片:科技探索与AGI愿景》

    计算等类别AI芯片的及时、全面而富有远见的书。” 那么时至今日,这个世界发生了什么变化? 在这四年间,最重大的技术变革无疑就是大模型的横空出世,人类的时间仿佛被装上了加速器,从ChatGPT到
    发表于 07-28 13:54

    漫画科普 | 功率放大器到底有哪些应用?带你解锁功放经典应用场景!(一)

    漫画科普 | 功率放大器到底有哪些应用?带你解锁功放经典应用场景!(一)
    的头像 发表于 06-20 20:00 1109次阅读
    漫画科普 | 功率放大器<b class='flag-5'>到底有</b>哪些应用?带你解锁功放经典应用场景!(一)

    实测 PTR54LS05低功耗到底有多低

    实测 PTR54LS05低功耗到底有多低?
    发表于 04-27 10:57