0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

用芯弹一首《大加洛普舞曲》:从AI-ISP,透视vivo的双芯之路

脑极体 来源:脑极体 作者:脑极体 2022-10-28 18:42 次阅读

在音乐史上,很多乐章都以极快的节奏,以及对演奏者超高的要求而闻名。比如李斯特的《大加洛普舞曲》S.219,就以拥有非常多的半音阶而著名,被誉为用手指跳的芭蕾舞。想要出色地完成它,乐手就必须双手紧密配合,实现速度与精巧的极致平衡。

对应到科技领域,我们会发现很多科技创新也依赖这样高速且精致的协作,尤其在芯片领域更是如此。软硬件之间的协同,架构逻辑的协调,不同硬件之间的协作,就像是一首节奏轻快的钢琴曲。

这些协作,让硬件的能力被充分释放,让不同产品之间产生差异化,让消费者最终得到期待的体验。“自研芯片”是如今手机市场中的关键词。vivo X80系列采用了天玑9000和自研V1+芯片的组合,被认为是这一趋势的开局之作。在V1+的基础上,双芯格局还能弹奏出怎样的乐章?双芯还能给消费者带来哪些悦耳的音色?答案似乎已经呼之欲出。

39416d791a384babbb59a2b0f3c08968~tplv-tt-shrink:640:0.image

10月24日,vivo举办了影像战略发布会。期间,vivo对外发布了全新的AI-ISP芯片架构。有理由相信,新的ISP技术架构将成为vivo自研芯片道路上的关键一环。或将成为接下来的V2芯片,乃至全新旗舰机的技术护城河。

什么是AI-ISP架构?它又将为双芯方案带来哪些挑战?最终为消费者带来哪些价值?

让我们从AI-ISP的“音符”说起,一起来看看vivo是怎么把双芯片这首《大加洛普舞曲》,弹出独属于自己的旋律。

音符:AI-ISP带来的澎湃之声

对于消费者而言,他会反复关注芯片这个手机最底层硬件,是因为其直接决定着大量手机体验。

在手机芯片端,ISP起到了对成像输入质量进行提升,矫正阴影、校对颜色,并且完成一系列影像降噪、动态范围调整的任务。可以说ISP是确保手机影像能力的关键一环。

而vivo采取的独立ISP芯片战略,可以通过将大量影像算法封装到自研芯片中,针对性一系列主SoC芯片不易覆盖的影像任务,从而提升用户的影像体验。

什么是AI-ISP?

AI-ISP架构,可以说是将ISP独立芯片的能力进行了全面升级,完成了跨越式的技术迭代。传统的ISP,主要任务是批量处理影像数据。但其提升方案是相对固定、模式化的。但在消费者对影像质量有了更复杂、更严苛要求的今天,仅仅提供这样的影像提升能力显然是不够的。

d57ca569194a40e280743cef66e61779~tplv-tt-shrink:640:0.image

几年以来,AI+影像成为了新的解题思路。AI算法可以智能化识别影像任务,从而提供更加复杂,更具差异化与个性化的影像提升方案。而AI能力的加入带来一个直接问题,就是传统的影像提升单元ISP并不具备AI算力。如果用传统ISP来结合AI影像算法,可能带来时延过大、能耗过高等问题。

而刚刚亮相的AI-ISP架构,可以说结合了AI技术与ISP处理单元的优势,相当于为ISP芯片加装了AI大脑。从而可以通过硬件直联的方式,将AI计算融入到ISP当中,完成影像任务的无缝缓冲和处理。最终让用户感知到影像处理更加自然、精细,同时更多复杂的AI算法也可以融入到手机影像单元当中。

384c8cf4583d4b319824ad1383086bf4~tplv-tt-shrink:640:0.image

AI-ISP弹奏出的这个澎湃音符背后,是一系列vivo在自研芯片领域的技术加持与能力升级。

乐谱:芯片架构升级触发的技术重构

区别于以往的ISP架构,vivo最新公布的AI-ISP架构,实质上是一系列芯片基础能力的整体升级。在几个关键领域,AI-ISP都采用了最新的自研技术。几项能力的叠加,最终实现芯片在AI任务处理上有着更强的表现,同时可以更有效应对游戏、影像任务的AI处理,升级双芯片架构在硬件封装AI算法方面的优势。最终将这一系列技术价值,在影像侧进行直接的体现。

具体而言,AI-ISP架构由三方面的技术能力组合而成。

6f8070799b404b2da56e039f394abf15~tplv-tt-shrink:640:0.image

突破性的内存重构

在内存方面,AI-ISP架构应用了vivo自研的全新片上内存单元,可以极大提升数据吞吐速率。相比于业内常用的DDR架构内存单元,vivo的全新片上内存采用了成本更高的DDR-Less架构,从而可以有效解决传统内存高延迟、高功耗等一系列问题。配合硬化在芯片中的超大SRAM,实现了运算快、功耗低、延时低的特征,最终实现了数据吞吐速率高达1.3万亿bit/s的能力提升。高效率、低功耗的内存,是AI任务与影像处理能力结合的前提保障。

DLA带来AI计算重构

在至关重要的AI计算领域,vivo的AI-ISP架构没有选择行业中通用的张量计算单元,而是选择了更适合做复杂计算成像运算的DLA加速器。

AI任务在运算国产中需要大量的数据比较与数据拟合,从而带来了一系列能效比方面的限制。采用DLA加速器的一大优点,就是可以大幅减少了数据的访问延迟,从而确保AI任务的流畅运行。同时,vivo还将封装在芯片中的算法与DLA加速器进行了联合定制,实现软硬件的协同优化,使得内核峰值能效达到16.3 Tops/w。最终获得了AI算力方面的业界领先水平。

全新AI算法的加入

除此之外,vivo自研的ISP芯片还将加入全新的算法效果。比如新升级了AI-NR降噪算法、HDR影调融合(Tone mapping)、MEMC插帧算法等先进的影像算法,可以更好满足用户在夜晚拍摄、动态环境步骤等领域的影像需求。

其中,AI-NR降噪算法可以结合新的硬件能力,带来更好的夜景画面细节,提升了20%的夜景降噪效果;HDR影调融合(Tone mapping)算法可以配合电影级的3DLUTs色彩风格,满足专业用户的一级整体调色、二级局部调色的需求。在城市夜景下动态范围理论最大提升4EV;MEMC插帧算法则可以改善延迟问题。比如可以在1080p 60帧夜景视频的拍摄中,在在感光能力和动态范围方面获得升级。

据说,在AI-ISP的加持下,用户可以在下一代vivo旗舰机中,实现露营灯光下拍到天空的星星。那一刻的浪漫,就是AI-ISP谱写的小夜曲。

定音:等待V2芯片的芭蕾舞?

用户最关心的问题,肯定是我们究竟什么时候可以用到AI-ISP芯片架构带来的全新体验。从目前的爆料,以及vivo的新技术规律方面看,这个目标应该已经不远。根据相关爆料,vivo即将在X90系列中全机型实装自研芯片V2。作为新一代的vivo自研ISP芯片,V2就将采用AI-ISP的全新架构,在影像、游戏显示等方面带来全新的用户体验。

如果确实是这样的话,我们将看到vivo在自研芯片的进展非常迅猛,甚至可以说是将自研芯片升级,保持在了与旗舰机迭代一致的频率上。我们知道,硬件技术的迭代并没有软件技术那么容易。想要保持高频率的硬件升级,不仅需要提前战略规划,预判技术发展方向,更需要在工程领域投入大量人力物力。如果AI-ISP架构真的将在不久后通过V2芯片与用户见面,那么vivo将必然要解决一个关键问题:双芯联调。

双芯联调的“芭蕾”

近期以来,行业内对于双芯战略有了越来越多的关注和讨论,有一种声音认为,双芯本身并不是特别新颖的技术思路,产业门槛也不高。

4212a9e750fd49cd88288a6f338ec2e5~tplv-tt-shrink:640:0.image

这种说法有一定的合理性,但要看到的是,双芯的真正难度在于两颗芯片漫长、艰苦,且充满不确定性的联合优化。在双芯格局成为定势的环境下,双芯联调正在成为新的产业护城河。

客观上看,双芯架构不仅可以提升手机的整体性能,还是厂商获取产品差异化的一条关键赛道。通用SoC加剧的同质化现象,在很大程度上可以被双芯战略所打破,而这也是消费者非常喜闻乐见的。

既然双芯有价值,并且门槛没有想象中那么高,那么为什么vivo在这条赛道上取得了长足领先呢?这里的关键就是双芯联调。

从AI-ISP架构的能力表现上看,我们可以猜测,V2芯片在双芯联调上采取了更加灵活、先锐的策略。如果不能确保和SoC芯片达成非常精致的算力平衡、能力互补,V2芯片是不可能在算力与算法上采取如此大突破幅度的。

在联合调优方面,V2芯片还有很多故事可以发掘。就像再好的乐章,最终都需要指法和技巧来弹奏一样。AI-ISP架构的真正难点和不可替代性,在于大量细颗粒的联合调优工作作为支撑。

从AI-ISP架构的推出与应用,可以看出由vivo所探索、引领的双芯之路,是一条必须不断积累经验、关注具体问题的长期主义之路。

用芯片弹奏《大加洛普舞曲》的秘密,就在于千百次去重复、实验每一个音符。慢慢来,才会比较快。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • ISP
    ISP
    +关注

    关注

    6

    文章

    454

    浏览量

    50764
  • AI
    AI
    +关注

    关注

    87

    文章

    26129

    浏览量

    263709
  • vivo
    +关注

    关注

    12

    文章

    3200

    浏览量

    62048
收藏 人收藏

    评论

    相关推荐

    饱和的磁无法承受电压是什么原理?

    在开关电源设计中,磁是应用最广泛的种储能设备,考虑磁最大的因素就是不能使其饱和,为什么饱和的磁不能承受电压?是什么原理?在开关电源中磁
    发表于 03-04 22:56

    【爱派 Pro 开发板试用体验】在爱派部署ChatGLM3(

    解释器Code Interpreter 爱派自带32G eMMC 5.1内存,八核心的处理器 ,内置 AI 算力 43.2TOPS@INT4 或 10.8TOPS@INT8可以加载下
    发表于 12-17 22:54

    武汉源半导体款车规级MCU,CW32A030C8T7通过AEC-Q100测试考核

    近日,武汉源半导体正式发布款基于Cortex®-M0+内核的CW32A030C8T7车规级MCU,这是武汉源半导体款通过AEC-Q100 (Grade 2)车规标准的主流通用型
    发表于 11-30 15:47

    【爱派 Pro 开发板试用体验】篇:开箱篇

    ,智慧教育,智能制造等领域发挥更大的价值。 爱拥有自研混合精度NPU和爱智眸®AI-ISP两大核心技术,同时也是业内第家将两者应用于芯片产品,并实现商业化落地的公司。YYDS!!
    发表于 11-15 11:32

    【爱派 Pro 开发板试用体验】开箱报告 + 资料准备

    很高兴获得了这次试用爱心派Pro开发板的试用资格,之前也有接触过爱元智家的AX620开发板,是因为他们的家的AI ISP慕名而来的,之前深圳安博会的时候也有去现场体验过他们的产品,确实做的不错
    发表于 11-14 20:59

    【爱派 Pro 开发板试用体验】+开箱初次体验

    AX650N,内置 AI 算力 43.2TOPS@INT4 或 10.8TOPS@INT8,可运行当前热门大模型。    内置ISP支持 8K@30fps,另有爱独家 AI
    发表于 11-12 10:58

    【爱派 Pro 开发板试用体验】开箱报告

    AI-ISP)。 、开箱 个金属盒子,上面有“MAIX-BOX-M4N”字样,有SIPEED设计制造。 盒子很漂亮,打开盒子里面分成两大块,左边是AXera-Pi Pro开发板真身,黑色
    发表于 11-12 00:31

    循序积累立体布局,北京君正实景展示AI-ISP

    ,并持续迭代创新产品及创新方案。 在2023 CPSE安博会举办期间,北京君正再次带来AI-ISP、普惠AI、Always on Video(AOV)、多摄新技术、Mert音频、智能显控等多项技术创新成果,将智慧视觉应用再次推向新高度。下面我们就北京君正此次发布的部分创新
    的头像 发表于 11-01 11:06 311次阅读

    大圆柱电在PACK应用中的轻量化解决方案

    ®”扎根中国市场,成为国内支聚氨酯发泡胶生产企业。是集研发、制造、销售于体的高科技生产型企业,工厂分布于上海浦东及山东临沂。欧洲引进全自动生产线,拥有全球同类产品的独特核心技术和完善的生产管理
    发表于 10-17 10:49

    爱芯智眸AI-ISP架构打破传统ISP成像的‘天花板’

    表了《AI-ISP和端侧AI的发展》的主题演讲。 本届大会由江苏省工业和信息化厅、南京江北新区管理委员会联合主办,以“芯纽带,新未来”为主题,旨在向全球业界呈现一场集行业交流、渠道联动、资源聚合为一体的产业顶尖盛会。   在长三角集成电路产业创新
    的头像 发表于 07-23 09:24 1589次阅读

    使用Arduino的棺材舞曲

    电子发烧友网站提供《使用Arduino的棺材舞曲.zip》资料免费下载
    发表于 06-30 09:37 0次下载
    使用Arduino的棺材<b class='flag-5'>舞曲</b>

    中开发板只能用isp烧录吗?

    我刚学想问下,stc-isp是针对stc公司的cpu进行烧录,只要是用了该公司的芯片都可以烧录吗?比如中开发板能用isp也能用stc
    发表于 06-24 12:17

    IP6862多充方案性价比高外围少

    IP6862是款英集全新推出的充无线充电方案,采用QFN32封装5*5MM可支持15W+15W/15W+5W版本,支持全新1
    发表于 06-16 20:09

    IP6862 英集多合无线充全集成SOC芯片

    IP6862是款英集全新推出的充无线充电方案,采用QFN32封装5*5MM可支持15W+15W/15W+5W版本,支持全新1
    发表于 04-07 18:45

    ISP调整的软件要求是什么?

    版本3.0或更高版本我想知道第个软件有什么,哪里可以弄到。我的开发板型号是8MPLUS-BB。顺便说句,我需要在 ISP Tuning Tools 软件中加载模块的 drv 文件
    发表于 03-31 06:29