0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

vivo X80的创新 赫卡忒的眼眸:微光手机“夜视仪”是怎样炼成的?

脑极体 来源:脑极体 作者:脑极体 2022-05-08 17:41 次阅读

古希腊神话中,有一位黑夜女神赫卡忒。她徘徊于夜幕之中,月色之下,是旅人与艺术家的守护者,甚至曾经帮助过宙斯等主神,备受万神的尊敬。

而赫卡忒也是一位乐意接受凡人祈祷的女神,夜色到来时,人们会来到山顶进行祭祀,期望地看到赫卡忒的真容。

如何让我们的视线洞穿黑夜,是艺术史上永恒的主题。在摄影时代到来后,如何捕捉和表现夜色更是一个最复杂的命题。从前,摄影师需要用复杂的设备搭配昂贵的夜视摄像头,才能完成。而在一次次手机影像突破,以及计算摄影的兴起下,一双能够看清黑夜女神赫卡忒的眼眸,已经来到普通人手中。

不久之前发布的vivo X80系列中,搭载了一项名为微光手机“夜视仪”的功能。在vivo发布的一系列唐宫主题视频中,我们可以看到极夜实拍中大唐才子佳人的身影清晰可见。画面干净且纯粹。在这一刻,手机简直可以被当作“夜视仪”来使用。

想要呈现这一幕其实并不容易,在夜拍环境下,算法、摄像头、芯片都有能力的局限性。只有将每个领域的创新融合在一起,将能力协同到极致,才能带来手机化身夜视仪的这个时刻。

一抹美丽夜色的背后,是一场计算摄影的锤炼,是一句用户至上的承诺。

计算摄影的暗夜突围

2010年,斯坦福大学举办了一场技术沙龙,主题是讨论能不能在摄影时,让摄影设备像计算机一样去编程所拍到的影像。从而让摄影不再是摄影师和精修师的天下,而是对所有普通人开放。

至此,计算摄影这一概念开始在业界流行开来。但从实验室走向产业界,这段旅程足足跨越了十年。计算摄影的核心思路在于,手机摄影并不仅仅是一台手机+一个摄像头。而是希望在拍摄时就调动手机的计算能力、算法能力、硬件协同能力,从而达成单独依靠影像器件难以完成的拍摄任务。

谷歌最开始在Pixel系列中启动了计算摄影效果,通过将多张照片合二为一展现出超过单次拍摄的效果。随后,苹果等主流厂商也开始跟进。计算摄影逐渐成为了最具潜力的手机影像发展方向。

然而经过几年的发展,计算摄影的瓶颈也开始体现。由于计算模式相近,相关能力提升带来的用户可感知度太小。往往只能用数据和复杂的对比才能体现出计算摄影模块的存在。而对于用户来说,需要的是真正能够解决重大问题。可知、可感、可信的计算摄影能力。

向着暗夜突围,很可能是计算摄影接下来的重要方向。

暗拍与夜色中的复杂光源处理,需要一系列复杂算法的辅助,这就给了计算摄影足够的发挥空间。

vivo X80系列微光手机“夜视仪”的暗拍效果,运用了光学传感器、芯片算力、AI夜视算法的融合。最终才达到了暗夜下的极致拍摄。这场夜色中的影像盛宴,也为计算摄影方向带来了一场突破。

这是一次观众能够清晰看到,感知到,体会到的计算摄影变迁。

2779664a55f7473d85c47c828f618be4~tplv-tt-shrink:640:0.image

“算”尽极夜,凝练赫卡忒之眸

希望在夜晚拍到令人满意的照片,应该是每一位用户的期待。但为什么计算摄影发展了这么久,却要等待vivo X80系列来完成这次突破?

这是因为夜色下的世界,并不是简单的打光问题。光线驳杂、色彩失真,难以对焦,需要连续曝光、黑暗中背光面难以呈现等等困难都困扰着夜拍效果。即使造价昂贵的全画幅单反也效果不佳,更遑论在手机端完成夜视仪级别的夜拍效果。

为了解决这些问题,需要的就不是一项能力,而是各项能力的协同、融合,互为支撑。在vivo X80系列中,我们可以看到镜头、计算、算法、芯片的相互支持,在全链路技术提升下,最终打造了赫卡忒之眸。vivo X80系列不仅搭载了强大的微光手机“夜视仪”功能,还将实时黑光夜视功能拓展至超广角、前置镜头。

让我们一层层来透视,这双能够凝望黑夜女神的眼睛是如何炼成的。

一、自研芯片之眸

能够实时完成夜景算法调配,给用户无缝体验的夜景拍摄体验,最终离不开计算能力以及芯片。vivo X80系列搭载了自研的V1+芯片,能够支持实时黑光夜视功能,让用户在极夜环境下可以看到更加清晰明亮的实时预览。

主芯片负责常规拍摄工作,在诸如夜景视频拍摄等高强度计算摄影的应用场景下,自研芯片V1+会负责提亮降噪及实时预览,具有非常高的合理性。这种分配协作能够有效降低能耗,提升计算效率,但实践起来却非常复杂。

为了完成这项技术跨越,V1+芯片首先需要跨越硬件兼容性上的天堑,让两枚芯片真正做到“双芯一用”。今年,vivo自研芯片在旗舰SoC平台的兼容性上又迈出了关键一步,在原本骁龙平台之外成功兼容了天玑9000平台,成为行业内唯一一家实现了自研影像芯片兼容多旗舰平台的终端厂商,这也为“夜视仪”功能得以实现提供了前提基础。

接下来,V1+芯片需要将消耗最大,最吃性能的算法,硬件化封装到自身平台当中。硬件级的算法封装可以保证运算有的放矢,将自身性能发挥到极致。经过对用户需求与使用场景的仔细衡量,V1+最终将3D实时立体夜景降噪、MEMC插帧和AI超分三个目前移动影像中最复杂的算法进行了封装。实现了与主SoC合作极大激活硬件效率,数据吞吐速度可高效维持在约8GB/s,并且能效提高约300%,功耗降低了约72%。

43c0629f5d584c03b62145a2f3250549~tplv-tt-shrink:640:0.image

这样,“夜视仪”实时预览这种非常吃性能,吃计算能力的功能,就可以由V1+针对性支持,实现了清晰干净的硬件级夜景降噪,不会让用户“对夜盲拍”。而为了进一步提升微光手机“夜视仪”的使用体验,vivo还针对这一功能对V1+进行了精细化调优,依靠V1+强大的极夜视频降噪算法、速度快、功耗低的极速内存管理系统,以及摄像头模组、主芯片、vivo自研算法提升等各方面的配合,最终实现在小于1lux环境下的极夜视频功能。

并且在自研影像芯片的帮助下,vivo X80系列可以黑光夜视功能拓展到了超广角镜头以及前置镜头,确保了“夜视”能力没有死角。

二、SoC协同之眸

自研芯片V1+的加入,让vivo X80系列获得了“一体双芯”的格局,这也让主芯片SoC与自研影像芯片之间的协同互动有了更多可能。为了完成微光手机“夜视仪”的效果,vivo与芯片厂商进行了超越行业常规的紧密协作与联合创新。以MediaTek的天玑9000为例,这枚芯片本身具有强大的基础性能与AI专项处理能力。结合这些特点,vivo与MediaTek进行了深度合作,最终让V1+芯片与天玑9000达成了紧密的影像协同。

4071b28a1ad74e59beb2df1d804520fc~tplv-tt-shrink:640:0.image

一次极致的夜拍背后,是vivo与MTK技术的紧密配合,双方技术的嵌合式合作,才最终将天玑9000的能力进行了最大化释放,保证了极夜环境下的“透视级”效果。

在微光手机“夜视仪”背后,vivo与MTK进行了从底层硬件到软件的多层面联合打磨。一次夜拍背后,影像由旗舰级超大底主摄进入ISP;紧接着天玑9000的天玑 5G 开放架构驱动对影像的处理,在确保降低频宽功耗与画面延迟的情况下提供高效率的 AI 画质计算;接下来是算法层,vivo独特的独特AI 降噪算法开始工作,完成夜晚场景的处理;而支撑这大量AI计算的,是天玑 9000的第五代 APU 590,能够实现AI 边缘部署神经架构搜索技术,NeuroPilot 模型深度硬件融合,A8W8混合A16W8高清解析算子,最终让复杂的高清视频算法实时处理变得可行,同时尽量降低能耗。

a1918e0721054d5482aa4afec62faa37~tplv-tt-shrink:640:0.image

这种你中有我,我中有你的紧密配合,让两枚芯片各司其职,减少性能与功耗浪费的同时确保了全链路的夜视效果,释放了技术上的协同优势。同时也打破了行业成规,为终端厂商与芯片厂商的合作塑造了新的范式。

三、影像算法之眸

在算法方面,vivo X80系列升级了更加先进的夜景算法,搭载了蔡司超级夜景功能。基于vivo自研算法RAWHDR3.0,可以提升色彩表现的准确性,配合蔡司T*镀膜技术方案以及抗眩光算法,可以实现更加纯净的夜景效果。

近年来,“vivo色彩”渐渐成为了移动影像领域标志性的色彩风格,vivo影像能力对色彩的理解与调试逐渐成为了业界的标杆之一。历经3年10款机型的打磨,vivo的记忆色体系形成了“鲜活”“明快”“有质感”的风格。另外,通过与蔡司的深度合作,蔡司自然色彩2.0以精细准确的调校,还原人眼所见的自然原生色彩,让色准更准确、观感更自然。在vivo X80系列中,你既可以体验极具风格化的拍摄效果,也可以拍出人眼所见的真实色彩,vivo将选择权交还给了用户。

320f2d2dab214e058421c308ee2c02a8~tplv-tt-shrink:640:0.image

在算法层面,vivo推出了越来越多具有鲜明特色与技术前沿性的应用成果。比如超级夜景RAWHDR3.0算法,可以将超级夜景算法从YUV域挪到RAW域,以获得更好的亮度和影调表现,从而让夜景处理流程更合理,对夜色下的色彩调整更加细致。

再比如vivo的SuperRAW融合了自研的RAWHDR多帧算法,不论大光比逆光场景还是夜景环境,均能动态抓取最多10帧图像在RAW域进行超高位融合和降噪处理,输出14bit位深的超强RAW文件,显著提升信噪比和动态范围,充分发挥手机影像的潜能。

4bc628d31e65435f9e5bf48bf17a1330~tplv-tt-shrink:640:0.image

到了这代产品,可以看到vivo与蔡司的合作愈发炉火纯青,双方的技术兼容度达到了空前的水平,这让vivo X80系列的光学能力全面超越了全球标准。

四、光学硬件之眸

影像器件是计算摄影与真实之间的窗户,是实现“夜视仪”功能的基础。vivo与蔡司有深度合作关系,使得vivo X80全系全镜头都达到了蔡司T*镀膜标准,以保证在白平衡、色准、抗眩光和解析力等指标上达到vivo的影像标准。

f4f9bbd06d8b46338dd05f4e32c78f0b~tplv-tt-shrink:640:0.image

传感器上,vivo X80 Pro搭载了独家定制的GNV超大底传感器,X80则首发索尼IMX866 RGBW大底传感器。在传感器型号的背后,隐藏着许许多多不为人知的创新技术。例如GNV,通过定制滤光片,vivo再一次突破GN1的极限,并采用了1G +6P的高规格镜片组合,以及顶格的镀膜工艺。可以说vivo X80系列搭载的镜头模组,颗颗都是定制款,反映了vivo在硬件上的精益求精,不惜工本,已经成为了vivo的标志之一。

8b106043ba7b4b77a7902dc0247e85e5~tplv-tt-shrink:640:0.image

为了用户的一次惊喜,赫卡忒之眸历经了层层雕琢。为了算尽极夜,vivo已经准备了太久太久。

千座山峦,一抹夜色

微光“夜视仪”的背后,真正可以体现出什么是手机影像的全链路创新。

接下来,无论是计算摄影的产业空间发展,还是手机突破红海竞争,走向多元未来,都与厂商的全链路创新能力紧密相关。

回到vivo X80系列的夜视仪功能,可以看到这项垂直突破的背后,是器件、软件、硬件的协同,是自研技术、自研芯片、产业合作等多重能力的整合。

“集结重兵力,解决真痛点”正在变成手机创新的新锚点。而这个思路背后是为了打破产业瓶颈,厂商需要以消费者需求为准绳,尽一切可能性完成创新积累,最终呈现出厚积薄发的效果。

从使用全行业最高成本的玻璃镜片,到与蔡司持续合作光学器件、光学算法创新,再到长周期、大成本研发的自研芯片,都可以看到vivo这种长期主义的战略指引。

微光“夜视仪”看到的不仅是夜色,还有一段旅程。

旅程中,vivo的做法是逐步增强不可复制能力,最终将其融合在一起。达成N个1相加大于N的效果。登上千座山峰,只为了一抹不容替代的夜色。

vivo的创新观念中,只要能够让消费者感知,做正确的事情,无论爬多少座山都是合理的。赫卡忒的眼眸,或许就是这样炼成的。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • vivo
    +关注

    关注

    12

    文章

    3210

    浏览量

    62090
  • vivo手机
    +关注

    关注

    2

    文章

    606

    浏览量

    28743
收藏 人收藏

    评论

    相关推荐

    vivo两款新机获3C认证,支持80W快充

    据悉,vivo X100 Ultra已于近期获得3C认证,型号为V2366GA,显示其支持高达80W的闪充技术;除此之外,vivo S19 Pro(型号为V2362a)亦已通关认证,同样具备8
    的头像 发表于 04-26 09:56 15次阅读

    汽车的夜视系统技术详解?

    在如今的汽车行业中,安全一直是最重要的关注点之一。随着科技的不断进步,汽车制造商们不断推出新的创新技术来提升驾驶的安全性。其中一个备受关注的技术就是夜视系统。那么,什么是汽车的夜视系统,能给驾驶员
    的头像 发表于 02-29 11:34 133次阅读
    汽车的<b class='flag-5'>夜视</b>系统技术详解?

    内置AI原生能力+支持6载波聚合!高通重磅发布骁龙X80 5G调制解调器

    高通发布全新的骁龙X80 5G调制解调器及射频系统,这是去年骁龙X75的后续产品,该系统以更强大的功能和全新的AI功能提升了5G Advanced技术。
    的头像 发表于 02-28 18:15 3508次阅读
    内置AI原生能力+支持6载波聚合!高通重磅发布骁龙<b class='flag-5'>X80</b> 5G调制解调器

    MWC2024:高通推出革新性骁龙X80 5G调制解调器及射频系统

    骁龙X80在技术创新方面取得了重大突破,首次将人工智能与5G Advanced性能相结合,为行业树立了新的标杆。
    的头像 发表于 02-27 15:43 704次阅读

    高通推出骁龙X80 5G调制解调器及射频系统

    在2024年的西班牙巴塞罗那世界移动通信大会(MWC 2024)上,全球领先的技术公司高通再次展现了其在5G技术领域的前瞻性和创新能力。公司宣布推出其最新的第七代5G调制解调器到天线解决方案——骁龙®X80 5G调制解调器及射频系统,进一步巩固了其在全球5G技术领域的领先
    的头像 发表于 02-27 11:03 352次阅读

    高通发布骁龙 X80 5G 调制解调器,支持卫星、Wi-Fi 7等新技术

    骁龙X80主要面向智能手机、AR/VR设备、PC、汽车及工业物联网设备,配备的AI处理单元搭载张量加速器,提升数据传输效率、覆盖范围及性能,改善时延。此外,该解调器内置第三代5G AI套件,进一步提升覆盖范围及定位精准度。
    的头像 发表于 02-26 15:53 334次阅读

    灵犀微光荣获2023中国眼谷眼视光创新创业全球挑战赛优秀奖

    近日,2023中国眼谷眼视光创新创业全球挑战赛总决赛落下帷幕,经过多轮激烈又精彩的角逐,灵犀微光从众多的全球前沿眼健康科技项目中脱颖而出,荣获本次大赛优秀奖。
    的头像 发表于 11-15 17:30 297次阅读

    光手册 第1分册 激光器

    光手册 第1分册 激光器
    发表于 10-07 11:21 2次下载

    教你自制实用的夜视仪

    监控摄像头加带有红外发光二极管和发光二极管驱动器的PCB,制作你自己的夜视仪!资料包含项目PCB图+线路图+3D打印文件+详细说明
    发表于 09-25 08:16

    超二代微光像增强器性能随工作时间的变化规律研究

    微光像增强器是微光夜视系统的核心器件,而超二代微光像增强器(以下简称像增强器)作为众多像增强器种类之一,因其具有重量轻、体积小、电子倍增数量高等优点,被广泛应用于海、陆、空等各军兵种领
    的头像 发表于 09-15 09:10 371次阅读
    超二代<b class='flag-5'>微光</b>像增强器性能随工作时间的变化规律研究

    AITO问界,先经沧海而后造船

    AITO问界持续进化,不熄火的创新发动机是怎样炼成的?
    的头像 发表于 07-21 09:41 925次阅读
    AITO问界,先经沧海而后造船

    连接器接触件镀层是怎样炼成

    讲讲连接器镀层的相关话题。     接触件镀层是怎样炼成的? 01 表面处理 对连接器的接触件表面进行一个预处理。主要是做一个表面清洗,除油除污,去氧化层等操作,保障接触件表面的清洁度。 02 镀前处理 由于接触件的基材多
    发表于 06-13 16:34 254次阅读

    AGM与高德红外联合创新,打造首款真夜视热成像三防手机

    4月25日,AGM G2系列手机全球官宣发布,由国内知名三防手机厂商AGM携手高德红外(002414)联合创新打造。 作为两家坚持自主创新的高科技企业,此次合作不仅仅是智能
    的头像 发表于 05-05 15:21 328次阅读

    红外夜视仪和热成像哪个好用 红外线夜视仪和热成像的区别

    红外夜视仪和热成像仪都是利用不同的原理进行观测的,因此其适用场景和优劣势也存在着区别,具体选择可以根据具体的使用场景和需求决定。
    的头像 发表于 05-03 09:12 8369次阅读