0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

技术解读丨慧眼2.0,打造全球领先的全场景智慧体验

罗欣 来源:华为麒麟 作者:华为麒麟 2018-09-20 15:22 次阅读

近日,华为最新一代卓越人工智能手机芯片麒麟980正式亮相,麒麟980在业内首次搭载双核NPU,实现业界顶级端侧AI算力,将支持更加丰富的AI应用场景。在加速端侧AI算力提升的同时,华为不断追求为用户带来体验升级——推出慧眼2.0,深入用户使用最多的拍照及小视频应用场景进行深度优化,提供端到端的解决方案。

在IFA 2018现场,麒麟980演示了全新的AI多人姿态实时识别能力。基于AI的强劲算力,搭载麒麟980的开发板能够实时精准识别多人的骨骼线条,在进行挥手、跳跃、舞蹈等大幅动作时,识别出的骨骼线条也会实时随身体变化。而这项新奇的体验,与慧眼2.0之间也有着不可分割的联系。

慧眼2.0,更智慧的视觉体验

随着端侧AI技术的不断突破与发展,手机用户对AI应用的需求也随之增长。去年,麒麟970的AI技术推动手机拍照逐步向“慧眼”阶段演进,结合端侧AI的智慧算力,手机在拍照时能够识别多种复杂的拍照场景并自动设置最佳参数,轻松拍出大师级的摄影作品,带给用户全新的智慧拍照体验。

时隔一年,“慧眼2.0”随着麒麟980的发布正式亮相。“慧眼2.0”在手机视觉入口提供了一个“感知、测量、认知、计算”的端到端完整解决方案,人工智能技术深度参与视觉处理的各个环节,通过后台基础算法的极大提升和流程优化,让用户明显感知到体验的大幅增强。

在慧眼2.0解决方案中,麒麟980的CPU/GPU/DSP/NPU构成了底层硬件,为上层的AI图像处理提供运算性能支持。在上层运算中,ISP和摄像头用于收集图像数据,经过AI运算,能够为手机用户带来图像、视频及AR方面的应用提升,带来更智慧的视觉体验。上述提到的AI多人姿态实时识别,正是通过摄像头收集人体动作的图像信息,再经过AI实时运算,实现了与AR相关的人体姿态能力,为将来的AI和AR体验开启无限想象。

摄像头与ISP优化,麒麟980图像信息收集能力提升

对手机用户来说,感受最直观的AI功能几乎都离不开摄像头,无论拍照还是小视频,AI都需要通过摄像头获取图像信息。在手机摄影和摄像领域,华为有着多年深厚的技术积累,早在2014年华为在业内率先推出搭载双摄像头的荣耀6 Plus,2016年华为开始与徕卡合作,让手机摄像头开始呈现相机画质,2018年初发布的华为P20 Pro更是首创徕卡后置三摄,带来前所未有的AI摄影大师体验。可以说,在手机拍照领域,华为始终走在行业前列,并在这个过程中积累大量图像算法、镜头优化以及ISP相关的丰富经验与优化能力。

与此同时,麒麟芯片持续优化摄像头的相关算法,通过端到端优化的方式不断提升手机的成像质量。麒麟980采用全新升级第四代自研ISP,像素吞吐率较上一代提升46%,支持更多摄像头,适配多摄像头带来的全新拍照体验,分别针对视频和照片推出延迟视频处理流水线和高质量图像处理流水线,帮助手机用户捕捉更多清晰的图像内容,进一步强化图像信息的收集能力。

端侧AI闭环架构,麒麟980 AI图像处理能力升级

基于麒麟980业界最强的端侧AI算力,麒麟980在接收到图像信息后可以实时完成多种复杂的运算处理。视频方面,麒麟980能够做到人体肢体的检测与识别,支持区域分割和主体抠图和视频跟踪追焦等功能,实时完成逐帧的画面处理;在处理图片时,麒麟980能够实现文本识别、图像超分辨率及RAW图像降噪、RGB还原等功能,让用户明显感受到AI拍照及摄像的体验提升。在AI图像处理能力升级的背后,是华为在端侧AI不断探索完善的计算架构,将SoC芯片的强劲AI运算力与算法、数据以及终端设备形成完整闭环,发挥综合AI运算实力。

AR能力升级,带来体验创新

近年来,AR应用开始成为智能手机的亮点功能,用户可以通过AR在手机屏幕里看到现实世界与虚拟世界的结合,获得趣味体验。而AR效果的实现需要结合麒麟980的算法与AI图像识别能力,综合对图像进行处理。麒麟980支持AR应用的视频流特征提取、姿态估计以及地图重建,让更多AR应用的落地成为可能。

基于以上能力,慧眼2.0将为广大手机用户带来全新的拍照及视频体验,同时面向广大开发者开放这一能力,将华为HiAI移动计算架构完善的SDK、丰富的API接口、业界领先的算子支持以及华为开放完整的Camera DDK、AR DDK以及HiAI Foundation完整的开放架构,全部提供给开发者作为工具,让他们能够创造出更多丰富的应用体验。

麒麟980开放架构,助力开发者探索智慧未来

合作开放一直是华为在推进端侧AI发展的核心理念。麒麟980支持Caffe、TensorflowTensorflow Lite等主流框架,具有强大的深度学习框架兼容性,达到业界领先水平;提供了离线编译、在线编译、8bit量化等一系列完整工具链,既可以大大降低端侧模型部署的工程难度,还可以利用NPU差异化优势发挥出最强算力;支持CPU、GPU、NPU、DSP等的异构计算,方便深度学习算法在麒麟980的自动灵活调度执行。

在慧眼2.0中,华为面向广大开发者及合作伙伴开放多个接口,助力AI应用的创新探索:

Kirin Camera DDK:在现有的拍照APP中,经常会出现拍照效果失真,甚至在夜晚场景下拍照效果不如手机自带相机的情况。这主要是因为第三方APP目前是无法调用手机自带相机的ISP,无法在APP中利用手机ISP的算法优势。麒麟980全面开放Camera DDK,将前端更好的暗光、高动态和分辨率能力开放给广大开发者,让第三方APP能够直接调用手机本身的ISP算法,对APP的成像效果进行优化。

Kirin AR DDK:SLAM(simultaneous localization and mapping,即时定位与地图构建)是对环境和位置的识别技术,同时也是AR应用开发的关键。麒麟980支持SLAM算子加速,还能实现人脸建模及跟踪能力,可以根据人体骨架姿态进行估计和跟踪,在AI人体姿态估计的demo中已经初步展示这一能力。将AR DDK开放给AI应用开发者,能够带给AI应用更多有趣的方向,如更加丰富的AR特效,以及基于AR技术的游戏等,让开发者能够尽情施展关于AR应用的想象。

HiAI Foundation:HiAI Foundation是华为基于硬件为广大开发者提供的一套开发AI应用的基础工具,能够有效解决端侧功耗、计算力等瓶颈,促进端侧AI规模应用,在硬件性能、运算效率与开发者服务方面带来提升。基于麒麟980的业界最强端侧AI算力,HiAI Foundation能够支持147个算子,并开放33个API接口及1000+abilities,对于开发者来说能够支持更多AI功能,在图像识别时也能支持更丰富的场景,真正成为开发者的实用工具。

基于华为的端侧AI移动计算架构,麒麟980能够为广大开发者提供性能更强、操作更简易的开发工具,让更多充满创意和趣味的AI应用落地成为可能,为广大手机用户带来全新的手机体验。搭载麒麟980的华为Mate 20系列即将于10月16日在伦敦发布,届时将会带来哪些新奇的AI体验,开发者又将带给Mate 20系列的用户哪些惊喜?值得共同期待。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 华为
    +关注

    关注

    215

    文章

    33432

    浏览量

    246690
  • 麒麟980
    +关注

    关注

    5

    文章

    399

    浏览量

    21973
收藏 人收藏

    评论

    相关推荐

    广和通SC208系列智能模组赋能智慧零售全场景

    在近日举行的2024年世界移动通信大会上,广和通重磅发布其最新研发的高性能智能模组——SC208系列。该系列模组的推出,旨在助力智慧零售全场景实现高质量发展,通过技术创新,为零售行业提供更智能、更高效的解决方案。
    的头像 发表于 03-13 09:50 152次阅读

    启扬储能管理平板,打造储能管理新模式,助力全场景储能数智化升级!

    。启扬智能推出工业级储能管理平板,打造储能管理新模式,助力全场景储能数智化升级。储能管理平板能够实现智能负载管理、能量优化调度、故障自诊断等功能,为储能系统的稳定运行
    的头像 发表于 11-30 08:00 161次阅读
    启扬储能管理平板,<b class='flag-5'>打造</b>储能管理新模式,助力<b class='flag-5'>全场景</b>储能数智化升级!

    陈海波:OpenHarmony技术领先,产学研深度协同,生态蓬勃发展

    。 根深叶茂,OpenHarmony四大技术架构竞争力领先,生态蓬勃发展 OpenHarmony以“面向万物智联世界,构建分布式全场景协同的开源操作系统基座与生态系统”为技术愿景,秉
    发表于 11-06 14:35

    天合储能发布全场景储能系统解决方案

    系统解决方案,同时在论坛现场深度讲解了近期发布的全场景储能系统解决方案,彰显了天合储能的领先技术及卓越的储能产品解决方案,现场备受关注。
    的头像 发表于 11-05 16:42 493次阅读

    京信通信打造全场景绿色5G网络

    10月11日,2023中国移动全球合作伙伴大会在广州盛大开幕。作为中国移动重要的合作伙伴,京信通信以“创新高效 绿色数智向未来”为主题,携5G全场景可持续发展解决方案参展。 创新高效 打造全场
    的头像 发表于 10-12 10:24 619次阅读

    华为秋季全场景新品发布会智慧屏V5 Pro 智能眼镜2 FreeBuds Pro 3亮相

    华为秋季全场景新品发布会上亮点很多,智慧屏V5 Pro、智能眼镜2;FreeBuds Pro 3都亮相。 华为举行秋季全场景新品发布会的现场华为发布了智慧屏 V5 Pro,
    的头像 发表于 09-25 16:01 1577次阅读
    华为秋季<b class='flag-5'>全场景</b>新品发布会<b class='flag-5'>智慧</b>屏V5 Pro 智能眼镜2  FreeBuds Pro 3亮相

    华为秋季全场景新品发布会 华为智慧屏V5 Pro开启“巨幕手机新时代”

    华为在今天的秋季全场景新品发布会上,首次公开亮相了其最新款智慧屏产品——华为智慧屏V5 Pro。
    的头像 发表于 09-25 15:48 2734次阅读
    华为秋季<b class='flag-5'>全场景</b>新品发布会 华为<b class='flag-5'>智慧</b>屏V5 Pro开启“巨幕手机新时代”

    广和通与华大北斗达成全球战略合作,携手打造高精度GNSS定位解决方案

    30多个行业的物联网场景,未来多款GNSS模组将广泛赋能全球物联网市场,助客户终端实现快速稳定、高精度的定位需求。 未来,双方将以核心产品技术持续为相关行业的定位场景提供安全可靠、专
    发表于 09-13 09:58

    华为彭松:打造端到端AI网络,打通全场景AI能力

    [中国,南京,2023年8月24日]第七届未来网络发展大会期间,华为公司高级副总裁、ICT战略与Marketing总裁彭松发表了主题演讲《打造端到端AI网络,打通全场景AI能力》。 他表示
    的头像 发表于 08-24 20:15 433次阅读
    华为彭松:<b class='flag-5'>打造</b>端到端AI网络,打通<b class='flag-5'>全场景</b>AI能力

    搭载KaihongOS的工业平板、机器人、无人机等产品通过3.2版本兼容性测评,持续繁荣OpenHarmony生态

    KaihongOS为技术底座,结合深开鸿AIoT开发套件和智慧屏开发套件,灵活扩展,柔性组合,专项研发的一款OpenHarmony全场景超级设备,目前已经在信息技术创新人才培养实训室等
    发表于 08-17 18:02

    广和通携智慧能源全场景解决方案亮相国际太阳能光伏与智慧能源展览会

    5月24-26日,SNEC第十六届国际太阳能光伏与智慧能源(上海)大会暨展览会在上海盛大召开。作为全球最为专业的智慧能源盛会,现场汇聚了光伏储能、智能电网、新能源等行业从业者,共探行业前沿产品与
    的头像 发表于 05-25 10:10 369次阅读
    广和通携<b class='flag-5'>智慧</b>能源<b class='flag-5'>全场景</b>解决方案亮相国际太阳能光伏与<b class='flag-5'>智慧</b>能源展览会

    广和通携智慧能源全场景解决方案亮相国际太阳能光伏与智慧能源展览会

    5月24-26日,SNEC第十六届国际太阳能光伏与智慧能源(上海)大会暨展览会在上海盛大召开。作为全球最为专业的智慧能源盛会,现场汇聚了光伏储能、智能电网、新能源等行业从业者,共探行业前沿产品与
    的头像 发表于 05-24 19:06 1324次阅读
    广和通携<b class='flag-5'>智慧</b>能源<b class='flag-5'>全场景</b>解决方案亮相国际太阳能光伏与<b class='flag-5'>智慧</b>能源展览会

    解伟俊:在鸿学生终端,开鸿智谷打造下一代智慧教育全场景解决方案

    :开鸿智谷打造下一代智慧教育全场景解决方案》为主题,现场公开分享了基于OpenHarmony打造的在鸿学生终端、并围绕构建的教育行业生态及快速落地的创新经验,推出的下
    的头像 发表于 04-26 15:31 1313次阅读
    解伟俊:在鸿学生终端,开鸿智谷<b class='flag-5'>打造</b>下一代<b class='flag-5'>智慧</b>教育<b class='flag-5'>全场景</b>解决方案

    华为段爱国:构筑数智化感知底座,点亮全场景智慧交管

    彩纹、车身真彩还原、车内目标清晰的效果,持续打造物理光学+计算成像的极致图像体验,为车辆全场景图像带来质的突破。
    的头像 发表于 04-19 09:56 1853次阅读

    中国网络视听大会:华为视频、华为音乐技术赋能全场景智慧视听新体验

    的合作交流。 华为视频AiMax影院上线移动端,持续探索全场景智慧视听 华为视频在网络视听大会中展示了其全球化视频内容生态建设的最新成果,并表示AiMax影院已正式上线移动端。AiMax影院是华为视频持续构建的高品质视听服务品牌
    的头像 发表于 04-03 16:47 504次阅读