技术解读丨慧眼2.0，打造全球领先的全场景智慧体验

近日，华为最新一代卓越人工智能手机芯片麒麟980正式亮相，麒麟980在业内首次搭载双核NPU，实现业界顶级端侧AI算力，将支持更加丰富的AI应用场景。在加速端侧AI算力提升的同时，华为不断追求为用户带来体验升级——推出慧眼2.0，深入用户使用最多的拍照及小视频应用场景进行深度优化，提供端到端的解决方案。

在IFA 2018现场，麒麟980演示了全新的AI多人姿态实时识别能力。基于AI的强劲算力，搭载麒麟980的开发板能够实时精准识别多人的骨骼线条，在进行挥手、跳跃、舞蹈等大幅动作时，识别出的骨骼线条也会实时随身体变化。而这项新奇的体验，与慧眼2.0之间也有着不可分割的联系。

慧眼2.0，更智慧的视觉体验

随着端侧AI技术的不断突破与发展，手机用户对AI应用的需求也随之增长。去年，麒麟970的AI技术推动手机拍照逐步向“慧眼”阶段演进，结合端侧AI的智慧算力，手机在拍照时能够识别多种复杂的拍照场景并自动设置最佳参数，轻松拍出大师级的摄影作品，带给用户全新的智慧拍照体验。

时隔一年，“慧眼2.0”随着麒麟980的发布正式亮相。“慧眼2.0”在手机视觉入口提供了一个“感知、测量、认知、计算”的端到端完整解决方案，人工智能技术深度参与视觉处理的各个环节，通过后台基础算法的极大提升和流程优化，让用户明显感知到体验的大幅增强。

在慧眼2.0解决方案中，麒麟980的CPU/GPU/DSP/NPU构成了底层硬件，为上层的AI图像处理提供运算性能支持。在上层运算中，ISP和摄像头用于收集图像数据，经过AI运算，能够为手机用户带来图像、视频及AR方面的应用提升，带来更智慧的视觉体验。上述提到的AI多人姿态实时识别，正是通过摄像头收集人体动作的图像信息，再经过AI实时运算，实现了与AR相关的人体姿态能力，为将来的AI和AR体验开启无限想象。

摄像头与ISP优化，麒麟980图像信息收集能力提升

对手机用户来说，感受最直观的AI功能几乎都离不开摄像头，无论拍照还是小视频，AI都需要通过摄像头获取图像信息。在手机摄影和摄像领域，华为有着多年深厚的技术积累，早在2014年华为在业内率先推出搭载双摄像头的荣耀6 Plus，2016年华为开始与徕卡合作，让手机摄像头开始呈现相机画质，2018年初发布的华为P20 Pro更是首创徕卡后置三摄，带来前所未有的AI摄影大师体验。可以说，在手机拍照领域，华为始终走在行业前列，并在这个过程中积累大量图像算法、镜头优化以及ISP相关的丰富经验与优化能力。

与此同时，麒麟芯片持续优化摄像头的相关算法，通过端到端优化的方式不断提升手机的成像质量。麒麟980采用全新升级第四代自研ISP，像素吞吐率较上一代提升46%，支持更多摄像头，适配多摄像头带来的全新拍照体验，分别针对视频和照片推出延迟视频处理流水线和高质量图像处理流水线，帮助手机用户捕捉更多清晰的图像内容，进一步强化图像信息的收集能力。

端侧AI闭环架构，麒麟980 AI图像处理能力升级

基于麒麟980业界最强的端侧AI算力，麒麟980在接收到图像信息后可以实时完成多种复杂的运算处理。视频方面，麒麟980能够做到人体肢体的检测与识别，支持区域分割和主体抠图和视频跟踪追焦等功能，实时完成逐帧的画面处理；在处理图片时，麒麟980能够实现文本识别、图像超分辨率及RAW图像降噪、RGB还原等功能，让用户明显感受到AI拍照及摄像的体验提升。在AI图像处理能力升级的背后，是华为在端侧AI不断探索完善的计算架构，将SoC芯片的强劲AI运算力与算法、数据以及终端设备形成完整闭环，发挥综合AI运算实力。

AR能力升级，带来体验创新

近年来，AR应用开始成为智能手机的亮点功能，用户可以通过AR在手机屏幕里看到现实世界与虚拟世界的结合，获得趣味体验。而AR效果的实现需要结合麒麟980的算法与AI图像识别能力，综合对图像进行处理。麒麟980支持AR应用的视频流特征提取、姿态估计以及地图重建，让更多AR应用的落地成为可能。

基于以上能力，慧眼2.0将为广大手机用户带来全新的拍照及视频体验，同时面向广大开发者开放这一能力，将华为HiAI移动计算架构完善的SDK、丰富的API接口、业界领先的算子支持以及华为开放完整的Camera DDK、AR DDK以及HiAI Foundation完整的开放架构，全部提供给开发者作为工具，让他们能够创造出更多丰富的应用体验。

麒麟980开放架构，助力开发者探索智慧未来

合作开放一直是华为在推进端侧AI发展的核心理念。麒麟980支持Caffe、Tensorflow、Tensorflow Lite等主流框架，具有强大的深度学习框架兼容性，达到业界领先水平；提供了离线编译、在线编译、8bit量化等一系列完整工具链，既可以大大降低端侧模型部署的工程难度，还可以利用NPU差异化优势发挥出最强算力；支持CPU、GPU、NPU、DSP等的异构计算，方便深度学习算法在麒麟980的自动灵活调度执行。

在慧眼2.0中，华为面向广大开发者及合作伙伴开放多个接口，助力AI应用的创新探索：

Kirin Camera DDK：在现有的拍照APP中，经常会出现拍照效果失真，甚至在夜晚场景下拍照效果不如手机自带相机的情况。这主要是因为第三方APP目前是无法调用手机自带相机的ISP，无法在APP中利用手机ISP的算法优势。麒麟980全面开放Camera DDK，将前端更好的暗光、高动态和分辨率能力开放给广大开发者，让第三方APP能够直接调用手机本身的ISP算法，对APP的成像效果进行优化。

Kirin AR DDK：SLAM（simultaneous localization and mapping，即时定位与地图构建）是对环境和位置的识别技术，同时也是AR应用开发的关键。麒麟980支持SLAM算子加速，还能实现人脸建模及跟踪能力，可以根据人体骨架姿态进行估计和跟踪，在AI人体姿态估计的demo中已经初步展示这一能力。将AR DDK开放给AI应用开发者，能够带给AI应用更多有趣的方向，如更加丰富的AR特效，以及基于AR技术的游戏等，让开发者能够尽情施展关于AR应用的想象。

HiAI Foundation：HiAI Foundation是华为基于硬件为广大开发者提供的一套开发AI应用的基础工具，能够有效解决端侧功耗、计算力等瓶颈，促进端侧AI规模应用，在硬件性能、运算效率与开发者服务方面带来提升。基于麒麟980的业界最强端侧AI算力，HiAI Foundation能够支持147个算子，并开放33个API接口及1000+abilities，对于开发者来说能够支持更多AI功能，在图像识别时也能支持更丰富的场景，真正成为开发者的实用工具。

基于华为的端侧AI移动计算架构，麒麟980能够为广大开发者提供性能更强、操作更简易的开发工具，让更多充满创意和趣味的AI应用落地成为可能，为广大手机用户带来全新的手机体验。搭载麒麟980的华为Mate 20系列即将于10月16日在伦敦发布，届时将会带来哪些新奇的AI体验，开发者又将带给Mate 20系列的用户哪些惊喜？值得共同期待。