0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

到底什么是 AI Engine?多核异构计算核心

高通中国 来源:未知 作者:李倩 2018-03-19 08:55 次阅读

想象一下:

清晨有智能语音助手轻声唤醒你

工作时,人工智能助你高效办公

约会时,人工智能为你“出谋划策”

手机里加持了人工智能

未来充满无限可能

最近几年,人工智能应用日益普及,个人语音助手一类的人工智能应用,为我们带来了令人惊叹的体验。为了让你更好地用上人工智能,我们在今年 MWC 上推出了Qualcomm人工智能引擎 AI Engine。

然而……到底什么是 AI Engine?简单说,AI Engine 就是在骁龙移动平台上加速终端侧人工智能用户体验实现的硬件与软件组件的集合。

硬件:多核异构计算核心

高效运行终端侧人工智能需要多核异构计算。因为不同人工智能应用场景的功耗和对运算资源的需求各不相同,仅靠单颗人工智能内核无法以最佳方式解决,所以需要可编程的异构计算。

举个例子,Hexagon 向量处理器Adreno GPU、Kryo CPU就像三个各有所长的乐手,不同的曲目需要不同类型的乐手,有的擅长高音,有的擅长低音,只有根据曲目合理乐手搭配,方能呈上一场精彩合唱。

Qualcomm 骁龙移动平台充分利用了多核异构计算核心 Hexagon 向量处理器、Adreno GPU 视觉处理子系统和 Kryo CPU 的可编程架构。这为开发者提供了更广泛的选择,面向不同类型的功能、基于不同类型的数据、在不同的计算精度水平上,可支持大量卷积或循环神经网络

HEXAGON向量处理器

Qualcomm Hexagon 向量处理器是向量处理器子系统中的加速引擎,支持处理8位定点运算。相较于 GPU 或 CPU,涉及向量数学的应用工作负载通常更适合在骁龙的向量处理器上运行。

ADRENO GPU

具有庞大的并行数据集、需要大量的向量数学,尤其是对浮点精度有要求的应用工作负载,都非常适宜在骁龙的 Adreno GPU 上运行。通过最新的 Adreno GPU 对 16 位浮点精度的人工智能工作负载进行的优化,可提供更佳的能效表现,使其成为如计算机视觉物体分类、视频风格转换、场景检测和游戏等人工智能应用的理想选择。

KRYO CPU

神经网络模型通常以 32 位浮点(高精度)在云端完成训练。它也可以在终端侧的 CPU 上实现类似运行,但其代价太大,需要终端在性能和功耗上作出一些牺牲。骁龙845 中在 Kryo CPU 上优化了对 8 位定点精度的支持,帮助支持包含较大内核、相对较少向量处理、非规则性数据结构和/或复杂流程控制的应用。

总的来说,在骁龙平台上加速人工智能最高效的解决方案是将人工智能工作负载分配到 CPU、GPU 和向量处理器上。这为开发者提供了实现人工智能用户体验的多种灵活选择。

软件和工具

AI Engine 的第二个组成部分是软件和工具。在处理 AI 应用时,软件和工具无疑更加重要。硬件是一个加速的平台,而在软件层面开发者能够实现大量的创新,打造最新的 AI 应用。

还是用乐手类比,如果说硬件是乐手,那么软件就是指挥,他能让乐队成员发挥最佳表现,呈现最佳演出效果。

Qualcomm 人工智能引擎 AI Engine 的核心软件构架包括:骁龙神经处理SDK、随Google Android Oreo 发布的Android NN API以及Hexagon Neutral Network(NN)库。

通过在骁龙终端上优化已训练好的神经网络运行的性能,骁龙神经处理引擎可帮助开发者节省时间和工作量,Hexagon NN库让开发者可以直接将人工智能算法在Hexagon向量处理器上运行。为基础性的机器学习模块提供了优化的部署,并显著加速诸如卷积、池化和激活等人工智能运行。

移动平台支持

目前,骁龙845、骁龙835、骁龙821、骁龙820 均已支持 Qualcomm人工智能引擎 AI Engine,其中骁龙845将支持最顶尖的终端侧人工智能。

而作为骁龙 600 系列中迄今为止最强的产品,骁龙660移动平台同样支持 Qualcomm人工智能引擎 AI Engine,它首次将配备 HVX 的 Qualcomm Hexagon DSP 运用至骁龙 600 系列之中,支持性能的飞跃式提升。除了带来卓越的AI 体验,骁龙660移动平台还支持先进的拍摄技术、增强的游戏体验和持久的电池续航时间。

全新的骁龙700系列平台也将支持 Qualcomm人工智能引擎 AI Engine,骁龙700系列移动平台预计将于今年上半年向客户商用出样,让我们一起期待吧。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • AI
    AI
    +关注

    关注

    87

    文章

    26410

    浏览量

    264018
  • 人工智能
    +关注

    关注

    1776

    文章

    43796

    浏览量

    230570

原文标题:多核异构计算,AI Engine 如何刷新你的AI体验?

文章出处:【微信号:Qualcomm_China,微信公众号:高通中国】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    多核异构通信框架(RPMsg-Lite)

    概要 随着科技的飞速发展,计算需求日益复杂和多样化,传统的单核处理器已难以满足所有应用场景的需求。在这样的背景下,异构多核系统应运而生,成为推动计算领域进步的重要力量。
    的头像 发表于 03-08 18:20 993次阅读
    <b class='flag-5'>多核</b><b class='flag-5'>异构</b>通信框架(RPMsg-Lite)

    高通NPU和异构计算提升生成式AI性能 

    异构计算的重要性不可忽视。根据生成式AI的独特需求和计算负担,需要配备不同的处理器,如专注于AI工作负载的定制设计的NPU、CPU和GPU。
    的头像 发表于 03-06 14:15 213次阅读

    科学计算与Julia技术研讨会 | 张先轶:从OpenBLAS到异构计算软件栈

    蓬勃发展,新兴科学计算语言不断涌现,Julia以其高性能、动态性成为其中的佼佼者。 12月9日上午1020 ,澎峰科技创始人 张先轶博士 将 在 主论坛:Julia与数字化和AI 上 作 “ 从OpenBLAS到异构计算软件栈”
    的头像 发表于 11-30 19:35 402次阅读
    科学<b class='flag-5'>计算</b>与Julia技术研讨会 | 张先轶:从OpenBLAS到<b class='flag-5'>异构计算</b>软件栈

    什么是异构集成?什么是异构计算异构集成、异构计算的关系?

    异构集成主要指将多个不同工艺节点单独制造的芯片封装到一个封装内部,以增强功能性和提高性能。
    的头像 发表于 11-27 10:22 2862次阅读
    什么是<b class='flag-5'>异构</b>集成?什么是<b class='flag-5'>异构计算</b>?<b class='flag-5'>异构</b>集成、<b class='flag-5'>异构计算</b>的关系?

    多核异构中A核与M核通信过程

    目前域控项目有的采用S32G这类多核异构的芯片,转载一篇分析下多核异构中A核与M核通信过程的文章。
    的头像 发表于 10-31 11:09 512次阅读
    <b class='flag-5'>多核</b><b class='flag-5'>异构</b>中A核与M核通信过程

    请问模型推理只用到了kpu吗?可以cpu,kpu,fft异构计算吗?

    请问模型推理只用到了kpu吗?可以cpu,kpu,fft异构计算吗?
    发表于 09-14 08:13

    新一代计算架构超异构计算技术是什么 异构走向超异构案例分析

    异构计算架构是一种将不同类型和规模的硬件资源,包括CPU、GPU、FPGA等,进行异构集成的方法。它通过独特的软件和硬件协同设计,实现了计算资源的灵活调度和优化利用,从而大大提高了计算
    发表于 08-23 09:57 451次阅读
    新一代<b class='flag-5'>计算</b>架构超<b class='flag-5'>异构计算</b>技术是什么 <b class='flag-5'>异构</b>走向超<b class='flag-5'>异构</b>案例分析

    Cortex-R5F+Cortex-A53异构多核给工控带来何种意义?

    创龙科技SOM-TL64x工业核心板搭载TI AM64x最新工业处理器,因其CortexR5F + 双核Cortex-A53异构多核的优良性能
    的头像 发表于 08-16 16:43 990次阅读

    异构计算场景下构建可信执行环境

    异构计算场景下,如何构建可信执行环境呢?分布式机密计算是一种思路,将CPU上的技术应用到其他的XPU上是另一种思路,但最关键的问题是怎么用。该问题在AI安全上非常明显,AI模型都在GP
    发表于 08-15 17:35

    航顺芯片提供ARM+RISC-V异构多核MCU

    航顺芯片作为IAR System合作伙伴,提供了ARM+RISC-V异构多核MCU硬件平台。“嵌入式多核系统可分为同构多核异构
    发表于 06-20 12:48 340次阅读
    航顺芯片提供ARM+RISC-V<b class='flag-5'>异构</b><b class='flag-5'>多核</b>MCU

    异构计算的初步创新

    更 高,x16带宽(双向)从64 GB/s提 升到了128 GB/s;目前规范制定已迭 代至6.0版本,带宽再翻倍。 异构计算的初步创新:在
    的头像 发表于 06-19 11:26 459次阅读
    <b class='flag-5'>异构计算</b>的初步创新

    中国首颗ARM+RISC-V异构多核MCU伴随IAR在上海国际嵌入式展亮相

    ARM+RISC-V异构多核MCU硬件平台。“嵌入式多核系统可分为同构多核异构多核,航顺芯片H
    发表于 06-15 18:32

    专用M4F+四核A53,异构多核AM62x让工业控制“更实时、更安全”

    Cortex-M4F + Cortex-A53异构多核给工业控制带来何种意义?创龙科技SOM-TL62x工业核心板搭载TI AM62x最新处理器,因其Cortex-M4F + Cortex-A53
    发表于 06-15 17:18

    PrimeSimSPICE:异构计算模型实现数量级性能突破

    随着对更高计算性能的需求不断增加,HPC 行业正朝着异构计算模型发展,其中 GPU 和 CPU 协同工作以执行通用计算任务。在这种异构计算模型中,GPU 充当 CPU 的加速器,以减轻
    的头像 发表于 05-24 16:53 589次阅读
    PrimeSimSPICE:<b class='flag-5'>异构计算</b>模型实现数量级性能突破

    异构计算面临的挑战和未来发展趋势

    导读超异构异构的本质区别在哪里?这篇文章通过对异构计算的历史、发展、挑战、以及优化和演进等方面的分析,来进一步阐述从异构走向异构融合(即超
    的头像 发表于 04-26 15:18 608次阅读
    <b class='flag-5'>异构计算</b>面临的挑战和未来发展趋势