发烧友10周年庆典,全网超值优惠来袭!千元现金券,下单抽奖赶紧参与》》

优化嵌入式系统的工作负载,专用硬件来处理真正的人工智能算法

CEVA 2018-06-01 10:43 次阅读

Liran Bar, Director of Product Marketing, CEVA

移动设备上的人工智能已经不再依赖于云端连接,今年CES最热门的产品演示和最近宣布的旗舰智能手机都论证了这一观点。人工智能已经进入终端设备,并且迅速成为一个市场卖点。包括安全、隐私和响应时间在内的这些因素,使得该趋势必将继续扩大到更多的终端设备上。为了满足需求,几乎每个芯片行业的玩家都推出了不同版本、不同命名的人工智能处理器,像“深度学习引擎”、“神经处理器”、“人工智能引擎”等等。

然而,并非所有的人工智能处理器都是一样的。现实是,许多所谓的人工智能引擎就是传统的嵌入式处理器(利用CPUGPU)加上一个矢量向量处理单元(VPU)。VPU单元是专门为高效执行与计算机视觉及深度学习相关的繁重计算负载而设计的。虽然拥有一个强大的、低功耗的VPU是嵌入式人工智能的重要组成部分,但这不是故事的全部。VPU是组成一个出色的人工智能处理器的众多组件之一。VPU虽然经过精心设计,也确实提供了所需的灵活性,但它不是一个AI处理器。这里还有一些其它功能对于人工智能处理前端化至关重要。

NeuProTM - CEVA人工智能(机器学习)整体解决方案’(图片来源于CEVA)

优化嵌入式系统的工作负载

在云计算处理过程中,采用浮点计算进行训练,定点计算进行推理,从而实现最大的准确性。用大型服务器群组进行数据处理,能耗和大小必须考虑,但他们相较于有边缘约束的处理几乎是无限的。在移动设备上,功耗、性能和面积(PPA)的可行性设计至关重要。因此在嵌入式SoC芯片上,优先采用更有效的定点计算。当将网络从浮点转换为定点时,会不可避免的损失掉一些精度。然而正确的设计可以最小化精度损失,可以达到与原始训练网络几乎相同的结果。

控制精度的方法之一是在8位和16位整数精度之间做出选择。虽然8位精度可以节省带宽和计算资源,但是许多商用的神经网络仍然需要采用16位精度以保证准确性。神经网络的每一层都有不同的约束和冗余,因此为每一层选择最佳的精度是至关重要的。

以层为单位选择最佳精度(图片来源于 CEVA)

针对开发人员和SoC设计者,一个工具可以自动输出优化的图形编译器和可执行文件,例如CEVA网络生成器,从上市时间的角度来看是一个巨大的优势。此外,保持为每一层选择最佳精度(8位或16位)的灵活性也是很重要的。这使每一层都可以在优化精度和性能之间进行权衡,然后一键生成高效和精确的嵌入式网络推理。

专用硬件来处理真正的人工智能算法

VPU使用灵活,但许多最常见的神经网络需要的大量带宽通道对标准处理器指令集提出了挑战。因此,必须有专门的硬件来处理这些复杂的计算。

例如NeuPro AI处理器包括专用的引擎处理矩阵乘法、完全连接层、激活层和汇聚层。这种先进的专用AI引擎结合完全可编程工作的NeuPro VPU,可以支持所有其它层类型和神经网络拓扑。这些模块之间的直接连接允许数据无缝交换,不再需要写入内存。此外,优化的DDR带宽和先进的DMA控制器采用动态流水线处理,可以进一步提高速度,同时降低功耗。

结合NeuPro 引擎和 NeuPro VPU的  NeuPro AI处理器框图(图片来源于:CEVA)

明天未知的人工智能算法

人工智能仍然是一个新兴且快速发展的领域。神经网络的应用场景快速增加,例如目标识别、语音和声音分析、5G通信等等。保持一种适应性的解决方案满足未来趋势是确保芯片设计成功唯一的途径。因此,满足现有算法的专用硬件肯定是不够的,还必须搭配一个完全可编程的平台。在算法一直不断改进的情况下,计算机模拟仿真是基于实际结果进行决策的关键工具,并且减少了上市时间。CDNN PC仿真包允许SoC设计人员在开发真实硬件之前,就可以使用PC环境权衡自己的设计。

另一个满足未来需求的宝贵特征是可扩展性。NeuPro AI产品家族可以应用于广泛的目标市场,从轻量型的物联网和可穿戴设备(2TOPs)到高性能的行业监控自动驾驶应用(12.5 TOPs)。

在移动端实现旗舰AI处理器的竞赛已经开始。许多人快速赶上了这一趋势,使用人工智能作为自己产品的卖点,但并不是所有产品里都具备相同的智能水平。如果想要创建一个在不断发展的人工智能领域保持“聪明”的智能设备,应该确保在选择AI处理器时,检查上述提到的所有特性。

原文标题:为什么某些嵌入式 AI 处理器比其它更智能

文章出处:【微信号:CEVA-IP,微信公众号:CEVA】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
分享:

评论

相关推荐

四轴机器人编程与应用

主题简介:本次直播主要讲解四轴机器人控制器基本原理及组成。四轴机器人的核心技术内嵌人工智能算法的工业级运动控制技术和伺服
发表于 10-30 00:00 11587次 阅读
四轴机器人编程与应用

联想贺志强:智能互联网时代正在到来,未来20年内是产业发展最佳时期

9月19日下午消息,在联想2020校园宣讲会上,联想集团高级副总裁、联想创投集团总裁贺志强向现场50....
的头像 牵手一起梦 发表于 09-20 17:09 4次 阅读
联想贺志强:智能互联网时代正在到来,未来20年内是产业发展最佳时期

京东智谷与三大运营商签署战略合作协议,建设5G智慧园区

2019年省重大预备项目、市重大建设项目京东智谷有了新进展。今日(19日),京东智谷先后与移动、联通....
的头像 牵手一起梦 发表于 09-20 16:46 26次 阅读
京东智谷与三大运营商签署战略合作协议,建设5G智慧园区

人工智能在未来将实现社会包容式发展

很多人看到人工智能,看到的都是悲观的景象,但我看到的是光明的未来。在过去的60多年当中,科技进步最重....
发表于 09-20 16:29 6次 阅读
人工智能在未来将实现社会包容式发展

未来人工智能将可以让机器变得有自我意识

20世纪50年代,计算机科学之父阿兰·图灵在《思想》杂志上发表了题为“计算的机器和智能”的论文,首次....
发表于 09-20 16:23 19次 阅读
未来人工智能将可以让机器变得有自我意识

高维空间对于人工智能是非常重要的

在人类历史上发生过很多次革命。第一次革命可以称之为“农业革命”。当人类第一次出现在地球上的时候,他们....
发表于 09-20 16:22 6次 阅读
高维空间对于人工智能是非常重要的

快速跟踪其人工智能实施的五种方法

围绕人工智能这一重要支持技术的快速成功,可以进一步增加对更广泛的数字转型和创新举措进行更多投资的商业....
发表于 09-20 16:15 22次 阅读
快速跟踪其人工智能实施的五种方法

关于机器学习的to do & not to do

模型复现可以给自己规定一个任务,譬如在一个月内,把某篇论文的Tensorflow实现的代码,复现成P....
的头像 倩倩 发表于 09-20 16:11 32次 阅读
关于机器学习的to do & not to do

掌握这三点才是AI系统的未来

特别是,我们需要停止构建那些只是用来更好检测数据集统计模式(通常被称为深度学习的方法)的计算机系统通....
的头像 倩倩 发表于 09-20 16:09 36次 阅读
掌握这三点才是AI系统的未来

深度学习路径的由来,面对人工智能人类还只是“小学生”

这些研究人员认为,受大脑生物学启发的、那些被称为神经网络、连接主义和并行分布处理的AI实现方法,会最....
的头像 倩倩 发表于 09-20 16:05 42次 阅读
深度学习路径的由来,面对人工智能人类还只是“小学生”

深度学习与机器阅读

随后,以传统机器阅读的方法作为引入,引出了深度学习的方法。先介绍了机器阅读的主要步骤:文本表示(将文....
的头像 倩倩 发表于 09-20 16:01 34次 阅读
深度学习与机器阅读

AI寒冬将至?深度学习的“新江湖”

说到深度学习与人工智能的关系,简单来说就是:将海量数据通过深度学习进行处理后形成一个模型,再将模型应....
的头像 倩倩 发表于 09-20 15:29 34次 阅读
AI寒冬将至?深度学习的“新江湖”

FPGA的云端部署将使用户对新应用触手可及

利用FPGA进行机器学习推断的云识别,加速倍数是40倍。Ngcodec是做视频解码的企业,编码追诉率....
发表于 09-20 15:16 17次 阅读
FPGA的云端部署将使用户对新应用触手可及

机器学习技术将促使“算法生成新闻提要和内容推荐”的应用普及

智能内容意味着内容本身受到阅读或视听内容的影响,根据人工智能技术、用户个性化需求追踪、机器学习技术等....
的头像 倩倩 发表于 09-20 15:04 38次 阅读
机器学习技术将促使“算法生成新闻提要和内容推荐”的应用普及

最常见的机器学习面试问题及其相应的回答

在监督学习中,机器在标记数据的帮助下进行训练,即带有正确答案标记的数据。而在无监督机器学习中,模型自....
的头像 倩倩 发表于 09-20 15:01 38次 阅读
最常见的机器学习面试问题及其相应的回答

第四范式市场份额位列中国第一,并处于机器学习平台市场领导者位置

IDC中国区首席分析师武连峰表示:“对于第四范式自主创新的核心技术和产品的分析与比较、及企业发展关键....
的头像 倩倩 发表于 09-20 14:57 42次 阅读
第四范式市场份额位列中国第一,并处于机器学习平台市场领导者位置

人工智能和机器学习与深度学习之间是怎样的关系

这三种方式在运行机制上的差异使得它们分别适用于不同的任务。而其间最为突出的差别存在于人工智能 (AI....
发表于 09-20 14:57 11次 阅读
人工智能和机器学习与深度学习之间是怎样的关系

IDC逐步深入开展机器学习开发平台厂商评估

应用落地现状:目前商业化机器学习产品已经落地的行业及应用包括金融行业反欺诈、信用模型评估,跨行业的产....
的头像 倩倩 发表于 09-20 14:53 46次 阅读
IDC逐步深入开展机器学习开发平台厂商评估

AWS是如何推动AI技术实际落地到各行各业场景中?

目前,全球已有几万个客户选择借助 AWS 实施机器学习,其中既有巨头企业,也有风口上的初创企业。作为....
的头像 倩倩 发表于 09-20 14:50 54次 阅读
AWS是如何推动AI技术实际落地到各行各业场景中?

机器学习技术在高德的地图数据生产的具体应用

交通标志检测,特指在普通街景图像上通过自动化手段检测出各种类型的交通标志,如限速、禁止掉头、人行横道....
的头像 倩倩 发表于 09-20 14:45 44次 阅读
机器学习技术在高德的地图数据生产的具体应用

人工智能、机器学习与深度学习之间有什么区别联系?

如果你观察下跳棋程序的输出,你会发现这些动作背后隐藏着某种形式的“人工智能”,尤其是当电脑打败你的时....
的头像 倩倩 发表于 09-20 14:35 32次 阅读
人工智能、机器学习与深度学习之间有什么区别联系?

联想员工暗示将会推出搭载35W i7-10710U的笔记本

不久前,雷蛇发布了第一台搭载25W 10nm 低压处理器的笔记本,当时该博主就在微博表示“猜猜谁将推....
的头像 倩倩 发表于 09-20 14:24 20次 阅读
联想员工暗示将会推出搭载35W i7-10710U的笔记本

Swift for TensorFlow:无边界机器学习,值得大家期待

据资料显示,Swift for TensorFlow:无边界机器学习简介主要是——Swift for....
的头像 倩倩 发表于 09-20 14:20 21次 阅读
Swift for TensorFlow:无边界机器学习,值得大家期待

2020年我国机器视觉市场规模将超过150亿元

根据我国机器视觉行业CAGR为23.81%的增速水平,预测2019年我国机器视觉行业市场规模将达到1....
的头像 墨记 发表于 09-20 14:06 204次 阅读
2020年我国机器视觉市场规模将超过150亿元

启英泰伦发布第二代语音AI芯片,首批10万片已售罄,语音模组最低14.99元!

9月19日,启英泰伦在深圳发布最新第二代语音AI芯片CI110X 系列CI1102和CI1103。此....
的头像 芯链 发表于 09-20 12:02 322次 阅读
启英泰伦发布第二代语音AI芯片,首批10万片已售罄,语音模组最低14.99元!

四大银行均采用了SAS自动化分析工具来实现银行卡反欺诈检测

就目前而言,自动化分析正成为人工智能反欺诈检测的关键组成部分,可以有效减少50-70%的误报,使人们....
的头像 倩倩 发表于 09-20 11:38 132次 阅读
四大银行均采用了SAS自动化分析工具来实现银行卡反欺诈检测

如何快速认识Ceph/CephFS,最简单的方式就是快速应用它

了解Ceph的人,大都会认为Ceph是一个相对复杂的系统,尤其当磁盘规模达到千块甚至万块时。Ceph....
的头像 倩倩 发表于 09-20 11:33 72次 阅读
如何快速认识Ceph/CephFS,最简单的方式就是快速应用它

Java程序员把机器学习作为主攻方向,未来会有更多的发展机会

对于Java程序员来说,要想转向机器学习,首先要了解机器学习的概念和步骤,然后根据自身的知识结构来补....
的头像 倩倩 发表于 09-20 11:27 67次 阅读
Java程序员把机器学习作为主攻方向,未来会有更多的发展机会

介绍21种用于机器学习的开源工具

优步路德维希:路德维希允许我们训练和测试深度学习模型,而无需编写代码。您需要提供的只是一个包含数据的....
的头像 倩倩 发表于 09-20 11:16 77次 阅读
介绍21种用于机器学习的开源工具

机器学习教父:从未标记数据中促进机器学习能力

会上,美国卡内基梅隆大学CMU计算机学院院长、机器学习教父、乂学教育-松鼠AI首席AI科学家Tom ....
的头像 倩倩 发表于 09-20 11:12 101次 阅读
机器学习教父:从未标记数据中促进机器学习能力

2019年人工智能初创企业的资金没有大幅增长

对于美国和全球AI和ML初创企业而言,真正的资金跃升发生在2016-2018年之间。就在那时,风险投....
的头像 倩倩 发表于 09-20 11:09 102次 阅读
2019年人工智能初创企业的资金没有大幅增长

国际纸业:为机器学习魔兽馈送数据

这是一个良好的开端,但后面还有更大的挑战。2017 年,国际纸业发起了一个以数据和机器学习为核心的试....
的头像 倩倩 发表于 09-20 11:06 73次 阅读
国际纸业:为机器学习魔兽馈送数据

IDC发布了首份《IDC MarketScape:中国机器学习开发平台2019厂商评估》

百度拥有齐全的机器学习产品矩阵,秉承“双引擎双轮驱动往前走”的发展战略, 致力于针对不同能力的开发者....
的头像 倩倩 发表于 09-20 10:59 51次 阅读
IDC发布了首份《IDC MarketScape:中国机器学习开发平台2019厂商评估》

博士在线提问,怎么成功读完机器学习博士?

一位题主是一名最近换了导师转向机器学习的博士生,他问道:我目前已经进行了初步学习,尽管我已经想到了一....
的头像 倩倩 发表于 09-20 10:45 59次 阅读
博士在线提问,怎么成功读完机器学习博士?

一种越来越多被应用于加速机器学习应用的浮点格式bfloat16

bfloat16的主要想法是提供动态范围与标准IEEE-FP32相同的16位浮点格式,精度较低。相当....
的头像 倩倩 发表于 09-20 10:32 93次 阅读
一种越来越多被应用于加速机器学习应用的浮点格式bfloat16

机器学习必需数据标注,人工标注帮助AI快速落地

AI数据标注员被称作“人工智能背后的人工”。“数据是人工智能的血液。当下是大数据基础上的人工智能,是....
的头像 倩倩 发表于 09-20 10:29 109次 阅读
机器学习必需数据标注,人工标注帮助AI快速落地

如果要从事机器学习方面的研发,可以按照以下几个步骤学习

具备软件开发能力的程序员,转向机器学习领域会更容易一些,但是即使没有软件开发基础,如果具备扎实的数学....
的头像 倩倩 发表于 09-20 10:26 46次 阅读
如果要从事机器学习方面的研发,可以按照以下几个步骤学习

Arm宣布将会采用Bfloat16数据类型,这种数据类型会成为主流吗?

在SVE中包含对bfloat16的支持特别有趣,因为这些向量指令是专门为高性能计算开发的。截至目前,....
的头像 倩倩 发表于 09-20 10:23 33次 阅读
Arm宣布将会采用Bfloat16数据类型,这种数据类型会成为主流吗?

我想学习机器学习和人工智能,该从哪开始呢?

当人们发现我的作品,他们通常会私信并提问。我不一定知道所有的答案,但我会尽量回复。人们最常问的问题是....
的头像 倩倩 发表于 09-20 10:21 36次 阅读
我想学习机器学习和人工智能,该从哪开始呢?

苹果再次成为AI战场的主力军,一种全新的机器学习技术

当我们向Siri提问时,语音交互只是前端流程。问题发送之后,机器学习模型先要理解问题、理解问题存在的....
的头像 倩倩 发表于 09-20 10:17 49次 阅读
苹果再次成为AI战场的主力军,一种全新的机器学习技术

人工智能即将迎来新一代的技术革命

1946年第一台计算机埃尼阿克诞生,谁也不知道未来这几十吨的大家伙竟改变了世界,因为人们发现如果能够....
发表于 09-20 10:17 43次 阅读
人工智能即将迎来新一代的技术革命

苹果更加重视如何在移动设备商打造机器学习平台

为做到这一点,苹果正在使用一种名为“深度融合”(DeepFusion)的技术,将所有三个镜头的图像结....
的头像 倩倩 发表于 09-20 10:15 54次 阅读
苹果更加重视如何在移动设备商打造机器学习平台

5G、物联网和人工智能的关系是什么

网际协议版本(Internet Protocol version,IPv),又称互联网通信协议,是网....
发表于 09-20 10:14 32次 阅读
5G、物联网和人工智能的关系是什么

TensorFlow产品总监:未来的开源机器学习平台需要什么?

有趣的是,就在几乎同时,我们的注意力就被一款数据隐私条款含混不清的刷脸应用所占据,几乎同时发生的,还....
的头像 倩倩 发表于 09-20 10:11 87次 阅读
TensorFlow产品总监:未来的开源机器学习平台需要什么?

探讨机器学习与深度学习的差异

人工智慧、機器學習以及深度學習已變成現今最熱門的話題之一,但以字面上的意思不足以清楚的表達其意義,使得人們常常混淆。以下...
发表于 09-20 09:05 50次 阅读
探讨机器学习与深度学习的差异

什么是双内核嵌入式处理器OMAP5910?在3G的多媒体中有哪些应用?

OMAP(Open Multimedia Applications  Platform)是美国德州仪器公司(TI)推出的专门为支持第三代(3G)无线终端...
发表于 09-19 07:34 10次 阅读
什么是双内核嵌入式处理器OMAP5910?在3G的多媒体中有哪些应用?

基于嵌入式处理器的指纹识别系统该怎么设计?

生物识别技术是利用人体固有的生理特性(如指纹、脸象、红膜等)和行为特征(如笔迹、声音、步态等)来进行个人身份的鉴定。生物识别...
发表于 09-17 08:28 57次 阅读
基于嵌入式处理器的指纹识别系统该怎么设计?

郑交会人工智能科技展

2019年,“智能+”作为一个概念,首次出现在政府工作报告中,人工智能也已连续三年被写入政府工作报告。在国务院印发的关于“新...
发表于 09-16 18:24 87次 阅读
郑交会人工智能科技展

Ubuntu下试玩visionseed工具的数据可视化

日前购得一套AI视觉模组visionseed,我准备先在Ubuntu下试玩visionseed工具来了解这套视觉模组。当然前期准备工作是要做的:...
发表于 09-16 11:29 360次 阅读
Ubuntu下试玩visionseed工具的数据可视化

大话人工智能成功进入测试阶段

大话人工智能成功进入测试阶段 人工智能英文简称为AI,英文全写Artificial Intelligence,中文直译就是人工智能。 人工...
发表于 09-15 12:40 204次 阅读
大话人工智能成功进入测试阶段

机器学习分类与算法选择

根据需求选择算法
发表于 09-12 15:38 49次 阅读
机器学习分类与算法选择

国内外人工智能十大芯片怎么样?

2019年属于人工智能爆发的一年,特别是芯片领域,华为一家就推出来四个芯片,芯片可不像软件一样简单复制,也不像普通的线路板一...
发表于 09-11 11:52 189次 阅读
国内外人工智能十大芯片怎么样?

人工智能能否取代人类?

为什么大家对这类问题如此感兴趣?这可能要追溯到2016年,AI真正进入到大众视野并引爆媒体的标志性事件,也就是AlphaGo战胜围...
发表于 09-11 11:52 256次 阅读
人工智能能否取代人类?

神经网络结构搜索有什么优势?

近年来,深度学习的繁荣,尤其是神经网络的发展,颠覆了传统机器学习特征工程的时代,将人工智能的浪潮推到了历史最高点。然而,...
发表于 09-11 11:52 46次 阅读
神经网络结构搜索有什么优势?