张飞软硬开源基于STM32 BLDC直流无刷电机驱动器开发视频套件,👉戳此立抢👈

优化嵌入式系统的工作负载,专用硬件来处理真正的人工智能算法

CEVA 2018-06-01 10:43 次阅读

Liran Bar, Director of Product Marketing, CEVA

移动设备上的人工智能已经不再依赖于云端连接,今年CES最热门的产品演示和最近宣布的旗舰智能手机都论证了这一观点。人工智能已经进入终端设备,并且迅速成为一个市场卖点。包括安全、隐私和响应时间在内的这些因素,使得该趋势必将继续扩大到更多的终端设备上。为了满足需求,几乎每个芯片行业的玩家都推出了不同版本、不同命名的人工智能处理器,像“深度学习引擎”、“神经处理器”、“人工智能引擎”等等。

然而,并非所有的人工智能处理器都是一样的。现实是,许多所谓的人工智能引擎就是传统的嵌入式处理器(利用CPUGPU)加上一个矢量向量处理单元(VPU)。VPU单元是专门为高效执行与计算机视觉及深度学习相关的繁重计算负载而设计的。虽然拥有一个强大的、低功耗的VPU是嵌入式人工智能的重要组成部分,但这不是故事的全部。VPU是组成一个出色的人工智能处理器的众多组件之一。VPU虽然经过精心设计,也确实提供了所需的灵活性,但它不是一个AI处理器。这里还有一些其它功能对于人工智能处理前端化至关重要。

NeuProTM - CEVA人工智能(机器学习)整体解决方案’(图片来源于CEVA)

优化嵌入式系统的工作负载

在云计算处理过程中,采用浮点计算进行训练,定点计算进行推理,从而实现最大的准确性。用大型服务器群组进行数据处理,能耗和大小必须考虑,但他们相较于有边缘约束的处理几乎是无限的。在移动设备上,功耗、性能和面积(PPA)的可行性设计至关重要。因此在嵌入式SoC芯片上,优先采用更有效的定点计算。当将网络从浮点转换为定点时,会不可避免的损失掉一些精度。然而正确的设计可以最小化精度损失,可以达到与原始训练网络几乎相同的结果。

控制精度的方法之一是在8位和16位整数精度之间做出选择。虽然8位精度可以节省带宽和计算资源,但是许多商用的神经网络仍然需要采用16位精度以保证准确性。神经网络的每一层都有不同的约束和冗余,因此为每一层选择最佳的精度是至关重要的。

以层为单位选择最佳精度(图片来源于 CEVA)

针对开发人员和SoC设计者,一个工具可以自动输出优化的图形编译器和可执行文件,例如CEVA网络生成器,从上市时间的角度来看是一个巨大的优势。此外,保持为每一层选择最佳精度(8位或16位)的灵活性也是很重要的。这使每一层都可以在优化精度和性能之间进行权衡,然后一键生成高效和精确的嵌入式网络推理。

专用硬件来处理真正的人工智能算法

VPU使用灵活,但许多最常见的神经网络需要的大量带宽通道对标准处理器指令集提出了挑战。因此,必须有专门的硬件来处理这些复杂的计算。

例如NeuPro AI处理器包括专用的引擎处理矩阵乘法、完全连接层、激活层和汇聚层。这种先进的专用AI引擎结合完全可编程工作的NeuPro VPU,可以支持所有其它层类型和神经网络拓扑。这些模块之间的直接连接允许数据无缝交换,不再需要写入内存。此外,优化的DDR带宽和先进的DMA控制器采用动态流水线处理,可以进一步提高速度,同时降低功耗。

结合NeuPro 引擎和 NeuPro VPU的  NeuPro AI处理器框图(图片来源于:CEVA)

明天未知的人工智能算法

人工智能仍然是一个新兴且快速发展的领域。神经网络的应用场景快速增加,例如目标识别、语音和声音分析、5G通信等等。保持一种适应性的解决方案满足未来趋势是确保芯片设计成功唯一的途径。因此,满足现有算法的专用硬件肯定是不够的,还必须搭配一个完全可编程的平台。在算法一直不断改进的情况下,计算机模拟仿真是基于实际结果进行决策的关键工具,并且减少了上市时间。CDNN PC仿真包允许SoC设计人员在开发真实硬件之前,就可以使用PC环境权衡自己的设计。

另一个满足未来需求的宝贵特征是可扩展性。NeuPro AI产品家族可以应用于广泛的目标市场,从轻量型的物联网和可穿戴设备(2TOPs)到高性能的行业监控自动驾驶应用(12.5 TOPs)。

在移动端实现旗舰AI处理器的竞赛已经开始。许多人快速赶上了这一趋势,使用人工智能作为自己产品的卖点,但并不是所有产品里都具备相同的智能水平。如果想要创建一个在不断发展的人工智能领域保持“聪明”的智能设备,应该确保在选择AI处理器时,检查上述提到的所有特性。

原文标题:为什么某些嵌入式 AI 处理器比其它更智能

文章出处:【微信号:CEVA-IP,微信公众号:CEVA】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
分享:

评论

相关推荐

四轴机器人编程与应用

主题简介:本次直播主要讲解四轴机器人控制器基本原理及组成。四轴机器人的核心技术内嵌人工智能算法的工业级运动控制技术和伺服
发表于 10-30 00:00 11587次 阅读
四轴机器人编程与应用

人工智能、云计算对未来地面战的影响

美国智库哈德逊研究所近日举办“未来战争:通过云计算和人工智能实现战术优势”主题研讨会。
的头像 全球技术地图 发表于 06-24 17:43 259次 阅读
人工智能、云计算对未来地面战的影响

新松助力长飞完成光纤行业首个智能制造工厂

近日,湖北省经信厅和财政厅在潜江组织长飞光纤光缆股份有限公司(以下简称“长飞公司”)牵头承担的201....
的头像 新松机器人 发表于 06-24 17:16 120次 阅读
新松助力长飞完成光纤行业首个智能制造工厂

三星电子将加强新一代神经网处理装置技术 如果有必要也可以实行大型并购

韩媒称,像人一样执行各种业务的“人工智能秘书”,有望在3年至5年内实现商用化。看起来虽然简单,但人工....
的头像 半导体动态 发表于 06-24 17:13 255次 阅读
三星电子将加强新一代神经网处理装置技术 如果有必要也可以实行大型并购

AMD最新发布霄龙嵌入式和锐龙嵌入式处理器

AMD推出了两个新的产品系列:AMD 霄龙嵌入式3000系列处理器和AMD 锐龙嵌入式V1000系列....
发表于 06-24 17:02 16次 阅读
AMD最新发布霄龙嵌入式和锐龙嵌入式处理器

软银拟建第二个愿景基金 孙正义要打造人工智能帝国

以物联网和人工智能等新技术将是未来二三十年科技趋势,为此孙正义大肆投资。
的头像 DIGITIMES 发表于 06-24 16:50 131次 阅读
软银拟建第二个愿景基金 孙正义要打造人工智能帝国

人工智能将成为商品化的生产力工具吗

机器人过程自动化,通常被称为RPA,并不是技术领域出现的最前沿概念,但它是一个快速增长的行业,可能重....
发表于 06-24 16:45 22次 阅读
人工智能将成为商品化的生产力工具吗

人工智能给我们带来了怎样的改变

5G技术已经成为支撑智能制造转型的关键使能技术,将分布广泛零散的人、机器和设备全部连接起来,对于推动....
发表于 06-24 16:37 28次 阅读
人工智能给我们带来了怎样的改变

人工智能将是驱动未来城市发展的核心引擎吗

智慧城市与人工智能技术的深度融合,人工智能赋能智慧城市,将成为未来社会发展的核心引擎和主要趋势。
发表于 06-24 16:34 35次 阅读
人工智能将是驱动未来城市发展的核心引擎吗

人工智能持续赋能智慧城市

当前人工智能、云计算、边缘计算、大数据、物联网、5G等技术飞速发展,特别是人工智能技术越来越多应用场....
发表于 06-24 16:30 27次 阅读
人工智能持续赋能智慧城市

Reduxio率先推出容器原生存储解决方案

2019年6月18日消息:Reduxio宣布开始对其容器原生云存储和数据管理平台产品进行用户评测。该....
发表于 06-24 16:28 22次 阅读
Reduxio率先推出容器原生存储解决方案

怎样达到预防犯罪的目的

通过分析店铺内的监控录像,发现涉嫌偷窃的可疑行为,在窃贼“动手”之前识别他们,从而达到预防犯罪的目的....
发表于 06-24 16:27 18次 阅读
怎样达到预防犯罪的目的

物联网预测性维护带来的好处是什么

预测性维护还消除了维修成本,这对于制造商和最终用户来说都是一个很大的未知数。当设备中的电子元件出现故....
发表于 06-24 16:19 23次 阅读
物联网预测性维护带来的好处是什么

AI芯片组全球十大排名

美国市场研究公司Compass Intelligence已根据自己的指标公布了十大AI芯片组。据此,....
的头像 刘伟DE 发表于 06-24 15:44 368次 阅读
AI芯片组全球十大排名

华捷艾米相遇未来 科技创新与融合

近日,由中关村高新技术企业协会、中关村创业投资和股权投资基金协会主办的中关村创新创业领袖高峰论坛暨第....
的头像 AI华捷艾米 发表于 06-24 15:38 105次 阅读
华捷艾米相遇未来 科技创新与融合

深海捷智能AI外呼语音机器人价值在哪

深海捷呼叫中心系统提供统一的管理平台,实现“统一管理,多聚倒应用。
发表于 06-24 15:07 33次 阅读
深海捷智能AI外呼语音机器人价值在哪

AI智能客服机器人能帮企业做什么

价值化,通过多元化价值化的运营,解决传统客服中心仅仅只是售后的简单价值的概念,怎么样实现真正的价值化....
发表于 06-24 15:03 31次 阅读
AI智能客服机器人能帮企业做什么

人工智能摄像头能为超市干什么

在该系统投入运行的两年中,库存损失、盗窃、欺诈和扫描失误的比率已经下降。
发表于 06-24 14:59 31次 阅读
人工智能摄像头能为超市干什么

Freeman AI聊天机器人获2019 UFI数字创新大奖

人工智能是一种具有广泛应用的全新软件计算方式,将对业务运营和整体经济产生巨大影响。
发表于 06-24 14:56 21次 阅读
Freeman AI聊天机器人获2019 UFI数字创新大奖

自动驾驶技术会比自己开车还安全吗

自动驾驶汽车将以渐进的方式缓慢部署,对操作设计领域极为敏感,并与人类司机同在。因此,在这种情况下,能....
发表于 06-24 14:55 26次 阅读
自动驾驶技术会比自己开车还安全吗

视觉智能距离人类的视觉感知还有多远

第三代人工智能最重要的是提高可靠性、可解释性和安全性,以弥补现有的人工智能算法的缺陷。
发表于 06-24 14:51 15次 阅读
视觉智能距离人类的视觉感知还有多远

你害怕人工智能武器吗

带来自动化和机器人方面的世界领先技术,以实现人与机器之间可信赖的有效合作。
发表于 06-24 14:46 20次 阅读
你害怕人工智能武器吗

未来哪些职业将会被人工智能所代替

未来科技的发展我们无法阻止,我们能做到的只有做好准备去迎接科技发展带来的挑战。
发表于 06-24 14:42 20次 阅读
未来哪些职业将会被人工智能所代替

我们在人工智能时代将会失业吗

正如所有的时代变革的时候我们的生活方式会重构,当人工智能来临的时候,人工智能已经渗透到各行各业。
发表于 06-24 14:36 17次 阅读
我们在人工智能时代将会失业吗

现在全球的人工智能布局是怎样的

全球都在布局人工智能同时爆发了人工智能产业浪潮,第四次工业革命席卷全球。
发表于 06-24 14:33 17次 阅读
现在全球的人工智能布局是怎样的

KUKA机器人如何助力中国3C行业发展?

过去三十年,中国制造业的发展主要依靠劳动力密集型的生产方式,质量效益较低且缺乏核心竞争力。如今,“工....
的头像 OFweek工控 发表于 06-24 14:28 96次 阅读
KUKA机器人如何助力中国3C行业发展?

阜时科技与华中科大成立人工智能与机器视觉技术联合实验室

近日,深圳市南山区博林天瑞喜来登酒店内,高朋满座,掌声雷动。华中科技大学、深圳阜时科技有限公司主办,....
的头像 MEMS 发表于 06-24 11:32 251次 阅读
阜时科技与华中科大成立人工智能与机器视觉技术联合实验室

人工智能可以充当大厨吗

作为人类厨师,大可高高扬起你的大勺,然后安排人工智能为你跑前跑后;至于其把你取而代之,至少短时间内还....
发表于 06-24 11:06 26次 阅读
人工智能可以充当大厨吗

在智慧医疗发展的路上谁被遗忘

对于医疗从业者和技术研发者来说,了解不同的患者群体的关键方法就是:雇用一支多背景的团队来帮助你。
发表于 06-24 11:01 19次 阅读
在智慧医疗发展的路上谁被遗忘

当人工智能知道你身体的秘密你会怎样想

人体姿态所隐藏的秘密也绝不仅仅止于以上几种,未来我们或可见证更多神奇的技术从身体出发。
发表于 06-24 10:58 17次 阅读
当人工智能知道你身体的秘密你会怎样想

UCloud与巨头争夺云市场 这一匹黑马能否突围?

UCloud新增客户对业绩贡献逐渐在下滑,2016年新增客户营收占总营收16%,到2018年下滑至占....
的头像 传感物联网 发表于 06-24 10:39 377次 阅读
UCloud与巨头争夺云市场 这一匹黑马能否突围?

AI取代了人工将会怎样

自动化和AI技术将会创造更多的工作岗位,而不是完全取代。
发表于 06-24 10:23 27次 阅读
AI取代了人工将会怎样

人类未来发展之路将依靠人工智能技术

近日,国家新一代人工智能治理专业委员会发布《新一代人工智能治理原则——发展负责任的人工智能》,为人工....
发表于 06-24 10:18 25次 阅读
人类未来发展之路将依靠人工智能技术

未来人工智能会取代新闻记者吗

人工智能的深入发展给各行各业带来了巨大的冲击,而这种冲击导致的最大担忧是人工智能将在职场上取代人类,....
发表于 06-24 10:11 29次 阅读
未来人工智能会取代新闻记者吗

忘记可能是AI进步的关键!

我们都会遗忘,但是遗忘的过程是什么样子的?从一闭眼就能浮现的那张清晰的脸庞到那一团模糊不清的影子,是....
的头像 1号机器人网 发表于 06-24 09:59 166次 阅读
忘记可能是AI进步的关键!

中国机器人使用在崛起 政府补贴、多体力劳动加速机器换人

机器换人是一个此消彼长的过程,机器人是在和人赛跑,一种技能被替代,另一种技能被创造出来,最终的结果是....
的头像 天津机器人 发表于 06-24 09:51 153次 阅读
中国机器人使用在崛起 政府补贴、多体力劳动加速机器换人

人形机器人是否会影响到人们的生活

随着现在科技的不断进步与发展,越来越多的高科技产品被应用到我们的生活中,智能手表、智能电视已经层出不....
发表于 06-24 09:45 19次 阅读
人形机器人是否会影响到人们的生活

华为正式发布了全新人工智能手机芯片麒麟810

据华为消费者业务手机产品线总裁何刚介绍,麒麟810在性能、能效、拍照及通信能力上全面升级,将给消费者....
发表于 06-24 09:28 49次 阅读
华为正式发布了全新人工智能手机芯片麒麟810

人工智能时代通过什么看世界

一种人工智能系统,它可以通过触觉信号生成触摸物的视觉形象,还能根据视觉数据来预测物体的触感。
发表于 06-24 09:25 19次 阅读
人工智能时代通过什么看世界

AI的智能只要体现在哪里

人工智能与行业深度融合是一个不可逆的趋势,人工智能对人类、人机关系的影响也会日益加深,整个世界会在人....
发表于 06-24 09:20 37次 阅读
AI的智能只要体现在哪里

你见过鸭子机器人吗

业机器人可能有助于一个文化上十分重要的产业在21世纪生存下来。
发表于 06-24 08:37 24次 阅读
你见过鸭子机器人吗

Peter Flach版机器学习教程对数据有意义的算法的艺术和科学免费下载

作为一个最全面的机器学习文本周围,这本书公正的领域的难以置信的丰富,但没有失去统一的原则。Peter....
发表于 06-24 08:00 17次 阅读
Peter Flach版机器学习教程对数据有意义的算法的艺术和科学免费下载

全面构筑智能网联汽车生态  长沙跑出加速度

长沙在构筑智能网联汽车生态,打造全国乃至全球智能网联汽车产业化及创新高地跑出新的长沙速度。
的头像 智车科技 发表于 06-23 10:41 640次 阅读
全面构筑智能网联汽车生态  长沙跑出加速度

机器人如何做到自主决策 机器人视觉给出答案

但现在市面上没有这个机器人,那视频里的机器人是怎么做到的?实际是旁边有个人通过一个遥控手柄一点一点地....
的头像 DeepTech深科技 发表于 06-23 10:22 315次 阅读
机器人如何做到自主决策 机器人视觉给出答案

人工体能到人工智能的演变

“人工智能”中的“智能”尽管还不是严格意义上的人的智能,但作为一种隐喻,目前已被广泛认可和接受,即认....
发表于 06-23 10:08 77次 阅读
人工体能到人工智能的演变

智能语音助手的时代 我们还有这样的一股清流

断网十年的画风令我虎躯一震,突然意识到,全中国人民都知道的114,我居然还从来没有使用过。是的,本肥....
的头像 网易智能 发表于 06-23 10:07 454次 阅读
智能语音助手的时代 我们还有这样的一股清流

在未来人工智能将颠覆我们的生活

不论是可以和你对话的智能音箱,还是能够自己作画的虚拟艺术家;不论是能够帮助农民准确判断种植和施肥时间....
发表于 06-23 09:59 133次 阅读
在未来人工智能将颠覆我们的生活

一种工具将AutoML方法的分析和控制权给到用户手中

“使用ATMSeer,用户可以自己选择和观察AutoML系统是如何工作的,”该研究论文的共同作者之一....
的头像 新智元 发表于 06-23 09:59 303次 阅读
一种工具将AutoML方法的分析和控制权给到用户手中

谷歌宣布开源张量计算库TensorNetwork及其API

张量是一种多维数组,根据数组元素的顺序按层级分类:例如,普通数是零阶张量(也称为标量),向量可视为一....
的头像 新智元 发表于 06-23 09:54 337次 阅读
谷歌宣布开源张量计算库TensorNetwork及其API

2019年5月“人工智能”主题精选资料合集

电子发烧友总结了以“人工智能”为主题的5月精选干货,今后每月一个主题为一期,希望对各位有所帮助!(点击标题即可进入页面下载...
发表于 06-21 10:34 281次 阅读
2019年5月“人工智能”主题精选资料合集

生活中“无处不在”的技术——机器视觉

全球机器视觉市场仍然处在一个稳健快速的成长阶段。根据BCC Research的预测,2018年全球机器视觉市场约为160亿美元,到2023年...
发表于 06-21 08:00 129次 阅读
生活中“无处不在”的技术——机器视觉

基于闪存工艺的SoC FPGA器件实现安全启动设计

无论用做独立的处理单元,或者与辅助处理器联合使用,SoC FPGA器件均可以改善嵌入式处理的安全性。虽然可以利用专用安全器...
发表于 06-19 06:57 11次 阅读
基于闪存工艺的SoC FPGA器件实现安全启动设计

边缘计算的机器学习和面部识别

如何使用Edge Computing在物联网中实现更高效的推理和面部识别。 ...
发表于 05-29 10:49 165次 阅读
边缘计算的机器学习和面部识别

AI:对物联网安全的影响

在研究了高性能处理从云端到网络边缘的转变如何使物联网(IoT)蓬勃发展,并因此在本博客文章中为人工智能奠定了基础之后,还有...
发表于 05-29 10:47 115次 阅读
AI:对物联网安全的影响

人工智能:超越炒作

如果有一个真正的指标可以衡量新技术的破坏性,那肯定是公众对恐惧和怀疑的滔滔不绝。如果我们以社会焦虑作为衡量标准,那么目前...
发表于 05-29 10:46 121次 阅读
人工智能:超越炒作

机器学习神经网络参数的代价函数

吴恩达机器学习笔记之神经网络参数的反向传播算法...
发表于 05-22 15:11 60次 阅读
机器学习神经网络参数的代价函数

深度学习和机器学习有什么区别

01 面向就业的人工智能学习概述
发表于 05-17 13:25 110次 阅读
深度学习和机器学习有什么区别

机器学习的朴素贝叶斯讲解

秦刚刚的机器学习成长之路之朴素贝叶斯法
发表于 05-15 14:41 61次 阅读
机器学习的朴素贝叶斯讲解

人工智能上路需要知道什么常识

想要准确定义我们所说的常识可能有点难。常识可以基于某种文化,比如生活在某一地区的人都知道这种花有毒,而你作为游客却不知道...
发表于 05-13 06:20 256次 阅读
人工智能上路需要知道什么常识