电子发烧友网 > 人工智能 > 正文

AI芯片和传统芯片的差异在哪里

2020年04月08日 16:31 次阅读

前几天成立仅两年国内专做人工智能FPGA加速算法的初创公司深鉴科技被国际巨头赛灵思收购了,在业界引起不小的震动。目前国内做AI芯片的公司可谓不少了,AI芯片已然成为了当下芯片行业最热领域。但是大部分人对AI芯片的架构应该都不是太了解。

那么AI 芯片和传统芯片有何区别?AI芯片的架构到底是怎么样的?带着这个疑问小编搜集到了来自知乎上的一些业内行家的观点,现在整理转发给大家。先回答问题:

性能与传统芯片,比如CPUGPU有很大的区别。在执行AI算法时,更快、更节能。

工艺没有区别,大家都一样。至少目前来看,都一样。

所谓的AI芯片,一般是指针对AI算法的ASIC(专用芯片)。传统的CPU、GPU都可以拿来执行AI算法,但是速度慢,性能低,无法实际商用。

比如,自动驾驶需要识别道路行人红绿灯等状况,但是如果是当前的CPU去算,那么估计车翻到河里了还没发现前方是河,这是速度慢,时间就是生命。如果用GPU,的确速度要快得多,但是,功耗大,汽车的电池估计无法长时间支撑正常使用,而且,老黄家的GPU巨贵,经常单块上万,普通消费者也用不起,还经常缺货。另外,GPU因为不是专门针对AI算法开发的ASIC,所以,说到底,速度还没到极限,还有提升空间。而类似智能驾驶这样的领域,必须快!在手机终端,可以自行人脸识别语音识别等AI应用,这个必须功耗低,所以GPU OUT!开发ASIC就成了必然。

说说,为什么需要AI芯片。AI算法,在图像识别等领域,常用的是CNN卷积网络,语音识别、自然语言处理等领域,主要是RNN,这是两类有区别的算法。但是,他们本质上,都是矩阵或vector的乘法、加法,然后配合一些除法、指数等算法。

一个成熟的AI算法,比如YOLO-V3,就是大量的卷积、残差网络、全连接等类型的计算,本质是乘法和加法。对于YOLO-V3来说,如果确定了具体的输入图形尺寸,那么总的乘法加法计算次数是确定的。比如一万亿次。(真实的情况比这个大得多的多)

那么要快速执行一次YOLO-V3,就必须执行完一万亿次的加法乘法次数。

这个时候就来看了,比如IBM的POWER8,最先进的服务器用超标量CPU之一,4GHz,SIMD,128bit,假设是处理16bit的数据,那就是8个数,那么一个周期,最多执行8个乘加计算。一次最多执行16个操作。这还是理论上,其实是不大可能的。

那么CPU一秒钟的巅峰计算次数=16* 4Gops =64Gops。这样,可以算算CPU计算一次的时间了。同样的,换成GPU算算,也能知道执行时间。因为对GPU内部结构不熟,所以不做具体分析。

再来说说AI芯片。比如大名鼎鼎的谷歌的TPU1。TPU1,大约700M Hz,有256X256尺寸的脉动阵列,如下图所示。一共256X256=64K个乘加单元,每个单元一次可执行一个乘法和一个加法。那就是128K个操作。(乘法算一个,加法再算一个)。

AI芯片和传统芯片

另外,除了脉动阵列,还有其他模块,比如激活等,这些里面也有乘法、加法等。

所以,看看TPU1一秒钟的巅峰计算次数至少是=128K X 700MHz=89600Gops=大约90Tops。

对比一下CPU与TPU1,会发现计算能力有几个数量级的差距,这就是为啥说CPU慢。

当然,以上的数据都是完全最理想的理论值,实际情况,能够达到5%吧。因为,芯片上的存储不够大,所以数据会存储在DRAM中,从DRAM取数据很慢的,所以,乘法逻辑往往要等待。另外,AI算法有许多层网络组成,必须一层一层的算,所以,在切换层的时候,乘法逻辑又是休息的,所以,诸多因素造成了实际的芯片并不能达到利润的计算峰值,而且差距还极大。

可能有人要说,搞研究慢一点也能将就用。目前来看,神经网络的尺寸是越来越大,参数越来越多,遇到大型NN模型,训练需要花几周甚至一两个月的时候,你会耐心等待么?突然断电,一切重来?曾经动手训练一个写小说的AI,然后,一次训练(50轮)需要大约一天一夜还多,记得如果第一天早上开始训练,需要到第二天下午才可能完成,这还是模型比较简单,数据只有几万条的小模型呀。

修改了模型,需要几个星期才能知道对错,确定等得起?突然有了TPU,然后你发现,吃个午饭回来就好了,参数优化一下,继续跑,多么爽!

计算速度快,才能迅速反复迭代,研发出更强的AI模型。速度就是金钱。

GPU的内核结构不清楚,所以就不比较了。肯定的是,GPU还是比较快的,至少比CPU快得多,所以目前大多数都用GPU,这玩意随便一个都能价格轻松上万,太贵,而且,功耗高,经常缺货。不适合数据中心大量使用。

总的来说,CPU与GPU并不是AI专用芯片,为了实现其他功能,内部有大量其他逻辑,而这些逻辑对于目前的AI算法来说是完全用不上的,所以,自然造成CPU与GPU并不能达到最优的性价比。

谷歌花钱研发TPU,而且目前已经出了TPU3,用得还挺欢,都开始支持谷歌云计算服务了,貌似6点几美元每小时吧,不记得单位了,懒得查。可见,谷歌觉得很有必要自己研发TPU。

目前在图像识别、语音识别、自然语言处理等领域,精度最高的算法就是基于深度学习的,传统的机器学习的计算精度已经被超越,目前应用最广的算法,估计非深度学习莫属,而且,传统机器学习的计算量与 深度学习比起来少很多,所以,我讨论AI芯片时就针对计算量特别大的深度学习而言。毕竟,计算量小的算法,说实话,CPU已经很快了。而且,CPU适合执行调度复杂的算法,这一点是GPU与AI芯片都做不到的,所以他们三者只是针对不同的应用场景而已,都有各自的主场。

至于为何用了CPU做对比?

而没有具体说GPU。是因为,我说了,我目前没有系统查看过GPU的论文,不了解GPU的情况,故不做分析。因为积累的缘故,比较熟悉超标量CPU,所以就用熟悉的CPU做详细比较。而且,小型的网络,完全可以用CPU去训练,没啥大问题,最多慢一点。只要不是太大的网络模型。

那些AI算法公司,比如旷世、商汤等,他们的模型很大,自然也不是一块GPU就能搞定的。GPU的算力也是很有限的。

至于说CPU是串行,GPU是并行

没错,但是不全面。只说说CPU串行。这位网友估计对CPU没有非常深入的理解。我的回答中举的CPU是IBM的POWER8,百度一下就知道,这是超标量的服务器用CPU,目前来看,性能已经是非常顶级的了,主频4GHZ。不知是否注意到我说了这是SIMD?

这个SIMD,就代表他可以同时执行多条同样的指令,这就是并行,而不是串行。单个数据是128bit的,如果是16bit的精度,那么一周期理论上最多可以计算八组数据的乘法或加法,或者乘加。这还不叫并行?只是并行的程度没有GPU那么厉害而已,但是,这也是并行。

不知道为啥就不能用CPU来比较算力?

有评论很推崇GPU。说用CPU来做比较,不合适。GPU本来是从CPU中分离出来专门处理图像计算的,也就是说,GPU是专门处理图像计算的。包括各种特效的显示。这也是GPU的天生的缺陷,GPU更加针对图像的渲染等计算算法。但是,这些算法,与深度学习的算法还是有比较大的区别,而我的回答里提到的AI芯片,比如TPU,这个是专门针对CNN等典型深度学习算法而开发的。另外,寒武纪的NPU,也是专门针对神经网络的,与TPU类似。

谷歌的TPU,寒武纪的DianNao,这些AI芯片刚出道的时候,就是用CPU/GPU来对比的。

看看,谷歌TPU论文的摘要直接对比了TPU1与CPU/GPU的性能比较结果,见红色框:

这就是摘要中介绍的TPU1与CPU/GPU的性能对比。再来看看寒武纪DianNao的paper,摘要中直接就是DianNao与CPU的性能的比较,见红色框:

回顾一下历史

上个世纪出现神经网络的时候,那一定是用CPU计算的。

比特币刚出来,那也是用CPU在挖。目前已经进化成ASIC矿机了。比特大陆了解一下。

从2006年开始开启的深度学习热潮,CPU与GPU都能计算,发现GPU速度更快,但是贵啊,更多用的是CPU,而且,那时候GPU的CUDA可还不怎么样,后来,随着NN模型越来越大,GPU的优势越来越明显,CUDA也越来越6,目前就成了GPU的专场。

寒武纪2014年的DianNao(NPU)比CPU快,而且更加节能。ASIC的优势很明显啊。这也是为啥要开发ASIC的理由。

至于说很多公司的方案是可编程的,也就是大多数与FPGA配合。你说的是商汤、深鉴么?的确,他们发表的论文,就是基于FPGA的。

这些创业公司,他们更多研究的是算法,至于芯片,还不是重点,另外,他们暂时还没有那个精力与实力。FPGA非常灵活,成本不高,可以很快实现架构设计原型,所以他们自然会选择基于FPGA的方案。不过,最近他们都大力融资,官网也在招聘芯片设计岗位,所以,应该也在涉足ASIC研发了。

如果以FPGA为代表的可编程方案真的有巨大的商业价值,那他们何必砸钱去做ASIC?

说了这么多,我也是半路出家的,因为工作需要而学习的。按照我目前的理解,看TPU1的专利及论文,一步一步推导出内部的设计方法,理解了TPU1,大概就知道了所谓的AI处理器的大部分。

然后研究研究寒武纪的一系列论文,有好几种不同的架构用于不同的情况,有兴趣可以研究一下。然后就是另外几个独角兽,比如商汤、深鉴科技等,他们每年都会有论文发表,没事去看看。这些论文,大概就代表了当前最先进的AI芯片的架构设计了。

当然,最先进,别人肯定不会公开,比如谷歌就不曾公开关于TPU2和TPU3的相关专利,反正我没查到。不过,没事,目前的文献已经代表了最近几年最先进的进展了。

责任编辑:Ct

下载发烧友APP

打造属于您的人脉电子圈

关注电子发烧友微信

有趣有料的资讯及技术干货

关注发烧友课堂

锁定最新课程活动及技术直播

电子发烧友观察

一线报道 · 深度观察 · 最新资讯
收藏 人收藏
分享:

评论

相关推荐

【5月12】不懂编程没关系,邀请您来学AI

不懂编程没关系,邀请您来学AI活动概述:本活动是现场讲座,由台湾知名AI教育专家、金门创新学院院长、台湾Android技
发烧友学院发表于 2019-05-24 00:00 2428次阅读
【5月12】不懂编程没关系,邀请您来学AI

AI产品落地的速度为什么加快了

在“新基建”浪潮强有力推动下,AI商业化时至今日仍处于早期阶段,众多AI创新的中小企业和团队普遍面临....
发表于 2020-04-09 08:44 0次阅读
AI产品落地的速度为什么加快了

Arm中国首款IP正式商用,揭开“周易”的神秘面...

作为一款面向智能音箱和智能家居等应用的产品,全志的这颗芯片搭载了双核Cortex-A53,强劲的性能....
发表于 2020-04-08 17:52 549次阅读
Arm中国首款IP正式商用,揭开“周易”的神秘面...

Lytx增强型机器视觉与AI风险探测技术解决分心...

Lytx是全球领先的视频远程信息处理技术解决方案供应商,近日,为解决分心驾驶,该公司推出了增强型机器....
发表于 2020-04-08 17:21 130次阅读
Lytx增强型机器视觉与AI风险探测技术解决分心...

AI技术和5G技术赋能移动监控领域,加速移动监控...

生活中存在着大量需要移动管理的对象:公交车、地铁、高铁、矿井运输设备、港口码头……随着信息社会发展,....
发表于 2020-04-08 16:57 164次阅读
AI技术和5G技术赋能移动监控领域,加速移动监控...

AI能把你的脑电波转译 错误率只有3%

参加实验的4名志愿者都是癫痫患者,他们由于治疗需要在大脑表面植入了数百个微电极。研究人员正是利用这些....
发表于 2020-04-08 16:48 106次阅读
AI能把你的脑电波转译 错误率只有3%

神经拟态芯片掌握多种气味神经表征

除了会看会听,还会“闻”。近日,一直致力于模仿人类五感的人工智能又有新突破,通过神经拟态芯片,人工智....
发表于 2020-04-08 16:45 257次阅读
神经拟态芯片掌握多种气味神经表征

中兴通讯AIVO数字化运营解决方案,立足于大数据...

随着5G网络部署加速和流量快速增长,运营商面临网络系统庞大复杂、网络管理与业务运营难度超出人工处理能....
发表于 2020-04-08 15:55 104次阅读
中兴通讯AIVO数字化运营解决方案,立足于大数据...

数字化转型新奇之处在哪里,有什么新的特点

“数字化转型”是当今的一个热门词,但是它的新奇之处在哪里呢?那些在市场营销领域工作的人总是不断地制造....
发表于 2020-04-08 15:52 138次阅读
数字化转型新奇之处在哪里,有什么新的特点

未来的智能体能否代替程序员而进行代码编写

首先,在当前的程序开发领域,代码辅助生成系统一直是一个重要的研究方向,相关领域的很多技术也确实为程序....
发表于 2020-04-08 15:44 91次阅读
未来的智能体能否代替程序员而进行代码编写

金山云推出AIoT防疫解决方案,测温到进出一站式...

2020年的开始,注定是不平凡的,一场突如其来的新冠疫情引发全国人民的关注。面对疫情,全国各界众志成....
发表于 2020-04-08 14:52 108次阅读
金山云推出AIoT防疫解决方案,测温到进出一站式...

人工智能应用遇上怎样的新机遇

人工智能新场景的创新应用,也使其成为一股新的战疫力量。
发表于 2020-04-08 14:41 48次阅读
人工智能应用遇上怎样的新机遇

人工智能是怎么样的

因此人工智能的研究往往涉及对人的智能本身的研究。其它关于动物或其它人造系统的智能也普遍被认为是人工智....
发表于 2020-04-08 14:33 31次阅读
人工智能是怎么样的

小Biu空调Max正式上市该空调支持AI智能语音...

据官方介绍,小Biu空调Max支持AI智能语音操控,用户开启或关闭空调时,只需要对空调喊一句“打开空....
发表于 2020-04-08 14:28 32次阅读
小Biu空调Max正式上市该空调支持AI智能语音...

产业智能化如何利用人工智能来守护

AI算法本身存在安全漏洞。因为各类机器学习的高度复杂,带来的“黑箱问题”使得算法不可解释。
发表于 2020-04-08 14:26 22次阅读
产业智能化如何利用人工智能来守护

MEMS麦克风能够听懂AI?

全球音频市场持续成长,由于语音VPA要求更高的信噪比(SNR),才能在吵杂的环境中准确获取人声,麦克....
发表于 2020-04-08 14:23 22次阅读
MEMS麦克风能够听懂AI?

AI与人脑距离怎么样去拉近

目前深度学习算法作为实现人工智能的重要技术手段,被广泛应用于各类人工智能成果中。对于以深度学习算法为....
发表于 2020-04-08 14:19 51次阅读
AI与人脑距离怎么样去拉近

人工智能实现成本怎样去降低

伴随着“战疫”工作的深入,AI测温、AI医生、送药送餐机器人等多项以人工智能为核心的各类远程应用与无....
发表于 2020-04-08 14:07 199次阅读
人工智能实现成本怎样去降低

北京地铁6号线正式亮相智慧地铁

首都智慧地铁列车有黄色和灰色两种配色。走进车厢,车门上方新增的4K高清屏幕吸引乘客眼球。这里滚动播放....
发表于 2020-04-08 11:48 297次阅读
北京地铁6号线正式亮相智慧地铁

科大讯飞正在利用人工智能辅助诊断平台来防控疫情

新冠肺炎疫情暴发以来,全国和地方各级人大代表、政协委员活跃在疫情防控和病患救治一线,立足岗位做贡献,....
发表于 2020-04-08 11:03 119次阅读
科大讯飞正在利用人工智能辅助诊断平台来防控疫情

我国人工智能产业在3月份的应用情况分析

3月2日消息,人社部与市场监管总局、国家统计局联合发布第二批16个新职业,其中人工智能训练师、智能制....
发表于 2020-04-08 11:00 35次阅读
我国人工智能产业在3月份的应用情况分析

5G发展前景不可估量

现在,随着新基建概念的提出,伴随着智能智造的号角5G的发展风头正盛。作为下一个支撑我国社会经济管理数....
发表于 2020-04-08 10:56 20次阅读
5G发展前景不可估量

腾讯将全方位助力武汉数字产业的建设与发展

具体来看,在数字政府、智慧城市方面,腾讯将继续推进腾讯(武汉)数字产业总部的建设。同时,腾讯将继续联....
发表于 2020-04-08 10:54 202次阅读
腾讯将全方位助力武汉数字产业的建设与发展

基于人工智能的存储可帮助公司充分利用数据

如果您可以将存储更像是自动驾驶汽车而不是动手,劳动密集型的必需品,该怎么办?如果像自动驾驶汽车一样,....
发表于 2020-04-08 10:31 134次阅读
基于人工智能的存储可帮助公司充分利用数据

英特尔将利用人工智能等技术来抗击新型冠状病毒

英特尔CEO司睿博(Bob Swan)表示:“世界正面临着抗击COVID-19的严峻挑战。英特尔致力....
发表于 2020-04-08 10:02 222次阅读
英特尔将利用人工智能等技术来抗击新型冠状病毒

AI能否识别出急性脑CT异常

在新的研究中,人工智能深度学习算法能够准确识别头部CT扫描中9种不同程度的异常。
发表于 2020-04-08 10:00 23次阅读
AI能否识别出急性脑CT异常

通过人工智能技术如何来改善视频会议的效果

如今,AI计划来自端点供应商,会议软件供应商和初创公司,这些公司可以自行提供或与会议平台提供商合作提....
发表于 2020-04-08 09:58 18次阅读
通过人工智能技术如何来改善视频会议的效果

人工智能技术如何优化医学影像

随着人们对人工智能技术的探索逐步深入,AI正在渐渐渗透到医疗影像行业的方方面面。毫不夸张地说,AI正....
发表于 2020-04-08 09:56 28次阅读
人工智能技术如何优化医学影像

Monet Analytics最新推出了基于AI...

Monet Analytics推出了一款产品,该产品使用人工智能来衡量受众对内容的反应。
发表于 2020-04-08 09:51 93次阅读
Monet Analytics最新推出了基于AI...

医疗影像AI落地的难处有哪些

另一方面数据的不统一还存在一定的客观原因,例如不同品牌的仪器成像机理和标准不同,因此对于同一病灶输出....
发表于 2020-04-08 09:45 25次阅读
医疗影像AI落地的难处有哪些

2020你得知道的物联网趋势

随着技术的不断发展,对于个人和组织而言,利用物联网设备来提高生产力和盈利能力至关重要。
发表于 2020-04-08 09:22 515次阅读
2020你得知道的物联网趋势

人工智能怎样助力楼宇对讲

伴随着人工智能技术的落地应用。楼宇对讲系统作为智慧社区的入口,通过结合人工智能技术,实现身份确认、身....
发表于 2020-04-08 09:10 25次阅读
人工智能怎样助力楼宇对讲

物联网的风险如何去缓解

物联网的绝对复杂性既是福也是祸。一方面,它是代表人类创造力的新高度的技术奇迹,但另一方面,它依赖于许....
发表于 2020-04-08 08:57 33次阅读
物联网的风险如何去缓解

解密面部识别技术,AI如何识别人脸

自从人工智能诞生之初,计算机科学家就一直梦想着能制造出可以像人类一样看到和理解世界的机器。这些努力导....
发表于 2020-04-07 17:30 180次阅读
解密面部识别技术,AI如何识别人脸

5G、AI、大数据的发展,对智慧城市会有什么影响

市场分调研机构Omdia的最新数据分析显示,全球智能城市人工智能(AI)软件市场将从6.738亿美元....
发表于 2020-04-07 17:24 195次阅读
5G、AI、大数据的发展,对智慧城市会有什么影响

自我监督学习将是AI技术的未来发展方向

尽管深度学习已经在人工智能领域做出重大贡献,但这项技术本身仍存在一项致命缺陷:需要大量数据的加持。
发表于 2020-04-07 17:14 278次阅读
自我监督学习将是AI技术的未来发展方向

RPA是什么,AI和RPA结合方式和架构的解析

RPA是Robotic Process Automation(机器人流程自动化)的简称。RPA的概念....
发表于 2020-04-07 17:08 226次阅读
RPA是什么,AI和RPA结合方式和架构的解析

人工智能技术将如何促进体育事业的发展

目前,人工智能服务于体育事业和体育文化等领域已有很多尝试,取得了丰富的成果,使体育领域不断走向“更快....
发表于 2020-04-07 16:59 280次阅读
人工智能技术将如何促进体育事业的发展

【战疫专题】第五期:智慧物流,疫情之中显担当

2020年,新型冠状病毒席卷了整个中国,同时也在促进着产业的变革与生活变化。 电子发烧友在此期间推出【战疫专题】活...
发表于 2020-03-18 11:00 2161次阅读
【战疫专题】第五期:智慧物流,疫情之中显担当

人工智能、数据挖掘、机器学习和深度学习的关系

人工智能、数据挖掘、机器学习和深度学习之间,主要有什么关系?...
发表于 2020-03-16 11:35 113次阅读
人工智能、数据挖掘、机器学习和深度学习的关系

人工智能侦查有哪些应用

【人工智能侦查的应用领域】
发表于 2020-03-16 11:28 87次阅读
人工智能侦查有哪些应用

人工智能+边缘计算!米尔NXP工业级物联网板卡8M mini资料分享

响应行业应用和满足客户需求,米尔推出了基于NXP公司i.MX 8M Mini系列芯片的MYC-C8MMX系列核心板及开发...
发表于 2020-03-06 11:44 657次阅读
人工智能+边缘计算!米尔NXP工业级物联网板卡8M mini资料分享

红外传感+人工智能,智能机器人红外发送接收电路解析

该移动音乐机器人以英飞凌16 位单片机XE162FN 处理器为核心,英飞凌开发的16/32 位微控制器具有高度系统集成、无需...
发表于 2020-02-28 07:00 573次阅读
红外传感+人工智能,智能机器人红外发送接收电路解析

【战疫专题】第二期:硬核战“疫”,机器人大有可为

2020年,新型冠状病毒席卷了整个中国,同时也在促进着产业的变革与生活变化。 电子发烧友在此期间推出【战疫专题】活...
发表于 2020-02-25 14:24 5624次阅读
【战疫专题】第二期:硬核战“疫”,机器人大有可为

【瑞芯微RK1808计算棒试用体验】机械臂视觉快速识别

折腾了一个新年,总算勉强有点效果了,这个任务真是大坑啊,关键的识别部分没多大难度,但上位机、下位机、机械结构接...
发表于 2020-02-08 18:13 612次阅读
【瑞芯微RK1808计算棒试用体验】机械臂视觉快速识别

2020艾睿电子解决方案展示会

活动简介 艾睿电子解决方案展示会是艾睿电子自主主办的展会,也是每年一度的 ACT (Arrow Centralized Training...
发表于 2020-01-15 09:40 39042次阅读
2020艾睿电子解决方案展示会

内置NPU的Orange Pi 4B,你怎么看

提起单板电脑,树莓派基金会发布的树莓派系列开发板或许是最广为人知的,该公司坚持使用博通的SOC芯片,以实现不断...
发表于 2019-12-23 21:07 1074次阅读
内置NPU的Orange Pi 4B,你怎么看

串口屏应用案例-自助点餐系统

串口屏应用案例-自助点餐系统 自助点餐系统应景而生,彻底打破了传统,能够有效的减少排队使用的时间。在自助点餐机器...
发表于 2019-12-23 13:15 722次阅读
串口屏应用案例-自助点餐系统