一文看懂谷歌的AI芯片布局

谷歌   AI芯片

2018年7月Google在其云端服务年会Google Cloud Next上正式发表其边缘(Edge)技术，与另两家国际公有云服务大厂Amazon/AWS、Microsoft Azure相比，Google对于边缘技术已属较晚表态、较晚布局者，但其技术主张却与前两业者有所不同。

Google AI布局逐渐走向边缘

除了同样提倡基础的物联网闸道器(IoT Gateway)软件Edge IoT Core、人工智能/机器学习(AI/ML)软件Edge ML外，还针对人工智能/机器学习推出专属的加速运算芯片，称为Google Edge TPU，成为此次盛会一大焦点。

在Google发表Edge TPU前已发表过Cloud TPU芯片，首次发表是在Google另一个更全面、更盛大的例行年会Google I/O 2016上。Cloud TPU顾名思义用于云端机房，而TPU是TensorFlow Processing Unit的缩写，言下之意是针对TensorFlow而设计的硬件加速运算器，TensorFlow则是Google于2015年11月提出的人工智能框架，是目前诸多人工智能框架中的一大主流，其他知名的框架如Caffe/Caffe 2、Apache MXnet等。

目前人工智能框架百花齐放，其他常见的亦有Keras、PyTorch、CNTK、DL4J、Theano、Torch7、Paddle、DSSTNE、tiny-dnn、Chainer、neon、ONNX、BigDL、DyNet、brainstorm、CoreML等。若以简单譬喻而言，人工智能的开发撰写如同文书撰写，人工智能框架就如同记事本、Word等文书处理器，功效在于协助与便利开发撰写。

Google自行开发设计的Cloud TPU仅用于自家云端机房，且已对多种Google官方云端服务带来加速效果，例如Google街景图服务的文字处理、Google相簿的照片分析、乃至Google搜寻引擎服务等。Google Cloud TPU也改版快速，2016年首次发表后2017年推出第二代，2018年推出第三代芯片

不过，Google之后对Cloud TPU的技术态度似有变化。2018年2月宣布可申请租用TPU运算力，如同Google Cloud Platform(GCP)的公有云服务般，依据运算芯片的使用时间计费，每小时6.5美元(至2018年9月已降至4.5美元) ，与GCP的CPU租用服务相比相当昂贵，GCP的CPU租用服务，以***彰化滨海工业区的机房(不同位置的机房费率不同)而言，标准型计价约在0.055至5.28美元间，且8种计费费率中有5种低于1美元/小时。

TPU租用费亦同样高于GPU租用，GCP的NVIDIA GPU租用费率约在0.49至2.48美元间，视规格等级而异(Tesla K80/P100/V100)。Google Cloud TPU虽可租用，但Google是否愿意单独销售Cloud TPU给系统商，让系统商制造及销售TPU运算系统，仍待进一步观察。

在Google推出云端用的Cloud TPU后，让人未预料的是Google也针对边缘提出专属的TPU芯片，然在此前仍有些征兆，即2017年11月Google提出轻量版的TensorFlow Lite(某种程度取代此前的TensorFlow Mobile)，使电力有限的行动装置也能支援TensorFlow，2018年推出的Edge TPU芯片即是以执行TensorFlow Lite为主，而非原宗的TensorFlow。

Google Edge装置内的作业系统为Linux或Android Things，而后执行Google Edge IoT Core基础功能软件、Google Edge ML人工智能软件，并可选用配置Google Edge TPU。

Google Edge软硬件架构概观

图3左侧为物联网感测器，右侧为Google云端系统及服务。另外Edge TPU也支援Android Neural Networks 神经网路应用程式接口(API)，简称NNAPI。NNAPI于在2017年12月Android 8.1释出时一同提出，NNAPI可视为TensorFlow Lite、Caffe2等框架的基础层。由此可知Edge TPU所支援呼应并加速的软件，于2017年便已先行到位。

NNAPI可透过硬件抽象层与驱动程式，运用GPU、特定处理器或数位讯号处理器(DSP)等，使人工智能运算加速。资料来源：Google官网与Cloud TPU不同的是，Edge TPU估将由Google销售给系统商，再由系统商配置于前端装置内，包含感测器节点、装置或闸道器内，Edge TPU不是自用或租用而是销售。

Edge TPU技术轮廓

虽然Google对Cloud TPU、Edge TPU的技术资讯揭露均不多，但仍有若干资讯可推测其背后意向与考量。

首先是Google很明白Edge定位的系统运算力有限，所以Edge TPU的运算任务仅在于执行已训练完成的人工智能模型，即推测运算、推算工作(Inference，今日多译成“推论”)，真正要大量耗费运算力的模型训练(Training)，依然由充沛运算力的系统事先进行，如工作站、服务器、云端等，透过CPU/GPU/TPU进行训练。
　　

其次，Edge TPU强调可同时执行处理多组每秒30张高清晰度画质的人工智能判别运算，显示Edge TPU将用于视讯影像类的人工智能应用，且为即时判别(30FPS)。
　　

更进一步的说明，Edge TPU只负责人工智能的加速判别、加速推算，仅为加速器、辅助处理器的角色。因此，必须与系统的主控芯片沟通联系，这方面Edge TPU提供了两种介接的方式，一是PCI Express接口，另一是USB接口。两种接口均适合嵌入式设计，然PCI Express传输率较高，可避免传输瓶颈，而USB接口较可能定位在后装型运用，即前端装置已经存在，但仍可透过USB连接Edge TPU，带来加速效果。