边缘计算的必要性

各位可能都听过第四次工业革命是来自万物联网（Internet of Things，IoT），包括实体、虚拟、与生物体，也一定听过最近几年内许多人工智能 （Artificial Intelligence，AI） 的重大突破与各方面的应用，IoT 是从 1999 年就发明的词，AI 的发展更超过一甲子，然而这两者的结合才是下个新产业机会的大浪，正要开始。

什么是 AIoT 与边缘计算

相关用语包括 AIoT 以及边缘计算 （Edge Computing），我们先看看他们的定义：

IoT – 藉由各处的无线传输装置，通过感测器蒐集各种的数据，再将数据传输到闸道或电脑之中，连接到网路上，达到万物连上网的效果，如何使这些数据产生应用层面更是相当重要的议题。

AI – 基于自我学习为基底，藉由大量的数据作为学习依据，通过建立一层层神经网路架构，进行反覆的学习与修正，并佈署最终训练完的权重值，去进行预测与判断。

通过 AI 与 IoT 两者整合，相辅相成。藉由 AI 从边缘感测器蒐集的大量数据萃取价值，再控制本地的系统就是 AIoT 的基本概念，例如在工厂产线中，通过视觉感测器收集数据，经由 AI 计算判断分类，再由机器手臂执行检选。没有AI 来处理与利用数据，IoT 是没有意义的。

AI 与 IoT 两个领域延续过去投资热度，今年仍是最热的标的，远领先区块链 （Blockchain）。

边缘计算的必要性

过去这 AI 主要在云端计算，难免受制于带宽与延迟的限制，现在的趋势逐渐走向所谓的边缘计算，根据边缘计算产业联盟 （ECC） 与工业互联网产业联盟 （AII） 联合发布的边缘计算参考架构 2.0（2017）：边缘计算是在靠近物或数据源头的网络边缘侧，融合网络、计算、存储、应用核心能力的分布式开放平台，就近提供边缘智能服务，满足行业数字化在敏捷联接、实时业务、数据优化、应用智能、安全与隐私保护等方面的关键需求。

许多应用程序对延迟不敏感，不需要大量的就近计算或存储资源，因此理论上它们可以在集中式的云中运行，但是对带宽和计算资源有要求的应用，使用边缘计算将成为更有效的方法，例如视频监控、物联网网关 （Gateways）、使用脸部识别的门禁、车牌识别。而且厂商不需在每个有客户的区域都要部署服务器。

有些实时应用程序是无法承受超过几毫秒的延迟，诸如 AR/VR、车联网、远程医疗、触觉互联网、工业4.0 和智慧城市等。需在应用情境当场形成闭环自动化，来维持高可用性与安全性，靠近用户的计算和缓存成为了必需品。

还有许多场所网络连接受限、不可靠或不可预知。这些场所包括交通运输工具 （飞机、巴士、船舶），采矿作业区 （石油钻井平台、管道、矿山），电力基础设施 （风力发电场、太阳能发电厂），卫星通信，海上船只 （从渔船到油船），这些偏远和恶劣的环境中，边缘计算让位于边缘的装置根据实时数据自治，应用在预测性维护上，可避免零件机台故障造成当机 （有些情形甚至造成死伤），应用在能效管理上，可降低成本与提升可靠性。

AI + IoT 开始成为热钱追逐标的

结合 AI 的 IoT 新创公司，在去年吸引可观的资金，从企业与私有基金取得总共 22 亿美金，并购活动也十分热络，代表产业的新兴热点崛起。

位于芝加哥的 UptakeTechnologies，去年取得总共 2.5 亿美金的 C 轮与 D 轮资金，成为独角兽，服务于工业物联网-- 石油天然气产业、采矿、农业、航空、营建、制造、铁路、货运车队、绿色能源与智慧电网。

另一个独角兽 – C3 IoT –除了部分以上提到的领域外，也着力于智慧城市、公用基础建设、金融服务、健康管理、零售与通讯。去年拿到一个亿美金。

专注于物联网无线解决方案的Silicon Labs（亦称“芯科科技”）公司也通过收购 Sigma Designs 的 Z-Wave业务和。

自从 2015年，边缘计算进入到 Gartner 的 Hype Cycle （技术成熟曲线）。Gartner 预测在 2022 年之前 80% 的企业级 IoT 将配备布署 AI，目前只有 10%。

半导体芯片在 AI 产业的关键地位

半导体芯片在使能 AI 产业上处于核心地位，需要处理巨量数据的机器学习 （Machine Learning） 要求极大的算力与特大储存容量，对应的是对高端处理器与更大更省电的存储器的需求。目前这两个关键技术，仍以美国居全球领先地位，以中国投入的追赶力道最大。

根据 JP Morgan 预估，AI 芯片市场营收，在 2022 年前将以年均复合增长率 59% 增长，相对于整个半导体市场增长率仅有 5-6% ［1］。自从网络泡沫以来，风投对半导体业的投资兴趣逐渐走低，现在，AI 改变了这个趋势。

半导体在 AI 运作的主要三个阶段都具有关键支持地位，三阶段分别为：

数据生成与收集：可能通过智慧手机与 IoT 各种终端传感装置；

以收集的数据对算法进行训练：训练是指通过大量的数据样本，代入神经网络模型运算并反复迭代，来获得各神经元的权重参数的过程。这阶段需处理海量数据，最耗计算资源，必需在云端进行，要求尽可能高的算力。大家可能都听过 Nvidia 靠绘图处理器 （GPU） 在近几年大放光芒，它提供的就是训练芯片，支持深度学习 （Deep Learning） 技术的深度神经网络 （Deep Neural Network） 建模计算，得力于 GPU 的大型矩阵平行运算助力，让以前不实际、超过百层的神经网络计算成为合理可能，所以 AI 训练芯片表现大大提升。

根据训练好的算法对新数据进行推断预测 （inference）：推断是指借助现有神经网络模型进行运算，利用新的输入数据来一次性获得正确结论的过程。推断过程对响应速度一般有较高要求，因此会采用 AI 芯片 （搭载训练完成的神经网络模型） 进行加速。这阶段可能发生在云端或边缘，然而如同前面所述，为了反应速度或安全性等因素，将推断放在边缘终端逐渐成为趋势，所以大量的各种终端装置都将会加上推断芯片来建立智能。边缘装置芯片只需內建训练好的模型算法，可随时对新收集数据进行反应与自我管理。在连网时，可将边缘数据传回云端，持续不断修正与优化模型，然后再回传更新的模型给边缘。

边缘计算应用落地是硬件与系统商的大机会

根据 CrunchBase 的 2018 AI 市场报告，Amazon、Google、Microsoft 等巨头推出的 AI as a Service 开发框架，加上有能力自制高端芯片，已经让机器学习的新创公司难以生存。这种云端企业级 AI 需要数据中心级的大规模投资，提升每单位电力可带来的计算量，门槛很高。

然而，善长生产硬件、整合终端装置制造供应链的国家，却有机会将 AI 推断芯片置入终端，在边缘计算的各种各样应用场景好好发挥。相比训练芯片追求算力，推断芯片考虑的因素需要整体优化：单位功耗算力，时延，成本等等（大多需极低耗电与低成本），所以垂直合作配合更为重要。难怪鸿海董事长郭台铭就说：半导体我们自己一定会做。根据 JP Morgan 的预估，边缘 AI 应用的半导体产值也将以比云端 AI 以更高的年均复合增长率成长。

但是硬件厂商需要提升自己的思维到服务提供者的高度，了解客户与市场，才能完整掌握应用情境，并以服务导向拉动上下游供应链充分合作，整合构建创新的垂直行业解决方案。不仅是硬件厂商延伸成为整体服务提供者，甚至掌握 AI 演算法，以求胜出，软件厂商为了做好智能终端，也发现必须掌握硬件设计与韧体，软硬整合为必要。整个开发与除错战线比过去长，而且需要跨领域知识。

PC 与 Mobile 时代，产品与技术规格比较一致，产品战线大概就是分低、中、高阶而已，但在接下来兴起的 AI 加 IoT 时代 – 有人称为智联网，智能终端的应用却可能非常多样化，AI 的应用场景碎片化，分散在许多流程环节里，有极大的创新空间，但要考虑的逻辑更复杂，需针对不同应用需求在能耗、性能、或散热等问题进行优化。相比于互联网时代，物联网的通信协议更加多样，碎片化严重。新的游戏规则与新的市场面貌正在成形中。

创新的目的 – 回归价值创造

ARM 为了 AI 推断算法优化最前沿的 CPU 与 GPU IP 核，高通、联发科、谷歌、Rockchip 在其处理器加上 DSP 计算核以强化原有视觉辩视计算与其它AI 计算，苹果、Intel、NVIDIA 也纷纷推出附神经网络芯片以加速AI 计算，Lattice、Microsemi、 Intel 则利用 FPGA 处理 AI 计算，包括云端与边缘。

安控监视系统、汽車自動煞車与驾驶系統、工廠自動化設備与即時示警、家庭智慧音箱……，边缘计算应用的例子已经不胜凡举，并从原来视觉与语音辩视计算扩大到其它 AI 计算，例如结合传感器数据开发新应用。那些垂直市场与那些应用最有商业价值，下回我们来看看 AI + IoT 在各种垂直应用领域与情境的案例研讨与价值分析。