AI能否真正落地？云上异构计算助力AI下半场

今年都在说AI技术落地。AI到底有没有真正落地？可能得真实数字说了才算。

IDC今年7月发布的一份报告显示，2018至2024年，中国AI云服务市场年复合增长率将达到93.6%。

当然，高增速也不一定是真正的行业繁荣，行业的结构变化更能说明天平倾斜的方向。

阿里云最近有一组数字值得玩味：四年前，云上的训练任务占比超过80%；而如今，推理任务所占算力比重已经基本过半。

阿里云透露，这背后主要是因为4年以来，AI行业悄然发生的变化：云端进行推理的需求，比训练需求的增长要快得多。占比过半标志推理将是未来更为主流的云上AI计算需求，也说明AI行业已经从创业和从研发和创业为主，真正走向落地。

为什么这么说？

阿里云异构计算研发总监龙欣解释， 训练是更偏后端研发的阶段。而推理更多是把成熟的产品推广到市场上规模化应用，从这个角度来看，算力是处于训练还是处于推理，其实就能判断这个产品在AI上的技术是否开始了大规模落地。

而阿里云还透露了一组数字，最初云端GPU上线时，只有少数几家互联网企业和人工智能技术创业公司，租用算力来验证自己的商业模式和业务探索；现在AI用户已覆盖智能智造、医疗、教育等数十个行业。

例如，今年的疫情让在线教育等行业迅速增长。阿里云透露，在线教育是过去一年里对异构计算需求增长最迅速的行业，已经增长了近200%。这也侧面反映了这个行业AI应用的快速落地。

“实际上，AI已经进入到了下半场。推理业务的多样化也带来了异构场景和器件的多样化，云游戏、5G都是现在非常受关注的赛道。”龙欣表示，云上异构计算也在支撑更多的新兴赛道。

AI技术已经到了不是少数人少数企业的“自嗨”，开始走向传统行业，全面开花。

总而言之，AI已经从重训练的研发阶段，进入训练推理并重的落地阶段，而且应用面越来越广。

从算法到“算法+算力”

以深度学习为代表的AI技术飞速发展，对于算力的需求也在暴增。OpenAI的年度报告显示，从AlexNet到AlphaGo Zero，短短6年时间里，最先进AI模型算力需求增长了30万倍。

算法固然是提升AI技术的核心，但是想要AI快速落地，最“简单粗暴”的办法就是叠加算力。今年出现的超大自然语言模型GPT-3就是典型的例子。

另一方面，更偏研发行为的训练阶段，对算力的需求是有天花板的，与具体业务规模不直接关联。而如今AI产品的落地，意味着随着前端用户规模的扩大，对应推理业务模型对算力的需求是会呈现线性甚至爆发式增长的。比如，阿里云曾经在数天内为一款爆款AI产品“弹出”了数万片云上GPU，抓住了涌入的用户。

“巧妇难为无米之炊”，掌握算力资源的AI基础设施成为AI从概念到落地的重要支撑。

AI已经从以单一的算法为核心逐渐演变为算法、算力双核心。

云，无疑是获取算力最便捷与灵活的方式。通过云，企业可以随时获得充足的云端AI算力。

作为基础设施提供商的云计算，为满足行业发展，堆硬件是必经之路，但提供AI算力并不等同于单纯堆硬件，如果没有全面的软硬件技术，只会得到1+1<2的效果。

如何调度这些资源，解决用户在使用时的性能损失，是云计算厂商必须考虑的问题。

云异构计算的三个阶段

这就要从云上AI基础设施的发展阶段说起。

云上异构计算作为最能发挥AI效率的计算方式，其发展可以分为三个阶段：

第一个阶段，是异构计算需求的从0到1。

在2013年AlexNet依靠GPU达到80%准确率，展现了GPU在AI算力提供上的能力这给业界开辟了一条新路。淘宝拍立淘、新浪微博等等，就开始尝试利用GPU来开发机器学习产品。2016年，阿里云迈出了第一步：启动异构计算业务，主要是服务了第一批寻求AI创新的客户的需求。在这个阶段，主要解决了企业对异构算力的从有到无。

第二个阶段，是规模化。

在2016年AlphaGo大放异彩之后，深度学习等AI技术开始从实验室走向工业界。随着大量互联网企业开始对人工智能算法研发进行重点投入，AI算力的瓶颈也日益凸显。

大量模型训练的需求，以及对大算力需求的不断增长，推动了规模化、强弹性、高性能的云上计算基础设施的落地。阿里云也开始规模化部署云上异构算力。

短短3年时间，阿里云已经拥有超大规模的云上异构计算集群，每秒能支撑100亿亿次的异构运算，相当于在1秒内看懂超过5.3亿张图片、翻译4千万句话、识别9.2万小时长的语音。

而正如前文所说，2020年，人工智能行业的拐点已经到来，AI真正从研发和创业，走向了落地实践。这也就驱动着异构计算产品进入了第三阶段。

第三阶段的特征，是精细化和多样化。

当AI从研发走向落地，训练场景就将面临更为复杂多样的业务，对于企业客户而言，上云的需求也就从大算力，聚焦到了降低推理成本和极速部署等方面，同时场景也更为多样。

不难看出，这三个阶段的变化，是技术进步和行业发展共同促进的结果。

而第二阶段构建面向大计算的基础设施，可以说是所有云厂商的必经之路，也仍然是目前许多厂商的竞争重点。

但在基础设施之上，如何让客户能进一步快速调用资源，在AI落地的过程中进一步降本增效？

作为中国云计算市场份额最高的云服务商，阿里云已经率先迈出了这一步，给出的答案是——

软硬一体

软硬一体，在2017年就已成为头部云服务厂商的共识。

为了云计算的一大顽疾——通过虚拟机搭建云的过程中，虚拟化带来的性能损耗问题，2017年9月，阿里云推出第一代神龙架构，在整个行业中首次以软硬结合的设计方式实现了性能的0损耗。而大洋彼岸的AWS也同样在2017年底推出了类似产品AWS Nitro架构。

在此基础之上，现在，阿里云异构计算针对垂直行业，进一步提供了让云上资源变得更高效、更易用的软件工具。

比如针对人工智能行业的神龙AI加速引擎（AIACC）。

在大规模深度学习场景中，大规模GPU资源不仅导致了高运维成本，随着机器数的增加，不同机器GPU之间的配合难度也会变大，导致单张GPU卡的利用率反而下降。AIACC则可以通过对通讯、带宽等进行深度优化，提升资源协作效率和利用率

在AIACC的加持之下，今年3月，阿里云获得了斯坦福大学DAWNBench ImageNet四个榜单的世界第一。

根据已经落地的实际案例，AIACC可以帮助客户在云上训练场景下，提升2倍到14倍的性能；在推理场景下，提升2倍到6倍的性能。

AI芯片领域的独角兽地平线，与阿里云AIACC团队紧密合作，将基于阿里云异构计算的分布式训练性能提升4倍，让地平线算法研发效率得以显著的提升，成本得以大幅下降。

阿里内部，以阿里云IoT的图像分类业务为例。AIACC团队和IoT智能业务研发团队合作，将大规模图像分类分布式训练性能提升5倍。

另一阿里异构独有的软件产品，便是分片cGPU容器技术，能让客户通过容器来调度底层GPU资源，以更细颗粒度调度使用GPU，提高GPU资源利用率，达到降本增效的目的。

阿里云异构计算产品负责人潘岳也进一步对量子位解释了“软硬一体”的必要性：

单纯从算力的角度来说，硬件相当修路时用到的水泥、石块这样的基础。但仅仅是基础的堆叠显然是不足以解决问题的。

硬件资源为底层的基础设施之上，需要将虚拟化这样的技术通过软件产品的形式迭代出来，去充分发挥底层硬件的能力，把相应的技术红利释放给客户。

算力池化

除了软硬一体，阿里云异构计算产品展现出来的另一个发展趋势，是算力池化，带来了对算力更加灵活的调度能力。

一直以来，用户在云上选择GPU算力的时候，都是受规格配比限制的，比如内存和GPU之间只有特定几个比例。可是每个AI推理模型之间需要的资源配比是千差万别的。

阿里云异构计算今年推出弹性加速计算实例EAIS，通过软件池化的方式，在国内云厂商中首次实现GPU、FPGA、NPU等异构加速器与CPU/内存的解耦。

EAIS为客户提供了一个异构算力池，用户可以将需要的GPU资源量搭配到任何一款阿里云ECS服务器中，根据不同应用需求灵活优化CPU/内存与GPU之间的比例，匹配适合的资源组合，在提升AI推理效率的同时大幅降低成本。

全面布局

AI下半场，它的基础设施需要更丰富和多样。

龙欣表示，推理面临的是非常复杂的业务场景，涉及到的技术很可能不只有AI。C端用户用到的一个功能，可能融合了音视频编解码和深度学习等多种技术。异构计算作为底层的基础设施，也需要覆盖多样化的需求。

阿里云异构计算虽然发轫于AI，但它面对的，早已不只AI。

阿里云异构计算产品加持的经典案例，早已不仅仅局限于AI领域。

阿里云异构GPU/FPGA服务器就重点支持了天猫双11晚会直播的实时视频转码，服务了4k、1080p、720p等各个分辨率的转码。

业内规模最大的单业务FPGA计算集群，为淘宝提供超过数百万QPS的图片转码处理能力。FPGA云服务器今年首次100%承担双十一淘宝图片流量，预计节省计算成本数亿元。

……

云异构计算的下一步

回顾国内云异构计算产品的发展历程，阿里云无疑是最早布局的云服务商。

据阿里巴巴集团研究员、阿里云弹性计算负责人张献涛介绍，阿里巴巴内部有丰富的业务，这些内部业务为阿里云的技术输出提供了最直观的行业洞察。而反过来，阿里云的技术积累又反哺了集团业务。

这就形成了一个良性的闭环，使得阿里云能够坚定地在云计算业务上进行前瞻性的布局。

那么，在第三阶段之后，云异构计算将向何处去，阿里云又是如何判断的呢？

阿里云异构计算产品负责人潘岳谈到，从产品的角度而言，未来云异构计算的发展，一定是一个生态化的过程。

一方面，是阿里云这样的底层基础设施，被行业ISV（独立软件开发商）、解决方案公司集成，赋能AI等领域的创新实践。

另一方面，是与英伟达这样的加速器厂商加强合作，进一步丰富加速器的硬件生态。

而站在技术角度，阿里云异构计算研发总监龙欣表示，接下来，单一加速器将不再能满足AI、视频编解码等诸多领域的业务需求，加速器硬件融合的趋势已经显现。

未来，异构计算在技术上有可能出现这样一次新的变革：通过软件池化解耦和硬件池化解耦，把多种加速器融合在一起，去满足AI等行业中业务落地阶段更广泛的加速需求。

这也将是阿里云下一阶段的重点探索方向。

并且，随着5G的布局，随着视频等可视化计算需求的增长，云异构计算不仅仅是在AI领域，也将在视频、云游戏等更多行业中扮演更加重要的角色。
编辑：hfy