微软将采用FPGA来加速处理实时数据

微软正使用英特尔的最新14nm Stratix 10和其他FPGA技术努力做到这一点。该公司已经启动了Brainwave项目，这是一个“实时AI”功能，可以在Azure公有云基础设施上使用。它的设计目的是处理实时数据流，例如视频、传感器或搜索查询，并快速将数据发回给用户。

微软报告说，Stratix 10显示了39.5万亿次浮点运算的持续性能(使用微软的自定义8位浮点格式，ms-fp8)，每个请求在1毫秒内运行。“在这样的性能水平上，Brainwave架构在每一个周期中持续执行超过130,000个计算操作，这是由每10个周期所发出的一个宏指令驱动的。”

微软是第一个在公共云基础设施中部署FPGA的主要云服务提供商。根据英特尔公司的说法，英特尔公司在技术上的进步使深度神经网络(DNN)得到了加速，能够以一种概念上类似于人类大脑的方式来复制‘思维’。

英特尔(Intel)和微软(Microsoft)对比了“Stratix 10”的功能和“当今许多硅AI加速器”的功能，要求将多个请求组合在一起(称为“批处理”)，以实现高性能。他们说，在一个单一的请求上，“Stratix 10”展示了超过39万亿次的持续性能，“一个新的云性能，实时人工智能计算，低延迟记录，性能记录和对人工智能请求的批处理。”

“我们利用英特尔FPGA的灵活性，快速整合创新，同时提供比许多基于ASIC的深度学习处理单元的性能，或者更大的性能，”微软研究院NExT的杰出工程师Doug Burger说。

首先，它利用了微软在过去几年中部署的大规模FPGA基础设施。“通过将高性能的FPGA直接连接到我们的数据中心网络，我们可以将DNN作为硬件微服务，DNN可以被映射到一个远程FPGA池，并被一个没有软件的服务器调用。”Burger说。这种架构降低了延迟，因为CPU不需要处理传入的请求，而且允许高吞吐量。

其次，Brainwave项目使用了一个“软”DNN处理单元(或DPU)，以FPGA为基础，“提供了一个跨多个数据类型的设计，所需的数据类型是一个合成时间的决定。”该设计将ASIC数字信号处理模块与FPGA和合成逻辑结合在一起，提供了一个更大、更优化的功能单元数量。

Burger说，这种方法“可以很快将研究创新融入硬件平台(通常是几周)，这在这个快速发展的领域中是必不可少的。”因此，除了提供我们所承诺的性能外，我们也取得了与这些硬编码的DPU芯片相当或更强的性能。