Graphcore宣布IPU在Azure上开放

致力于开发AI工作负载加速器的英国公司Graphcore今天上午宣布了一个里程碑： 其智能处理单元（IPU）已在Azure上启动。 这标志着微软等大型云供应商首次公开提供对Graphcore芯片的支持。

Graphcore说，Azure上的IPU向客户开放，优先授权那些“专注于［自然语言处理］的边界”和“在机器智能方面取得新突破”的用户。

资料显示，Graphcore（由Simon Knowles和Nigel Toon于2016年创立）迄今已从Robert Bosch Venture Capital，三星，Amadeus Capital Partners，C4 Ventures，Draper Esprit，Foundation Capital，Pitango Capital和人工智能使ARM联合创始人Hermann Hauser和DeepMind联合创始人Demis Hassabis处获得了投资，公司的估值也达到15亿美元。 他们的第一个商业产品是16纳米PCI Express卡（C2），该卡将于2018年面世，而该软件包也同样将在Azure上发布。

“微软与Graphcore紧密合作了两年多。 在此期间，由杰出工程师Marc Tremblay领导的Microsoft团队一直在开发Azure的系统，并一直在IPU上增强高级机器视觉和自然语言处理模型，” Toon说。 “一段时间以来，我们一直在与许多领先的抢先体验客户和合作伙伴进行广泛合作，以确保［这些产品］可以面向公众发布。 ”

C2具有两个互连的Colossus IPU，每个都包含16个内核和236亿个晶体管。 单个芯片的1，216个IPU可以与每个300核内存配对，， 可达到每个内核100 GFLOPS（其中一个GFLOP等于每秒十亿个浮点运算）的运算能力，并可以运行多达10，000个程序。 其中，每芯片的内存带宽为45TB / s，这就使得使C2的全卡带宽为90TB / s 。 Graphcore声称，理论上的最大数据量比HBM2图形芯片的100倍。

C2旨在与Graphcore定制的Poplar（一种用于AI和机器学习的图形工具链）配合使用。 它与Google的TensoRFlow框架和Open Neural Network Exchange（可互换AI模型的生态系统）集成在一起。 据预计，到2019年第四季，他们将实现与Facebook PyTorch的初步兼容性，而全部的功能支持将在2020年初到来。

为了证明IPU的效率，Graphcore说它和Microsoft开发人员通过Google的Transformers双向编码器表示（BERT）语言模型实现了最先进的性能和准确性，该语言模型通过预先训练句子之间的关系来学习句子之间的关系。 他们用一台装有八张C2卡的IPU服务器在56小时内训练了一个BERT变种（BERT Base），他们声称客户的推理吞吐量平均提高了3倍，延迟提高了20％以上。

微软技术研究员道格·伯格（Doug Burger）说： “自然语言处理模型对Microsoft极为重要。 在Azure上运行我们内部的AI工作负载和同时为AI客户服务。 ” “我们对与Graphcore处理器上的新合作将为我们的客户带来的巨大潜力性感到非常兴奋。 Graphcore产品扩展了Azure的功能，我们在此所做的努力是确保Azure仍然是AI最佳云的策略的一部分。 ”

在等式的图像识别方面，Graphcore表示，欧洲搜索引擎Qwant设法在IPU上运行Facebook的模块化ResNext架构而获得了收益。 正如Graphcore解释的那样，ResNext包含重复的块，这些块汇总了IPU“有效”支持的转换集。 Qwant和Graphcore报告说，对于组卷积（即信号和图像处理中的互相关联），图像搜索的性能提高了3.5倍，吞吐速度提高了77倍。

“我们现在非常高兴能够将Graphcore技术商业化地提供给更多的客户，” Toon补充说。 “我们期待支持创新者实现IPU机器智能的下一个重大突破。 ”

Graphcore芯片在Azure上的发布是在Untether AI成立一周后进行的。 UntetherAI是一家多伦多创业公司，该公司正在开发用于AI推理工作负载的高效芯片。 他们获得了2000万美元的风险投资。 而总部位于加利福尼亚州的Mythic亦筹集了8，520万美元用于开发自定义内存结构，他们预计到2025年将达到911.8亿美元的市场中。 换而言之，Graphcore不乏毗邻的竞争对手。

总部位于旧金山的初创公司AI Storm今年早些时候为其AI边缘计算芯片系列完成了1320万美元的融资，总部位于山景城的Flex Logix于4月推出了推理协处理器，该处理器声称其吞吐量可达到现有芯片的10倍。 另一个竞争对手Xnor.ai最近推出了一款始终在线的太阳能供电设备，该设备能够加速最新的机器学习算法。 去年11月，世界语科技公司（Esperanto Technologies）为其7纳米AI芯片技术筹集了5800万美元。

Graphcore今天还宣布，其IPU已与Dell服务器机架技术集成在一起，这意味着企业客户将能够在自己的场所构建机器智能计算。 更多细节将在下周在丹佛举行的超级计算会议上宣布。