微软为OpenAI打造了世界一流的超级计算机

去年，微软宣布向OpenAI投资10亿美元，该组织的使命是创造人工智能，并使其对人类安全。这里没有终结者般的反乌托邦。没有让人类变成回形针的混乱机器。仅有具有一般智能的计算机才能帮助我们解决最大的问题。

一年过去了，我们取得了这种伙伴关系的第一个成果。在今年的Build 2020开发者大会上，微软展示了微软的最新和最伟大的产品。该公司表示，他们已经完成了专门用于OpenAI机器学习研究的超级计算机。但这不是普通的超级计算机。这是一台机器的野兽。该公司表示，每个GPU服务器具有285，000个CPU内核，10，000个GPU和每秒400吉比特的网络连接。

微软表示，与全球最快的超级计算机相比，它排名第五。

该公司未发布性能数据，该计算机也未公开进行基准测试，也未列入被广泛关注的Top500超级计算机列表。但是即使没有官方排名，也可以肯定地说它是世界一流的机器。

“随着我们越来越了解我们需要什么以及组成超级计算机的所有组件的不同限制，我们真的可以说，‘如果我们可以设计我们的梦想系统，它会是什么样？” ” OpenAI首席执行官Sam Altman说。“然后，Microsoft得以构建它。”

OpenAI将如何使用此梦想机？该公司正在构建更大的狭窄AI算法-我们离AGI还很遥远-他们需要大量的计算能力才能做到这一点。

对超大型AI模型的追求

最先进的AI模型（即机器学习算法中的神经网络）的规模一直在快速增长。同时，根据OpenAI，训练这些模型所需的计算能力每3.4个月翻一番。

模型越大，您需要训练它的计算机越大。

这种增长部分归因于每个模型中使用的参数数量。简而言之，这些是对神经网络中的数据进行操作而得出的“神经元”值。OpenAI的GPT-2算法从提示中生成令人信服的文本，包含近15亿个参数。微软的自然语言生成AI模型Turing NLG的大小超过10倍，具有170亿个参数。现在，据报道，周四刚刚宣布的OpenAI的GPT-3由惊人的1750亿个参数组成。

还有另一个趋势在发挥作用。

尽管许多机器学习算法都是在人类标记的数据集上进行训练的，但是Microsoft，OpenAI和其他公司也正在追求“无监督”的机器学习。这意味着，有了足够的原始，未标记的数据，算法就会通过识别数据中的模式来进行自我学习。

某些最新系统还可以在给定域中执行多个任务。在数十亿个互联网页面的原始文本（从Wikipedia条目到自行出版的书）上训练的算法，可以推断单词，概念和上下文之间的关系。它不仅可以像生成文本那样仅做一件事，还可以将其学习转移到同一领域的多个相关任务中，例如阅读文档和回答问题。

图灵NLG和GPT-3算法属于此类。

微软首席技术官凯文·斯科特（Kevin Scott）说：“这些模型令人兴奋的是它们将实现的功能广泛。“这是关于能够一次在自然语言处理中完成一百项令人兴奋的事情，以及在计算机视觉中完成一百项令人兴奋的事情，当您开始看到这些感知领域的组合时，您将拥有很难的新应用程序甚至现在就可以想象。”