OpenAI发布一款令人印象深刻的语言模型GPT-2

几十年来，机器一直在努力学习人类语言的微妙之处，深度学习的出现加速了这一进程。

今年2月，OpenAI发布了一款令人印象深刻的语言模型GPT-2，它可以写短篇小说、诗歌，甚至轻松辨别《哈利波特》和《指环王》中的角色。最近，一位加拿大工程师用它创建了一个向公众开放的文本生成器，只需提供一个句子，机器便能自动生成一则完整的新闻、故事、歌词、诗歌、食谱和代码等文本。

我们用吴亦凡在综艺节目《七十二层奇楼》中的一段freestyle（即兴说唱）——“你看这个面它又长又宽，就像这个碗它又大又圆”进行了创作。一起来看看人工智能的freestyle水平吧。

芒果TV综艺《七十二层奇楼》

人工智能版《大碗宽面》

这个名为talktotransformer的文本生成器由加拿大工程师亚当·金（Adam King）创建，它脱胎于OpenAI的大规模无监督语言模型GPT-2。talktotransformer使用的是GPT-2的精简版本，这个版本过去只开放给特定的科学家和记者。

在talktotransformer中输入文本“你看这个面它又长又宽，就像这个碗它又大又圆”后，人工智能创作出的歌词大意为：

你看这个面它又长又宽，

就像这个碗它又大又圆。

只需尝一口，你就知道是面条。

我的脸上，露出怀疑的表情。

这是真的，我的碗它变成了面条。

这简直太棒了。

当我回到家，我得到一些鸡翅。

我怎么会变得这么好？谁知道呢？

我从朋友和家人那里得到足够的爱，

我的味蕾开始变大。

当我要吃饭的时候，

它不再只是食物，它是我的想法。

我想要吃好喝好的生活。

talktotransformer模型的输出结果

通过阅读上述由人工智能模型输出的文字，我们很容易发现，机器输出了一些看似语义完整的句子，但其中的意思却让人摸不着头脑。这就是自然语言处理（NLP）的难题——由于缺乏常识，机器并不真正理解语言的含义。

就如2018年图灵奖获得者约书亚·本吉奥（Yoshua Bengio）在接受澎湃新闻（www.thepaper.cn）采访时所言，目前的自然语言系统其实并不理解句子的真正含义，机器“会犯一些非常愚蠢的错误，甚至没有两岁小孩的理解能力”。

talktotransformer.com页面

文思泉涌的OpenAI GPT-2语言模型

2019年2月，OpenAI发布了拥有15亿参数的大规模无监督语言模型GPT-2，它擅长处理语言建模和文本预测任务，还具备阅读理解、总结、翻译等能力。只要给出一个开头的句子，GPT-2就能生成一篇小文章、一则新闻故事，甚至在文本中使用引语和统计数据。如果给出的句子是一个短篇小说的开头，它会告诉你接下来在这些角色身上会发生什么事。

OpenAI加利福尼亚州实验室工程副总裁David Luan对美国科技媒体《边缘》（THE VERGE）表示，GPT-2能写出“非常合理的”、“称职的”论文，“是可以提交给美国大学入学资格考试（SAT）并取得好成绩的东西”。

GPT-2在人工智能社区引起了不小的关注，但OpenAI当时并没有开源这个系统。一方面，研究人员对该算法能做什么、不能做什么尚不明确；另一方面，他们担心这项技术被滥用——开源之后，如果有人向GPT-2提供种族主义、暴力、歧视女性或者辱骂性的文本，GPT-2将自动学习并持续地输入类似的内容。

不开源的决定引发了人工智能社区的不满，毕竟，开源是人工智能领域的优良传统。也许是反对的声音太大，OpenAI在5月初表示将逐步公开GPT-2，并开源了345M的预训练模型。后续，OpenAI将分析该语言模型对社会的影响。