GPT-4即将实现重大突破 如何打破10000倍规模瓶颈

近日，OpenAI的科学家Hyung Won Chung在首尔国立大学的演讲中表示，GPT-4即将实现重大突破，并在性能上有显著跳跃。

他指出，新一代的大型语言模型正处于重大的变革之前，社会需要尽快改变对人工智能的看法。尽管目前市场上的大型模型可能在某些方面表现不佳，但随着模型规模的扩大，许多原有的结论可能会被推翻。

目前，大型模型由于输入和输出的限制存在一些问题，一些人对大型模型的发展表达了一些担忧。他们担心大型模型可能会导致信息滥用和误导，特别是在虚假新闻和深度伪造方面。然而，根据Chung的演讲，新一代的GPT可能具备快速自我纠正的能力，可以有效解决这些问题。

Hyung Won Chung表示，他在实验过程中会记录失败的情况。每当有新模型出现时，他会再次运行实验，查看哪些是成功的，哪些是失败的，并不断更新和纠正自己的认知和理解，以适应技术的快速发展。

目前，GPT-3和GPT-4之间仍存在显著差距，试图填补当前模型与GPT-4之间的差距可能是不切实际的。

总的来说，Hyung Won Chung认为，最大似然估计的目标函数是达到GPT-4 10000倍规模的瓶颈。使用更多表达能力的神经网络来学习目标函数将成为下一个更可扩展的范式。随着计算成本的指数级下降，可扩展的方法最终将取得成功。

编辑：黄飞