ChatGPT理论分析及优化讨论

最近ChatGPT火出圈了，它和前阵子的Stable Diffusion（AIGC）一样成为社交媒体上人们津津乐道的话题。“ChatGPT要取代谷歌搜索了？”“ChatGPT要让程 序员失业了吗？”……类似的标题又一次刺激了我们的神经。作为一名码农，我对后一个标题其实是嗤之以鼻的。无论ChatGPT是用了什么样的“魔 法”，仅从目前展现的能力来看，它学会的顶多就是熟练使用编程语言的API，去实现某个函数完成人类给定的特定小任务。在真实的项目场景下，程序员 通常要接过一个含糊不清的需求，梳理其中的每个细节直至形成逻辑闭环，再将其抽象成一个个特定任务并实现功能，现有AI至多能帮上最后一个小阶 段；更别提真正让程序员头大的往往是并发、事务一致性等问题，这些都是现有AI无法解决的。

但是作为一名深度学习爱好者，我对ChatGPT表现出来的能力是惊叹的。无论是OpenAI提供的示例还是社交媒体上的各路花活，都让我更新了以往对AI语 言模型特有的“人工智障”的认识。因此我其实十分好奇，ChatGPT的“魔法”原理是什么？遗憾的是，我在中文互联网上并没有找到对这个工作很好的解 读文字，而直接看论文既费事又不是特别能理解。在一些网上优质解读视频的帮助下，我逐渐理解了所谓的“魔法”究竟是什么，并尝试梳理成如下的文 字。

ChatGPT的“魔法”原理
由于ChatGPT并没有放出论文，我们没法直接了解ChatGPT的设计细节。但它的blog中提到一个相似的工作InstructGPT，两者的区别是ChatGPT在后者的基 础上针对多轮对话的训练任务做了优化，因此我们可以参考后者的论文去理解ChatGPT。

然而，InstructGPT的论文由25页正文和43页附录组成，所以本文并不试图去讲清包括训练策略在内的每个细节。为了保证梳理的完整性，本文将分为上下 两个部分：第一部分参考了Youtube上的 李宏毅 和 陈蕴侬 老师，旨在讲清InstructGPT的改进思路；第二部分参考了B站UP主弗兰克甜，试图转述他对 ChatGPT的深刻理解。