谷歌发布ASPIRE训练框架，提升AI选择性预测能力

近期，谷歌公布新版ASPIRE训练架构，该架构主要用于改进大型语言模型的选择性预测情况。谷歌表示，尽管大语言模型在自然语言理解与生成领域发展迅速，应用广泛，然而在涉及到高风险决策时，其预测能力仍待加强。为此，谷歌推出ASPIRE训练框架，通过向模型引入“可信度”机制，提升预测准确率。

该框架分为三步骤：“特定任务调整”、“答案采样”以及“自我评估学习”。首先，“特定任务调整”阶段针对基本训练的大型语言模型进一步深化训练，重点提高预测能力。其次，“答案采样”阶段模型会根据调整的参数，生成多个答案，同时建立自我评估学习数据集，产生较高信度的选项。最后，“自我评估学习”阶段则设定参数以提升机模自我评估能力，使之能检测答案准确性，以便在回答问题时附加可信度评分。

据悉该架构取得显著成效。在CoQA、TriviaQA和SQuAD三个问答数据集测试中，经由ASPIRE调整的OPT-2.7B小模型表现全面优于更大规模的OPT-30B模型。此成果证实，经适配调整，小型语言模型亦有潜力超越大型语言模型。

研究人员总结指出，ASPIRE训练框架有效改善了大型语言模型的输出精度，使小型模型经微调后可以实现“恰当且自信”的预测。