腾讯在大语言模型训练领域取得新突破

近日，腾讯科技(深圳)有限公司在大语言模型训练领域取得了新的技术突破，并成功申请了一项名为“大语言模型的训练方法、装置、计算机设备及存储介质”的专利。

据天眼查App显示，该专利摘要详细介绍了腾讯在大语言模型训练过程中的创新方法。具体而言，腾讯引入了第一摘要文本和第二摘要文本，为模型训练提供了更为丰富的学习信息。这两个摘要文本所包含的信息量不同，且第一摘要文本中既包含正确语句也包含错误语句。

在训练过程中，腾讯通过对比学习同一样本文本的两个不同摘要文本，并区分学习第一摘要文本中的正确语句和错误语句，从而避免了由于摘要文本单一而导致的模型过拟合和生成不准确等问题。这种创新性的训练方法不仅有助于提升模型的泛化性能，还能显著提高模型的准确性。

腾讯的这一新专利无疑为其在大语言模型训练领域树立了新的技术标杆。通过不断优化和升级训练技术，腾讯有望为用户提供更加智能、准确的大语言模型服务。