腾讯公布大语言模型训练新专利

近日，腾讯科技(深圳)有限公司公布了一项名为“大语言模型的训练方法、装置、计算机设备及存储介质”的新专利。该专利的公布，标志着腾讯在大语言模型训练领域取得了新的突破。

据专利摘要显示，该方法通过在大语言模型的训练过程中引入第一摘要文本和第二摘要文本，为模型提供了更为丰富的学习信息。这两个摘要文本在信息量上存在差异，且第一摘要文本中既包含正确语句也包含错误语句。这一设计使得模型在训练过程中，能够通过对比学习两个不同摘要文本的内容，同时区分并学习第一摘要文本中的正确语句和错误语句。

这一创新性的训练方法，有效避免了由于摘要文本单一而导致的模型过拟合和生成不准确等问题。通过引入更多样化的学习信息，模型能够更好地泛化到新的数据上，从而提高其泛化性能。同时，对正确语句和错误语句的区分学习，也进一步提升了模型的准确性。

腾讯此次公布的新专利，不仅展示了其在人工智能领域的深厚技术积累，也为大语言模型的训练提供了新的思路和方法。