中国电信开源千亿级参数大模型，助推AI产业优质发展

近日，中国电信宣布开源其星辰语义大模型TeleChat-12B的最新版本。此外，预计今年内，中国电信还将推出千亿级参数大模型。

据报道，与之前1月份发布的7B版相比，12B版本在多个维度上有显著改进，例如数据容量提升3倍，性能提高30％，在处理安全问题等技术领域更是超过了40%。这一新进步使其在在C-eval、MMLU、AGIEVAL等国际知名排行榜中位列国内同等参数水平开源模型之首。这无疑将有助于推动大模型开源生态的繁荣，并助力人工智能行业实现更高质量的发展。

TeleChat-12B在数据处理方面进行了深度优化，包括扩大训练数据至3T，改善数据清洗和标注策略，构建专项任务SFT（监督微调）数据，优化数据构建规范，从而大幅提升数据质量。此外，该模型还利用电信星辰大模型用户的真实反馈数据，对奖励模型和强化学习模型进行了优化，以提升模型的问答效果。

本次开源提供了基础模型及其对应的对话模型，不仅支持传统的全量参数更新，也支持LoRA等仅需更新部分参数的高效微调方式，以及Deepspeed微调、int8、int4量化和国产芯片训练推理等功能，推动了大模型的国产化进程。

值得注意的是，星辰大模型已经在各行各业得到广泛应用，为企业的数字化转型提供了强大动力。例如，客服大模型已在全国范围内的18个服务场景中投入使用，全面赋能智慧客服和数字人，进一步深化了智能化运营。