昆仑芯重磅打造xHuggingface开源推理套件

新一轮人工智能热潮下，国内大模型群雄逐鹿，目前已有超过80个大模型公开测试。而相关数据显示，ChatGPT自发布以来，全球访问量环比增幅持续下降，6月首次出现环比下滑9.7%。泡沫退去，如何在大模型时代保持市场竞争力？

针对大模型场景，昆仑芯早已在产品定义上作出布局，相较第一代产品，昆仑芯2代AI芯片可大幅优化算力、互联和高性能，而在研的下一代产品则将提供更佳的性能体验。

在近日落幕的XceedCon2023人工智能芯片生态大会上，昆仑芯大模型端到端解决方案正式发布，该解决方案随即入选2023世界人工智能大会卓越人工智能引领者奖（Super AI Leader，简称SAIL奖）TOP30榜单。

昆仑芯副总裁王勇、昆仑芯互联网行业总经理王志鹏先后在XceedCon2023人工智能芯片生态大会、2023世界人工智能大会对昆仑芯大模型端到端解决方案进行发布与推介。本篇以下内容整理自现场实录。

软硬协同、技术创新

打造高性能产品矩阵

集十余年AI加速领域研发积累，昆仑芯核心团队于2017年在Hot Chips上发布自研、面向通用人工智能计算的芯片核心架构——昆仑芯XPU。目前，已有两代昆仑芯AI芯片基于该架构实现量产和规模部署。

昆仑芯XPU专为密集型计算而设计，相比GPU可提供更多AI加速单元，同时支持C/C++、类CUDA语法编程，兼具高性能和可编程性，适配几乎所有主流AI场景，满足不同行业的大模型训推需求。

大模型的演进必将伴随参数量的增加，更加依赖于分布式训练与推理能力。昆仑芯2代系列产品搭载新一代核心架构XPU-R，性能相较一代提升2-3倍，在分布式场景中优势明显。

01.

大显存

昆仑芯2代产品拥有32GB显存容量，在同价位产品中内存优势突出。

02.

高互联

昆仑芯通过领先技术，可实现单机八卡高速互联，带宽达到200GB/s；支持Direct RDMA，可实现跨机间低延时、高速通讯。

昆仑芯推出针对不同参数级别的大模型产品矩阵，兼具显存和算力成本优势。

昆仑芯AI加速卡R200-8F面向百亿以内参数量级，相比同类型产品性能提升20%；

昆仑芯AI加速器组R480-X8面向百亿至千亿参数量级，性能达到同类型产品的1.3倍以上；

昆仑芯AI加速器组R480-X8集群针对千亿以上参数量级，可实现多机多卡分布式推理。

昆仑芯大模型解决方案软件栈

软件生态层面，昆仑芯提供了针对大模型场景的专用加速库、丰富的云原生插件，支持文心一言、LLaMA、Bloom、ChatGLM、GPT等行业主流大模型。

昆仑芯XFT（XPU Fast Transformer）推理加速库，较原生框架小算子版本性能提升5倍以上。目前，XFT加速库已与百度飞桨、PyTorch等主流深度学习框架完成适配；

昆仑芯云原生插件可帮助用户快速完成和大模型平台的适配；同时提供昆仑芯SDK，帮助用户快速完成适配和实时自定义开发。

昆仑芯xHuggingface开源推理套件

此外，昆仑芯全面拥抱开源社区，积极携手生态伙伴构建软硬一体的AI芯片生态。

昆仑芯打造了xHuggingface开源推理套件，仅修改1-2行代码，即可快速搭建基于XPU的智能客服APP。同时，昆仑芯与飞桨PaddlePaddle的AI Studio社区紧密合作，基于xHuggingface开源推理套件向广大开发者提供更快、更强、更省的算力产品；

昆仑芯与飞桨深入协同适配行业主流大模型，可支持超大规模分布式训练与推理。针对稠密大模型，昆仑芯支持飞桨的Sharding并行、数据并行、模型并行、流水线并行四种并行方式；针对稀疏大模型，昆仑芯与飞桨共同打造大规模参数服务器架构，实现了万亿参数的大模型训练。

深入场景、真实历练

打磨端到端解决方案

昆仑芯深入了解不同应用场景下客户的真实需求，凭借软硬协同技术与高性能产品矩阵，为千行百业提供开箱即用的产品和全栈式AI服务。

大语言模型场景

昆仑芯推理加速方案

目前，昆仑芯已与业界主流开源大模型完成适配，向客户开放开源软件库，供客户进行二次修改、微调，满足不同推理场景下的个性化定制需求。

GPT百亿参数大模型场景：昆仑芯产品的QPS相比主流165W产品提高30%以上，同时首字时延更低。

文心一格：目前已大规模应用昆仑芯产品，成本降低的同时，可实现2秒快速出图。

昆仑芯训练产品总览

针对大语言模型训练场景，昆仑芯也可提供一整套精调的训练策略。目前，昆仑芯已适配pretrain、post-pretrain、SFT、LoRA等模型，可根据客户的数据量与计算资源情况，灵活推荐不同的训练模式。

能源行业：昆仑芯解决方案通过SFT训练模式，客户仅使用少量数据即可2天打造专属行业大模型。

智源研究院：昆仑芯和智源研究院在大模型方面已有深入合作。昆仑芯已完成和Aquila大语言模型推理任务的适配、精度调试和性能优化，并实现大规模分布式推理上线，训练任务适配优化中；同时也适配了智源eva视觉大模型，初步验证了大规模分布式预训练能力。

稀疏大模型推荐场景

稀疏大模型存在训练门槛高、算力消耗大等技术挑战。对于算法和模型持续高频迭代的推荐场景，昆仑芯始终将“安全可信”、“从GPU零成本无缝迁移”作为目标，实现训练与推理系统的紧密耦合，为客户降本增效。目前，昆仑芯已与互联网头部客户完成了训练场景的端到端联合开发，并在TB级以上稀疏大模型上完成了“替换主流GPU的全量上线”。

大模型的持续迭代加速了我国AI技术及AI产业的演进，利好政策的相继出台同时开启了我国大模型商用浪潮。面向未来，昆仑芯将始终坚持软硬协同创新，夯实AI领域综合优势，加速大模型产业落地，勇立大模型时代潮头。

责任编辑：彭菁