软通动力大模型一体机亮相2024昇思人工智能框架峰会

人工智能框架作为软件根技术，已成为加速人工智能大模型开发、推动产业智能化发展的核心力量。以“为智而昇，思创之源”为主题的昇思人工智能框架峰会2024在北京国家会议中心举办，旨在汇聚AI产业界创新力量，推动根技术持续创新，共建人工智能开源新生态。软通动力作为联合承办方深度参与该峰会。

大会期间，昇思MindSpore开源社区理事会第三次闭门会议召开，软通动力高级副总裁、数字基础设施与集成总经理谢睿作为理事会成员代表出席，与行业伙伴共探MindSpore未来发展趋势。

会上，软通动力数字基础设施与集成技术总监单继岭发表了题为“软通动力训推一体化平台加速企业智能化升级”的主题演讲，旨通过一体机形式帮助客户实现大模型场景推理“最后一公里”。

此外，昇思人工智能框架峰会2024的举办为业界提供了一个交流合作的平台。大会期间，软通动力在峰会展区亮相了“AI训推一体化平台”和“天璇2.0MaaS平台，与众多伙伴进行了互动与合作。

软通动力AI训推一体化平台，打通AI应用最后一公里

人工智能作为引领未来的战略性技术，正在深刻推动着人类社会和产业变革；人工智能框架作为软件根技术，在AI技术的迭代中扮演着重要角色。在此背景下，软通动力推出AI训推一体化平台，该平台集成了昇腾AI基础硬件平台、天鹤OS操作系统等组件，并搭载天璇2.0 MaaS平台，支持一站式AI开发，叠加行业AI大模型，深度适配企业不同AI应用场景。软通AI训推一体化平台支持昇思MindSpore 全场景AI框架，具备用户态易用、运行态高效、部署态灵活的特点，可以为用户提供设计友好、运行高效的开发体验。目前，软通AI训推一体化平台已覆盖央国企、科技机构、教育实训、金融等打造多个offering服务不同客户。

当前，大模型在各行各业的规模化应用落地面临精准度不够、与业务系统联动不足、数据安全担忧、算力成本居高不下等问题，为提升大模型在实际业务中的有效应用，软通动力联合百川智能推出“软通-百川AI大模型一体机”。软通动力副总裁、数字基础设施与集成副总经理刘雅、数字基础设施与集成技术总监单继岭；百川智能政企事业群产研总经理李剑、政企事业群一体机负责人谢楠共同出席发布仪式。

作为自主创新的软硬一体解决方案，该一体机基于昇腾AI基础硬件平台，预装百川大模型能力，支持多轮对话、报告生成、内容生成、代码生成、知识检索、文本分类、API平台、企业知识库等多样化功能，在许多复杂的客户业务场景中，助力用户实现大模型场景推理的“最后一公里”。

同方AI算力底座

软通-百川大模型一体机基于昇腾AI硬件底座，具备高能效、高算力、高可靠、易管理、易扩展等优点，可按需选择两款硬件产品：超强K620和超强A800I A2，整合天鹤OS操作系统，广泛应用于AI算法开发和AI推理服务的场景。核心优势如下：

超强算力：

性能领先，加速AI推理效率，单台推理服务器可达2.2 PFLOPS AI算力；

超高能效：

内置高算力AI芯片、高性能算子库，支持多卡高速互联、分布式存储；

平滑扩展：

根据业务需要可以随时扩展存储、算力、服务器；

安全启动：

一体机内网部署，数据不出机房，数据安全可靠，构建可信的起点。

百川基座大模型

软通-百川大模型一体机基于全场景昇思MindSpore AI开发框架，预装百川大模型、软通天璇MaaS平台，助力企业快速开展业务大模型场景推理，根据推理结果实现微调，提高模型预测的准确率;解决企业大模型快速部署上线、算力成本居高不下、数据安全担忧等问题。

丰富的基座大模型：

内置了Baichuan2 3B、7B、13B、33B大模型参数，且支持192K长窗口，单次可输入超35万字,极致的Transformer计算工程优化;

搜索增强+知识库：

基于搜索增强的企业知识库与实时信息获取,业界领先的Embedding model，稀疏检索+向量检索实现的多路召回能力,融合互联网在线搜索和信息整合能力；

全生命周期服务：

安装部署、模型部署、推理服务等全生命周期，提供优质高效技术服务。

随着人工智能技术的不断发展和普及，大模型一体机将在更多领域得到应用和推广。未来，软通动力将联合华为、百川智能等伙伴继续发挥优势，不断创新突破，为人工智能技术的发展和产业的繁荣做出更大的贡献。

审核编辑：刘清