在AI基础设施中部署大语言模型的三大举措

文：Gartner研究副总裁周玲

---

中国企业机构已逐步在生产环境中运行或者计划运行大语言模型，但在AI基础设施的生产部署与高效运营方面仍面临诸多挑战。目前，中国正加速提升其生成式AI能力，覆盖大语言模型、软件开发、生态集成与硬件革新。随着DeepSeek、通义千问（Qwen）等高性价比模型日益普及和本地部署的深入推进，越来越多的中国企业将重心放在数据隐私、数据主权、安全性、可扩展性和低延迟等核心需求上。2025年Gartner首席信息官（CIO）和技术高管调研显示，2025年中国企业计划大幅增加在生成式AI和AI领域的技术投资，其平均增幅分别达到40.3%和33.3%（见图1），这一数据表明，相关技术将在短期内得到广泛采用。

Gartner预测，到2028年，中国70%的大型企业将为大语言模型在AI基础设施上的部署建立完善的治理框架，而2025年这一比例不足10%。

然而，要成功实现大语言模型在AI基础设施中的生产部署并非易事，需要制定复杂的技术、运维和治理战略，以确保模型达到性能指标（例如GPU算力利用率），同时保障数据安全与合规。

中国企业与全球企业的一个关键区别在于，其更倾向于在本地AI基础设施环境中部署大语言模型，这对I&O团队提出了更高要求，需要他们对重要AI基础设施技术栈有更深入的理解。AI基础设施是指AI应用构建、测试、训练与部署所需的最新、最先进的硬软件技术栈。

为了在新的AI基础设施上成功实现大语言模型的生产部署，企业应从以下三个方面着手：构建全面的生产发布策略；制定健全的治理框架；并加强与法律、安全、AI、数据团队及生态伙伴的紧密协作。这些举措为大语言模型在生产环境中的高效运行提供了坚实的保障。

---

构建全面的部署战略

随着企业开始在AI基础设施上部署大语言模型，I&O领导者所面临的压力日益增大，需要帮助AI开发人员和工程师在全企业范围内以更快的速度、更大的规模来推进AI项目的开发和部署。与此同时，针对不同用户和应用场景不断涌现的各种AI工具和服务，显著增加了评估与选择的难度和复杂性。此外，传统的生产发布策略与流程已无法有效支持大语言模型在AI基础设施中的生产部署需求。因此，I&O领导者亟需制定完善的生产发布战略，以保障部署工作的顺利进行。

然而，要为大语言模型在AI基础设施上的部署构建一套稳健的战略，就需要从整体视角出发，包括适配AI基础设施环境、为特定场景设计架构、实施技术优化以及确保符合监管框架要求。

中国的I&O领导者应：

使部署策略与企业数字化转型战略保持一致

按照使用场景构建多层次部署架构以优化性能

优化模型与推理以提升效率

使用云原生技术实现灵活调度

加强合规并强化安全管理

建立全链路监控与成本控制机制

---

制定稳健的部署治理流程

大语言模型已经从研究原型转变为多种任务的关键核心组件，包括客户支持AI智能体、法律文档摘要、代码生成或测试工具、企业级代理型AI用例以及多模态应用等领域。然而，大语言模型在AI基础设施中的生产部署需要解决如下几个固有挑战：

资源密集

非确定性行为与提示敏感

延迟与吞吐限制

安全与隐私

因此，为了成功将大语言模型部署到AI基础设施的生产环境中，中国的I&O部门必须建立一套稳健的治理流程，采取切实可行的步骤促进资源管理、持续监控以及敏捷更新。比如：

提前规划并进行试点

确定产品部署位置

建立高效的资源管理

在大语言模型生产发布流程中嵌入安全治理与提示治理

管理版本并执行A/B测试

采用持续集成/持续交付流程

实施生产监控

---

促进关键利益相关方之间的紧密协作

部署大语言模型十分复杂，要求业务、法务、安全以及AI与数据团队以协同一致的方式共同工作。过去各自独立的部门如今必须从大语言模型项目的启动阶段就开展合作，以确保技术开发能够反映法律和安全方面的考量。建立跨职能的AI治理委员会至关重要，成员应包括法务、安全、数据工程与数据科学、产品管理、软件开发以及高管层的代表。

文章来源：Gartner