华为技术有限公司宣布旗下 ModelEngine AI 平台全面支持 DeepSeek 大模型 R1&V3 和蒸馏系列模型的本地部署与优化,在 AI 领域引发广泛关注。
华为 ModelEngine 是大模型训练、推理和应用开发的 AI 平台,提供从数据预处理到模型训练、优化及部署的一站式服务。此次基于昇腾 AI 芯片,ModelEngine 通过推理框架优化和 MoE 存算协同,提供动态换入换出和全局统一缓存,实现推理高并发和低时延,让用户能更好地体验 DeepSeek 的推理能力。
对于开发者而言,这一支持意义重大。ModelEngine 全面兼容 DeepSeek 系列模型 R1&V3 671B 以及蒸馏系列模型,开发者借助它可实现 “一键部署”,免去硬件选型、兼容性验证和环境配置等繁琐流程,极大降低企业 AI 应用门槛。并且,ModelEngine 高度的开放性和模块化设计,大幅缩短了 DeepSeek 的本地部署时间。
在实际操作上,以 DeepSeek-R1 为例,开发者登录 ModelEngine 模型管理页面,上传 DeepSeek-R1 FP8 权重并进行格式转换,在模型服务页面选择 BF16 精度的模型权重版本下发推理服务、启动任务部署,随后 ModelEngine 使用 MindIE 推理框架启动 DeepSeek-R1 推理服务,支持 OpenAI API 调用风格的推理服务接口和访问方式,用户便可将该 API 集成到对话、RAG 以及 Agent 应用中。
不仅如此,ModelEngine 还提供负载均衡、模型安全接入、多用户配额管理等高阶特性,支持大规模生产环境下的稳定运行。某证券公司引入 DCS AI 全栈解决方案后,运维成本降低 42%,便是有力证明。
-
华为
+关注
关注
218文章
35800浏览量
260757 -
AI
+关注
关注
89文章
38153浏览量
296814 -
DeepSeek
+关注
关注
2文章
824浏览量
2822
发布评论请先 登录
诚迈信创电脑实现本地部署DeepSeek,开启智慧办公新体验
依托raksmart服务器在多种系统上本地部署deepseek注意事项
添越智创基于 RK3588 开发板部署测试 DeepSeek 模型全攻略
曙光云全系列产品支持DeepSeek
曙光云全面支持DeepSeek大模型
讯飞开放平台支持DeepSeek
诚迈信创电脑实现DeepSeek平台本地部署
飞腾CPU成功支持DeepSeek全系列大模型
诚迈信创电脑实现本地部署DeepSeek,开启智慧办公新体验
华为ModelEngine助力DeepSeek全系列本地部署
华为ModelEngine AI平台全面支持DeepSeek

华为ModelEngine AI平台全面支持DeepSeek全系列本地部署
评论