0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

华为ModelEngine AI平台全面支持DeepSeek全系列本地部署

麦辣鸡腿堡 来源:网络整理 2025-02-08 10:57 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

华为技术有限公司宣布旗下 ModelEngine AI 平台全面支持 DeepSeek 大模型 R1&V3 和蒸馏系列模型的本地部署与优化,在 AI 领域引发广泛关注。

华为 ModelEngine 是大模型训练、推理和应用开发的 AI 平台,提供从数据预处理到模型训练、优化及部署的一站式服务。此次基于昇腾 AI 芯片,ModelEngine 通过推理框架优化和 MoE 存算协同,提供动态换入换出和全局统一缓存,实现推理高并发和低时延,让用户能更好地体验 DeepSeek 的推理能力。

对于开发者而言,这一支持意义重大。ModelEngine 全面兼容 DeepSeek 系列模型 R1&V3 671B 以及蒸馏系列模型,开发者借助它可实现 “一键部署”,免去硬件选型、兼容性验证和环境配置等繁琐流程,极大降低企业 AI 应用门槛。并且,ModelEngine 高度的开放性和模块化设计,大幅缩短了 DeepSeek 的本地部署时间。

在实际操作上,以 DeepSeek-R1 为例,开发者登录 ModelEngine 模型管理页面,上传 DeepSeek-R1 FP8 权重并进行格式转换,在模型服务页面选择 BF16 精度的模型权重版本下发推理服务、启动任务部署,随后 ModelEngine 使用 MindIE 推理框架启动 DeepSeek-R1 推理服务,支持 OpenAI API 调用风格的推理服务接口和访问方式,用户便可将该 API 集成到对话、RAG 以及 Agent 应用中。

不仅如此,ModelEngine 还提供负载均衡、模型安全接入、多用户配额管理等高阶特性,支持大规模生产环境下的稳定运行。某证券公司引入 DCS AI 全栈解决方案后,运维成本降低 42%,便是有力证明。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 华为
    +关注

    关注

    218

    文章

    36178

    浏览量

    262664
  • AI
    AI
    +关注

    关注

    91

    文章

    41027

    浏览量

    302555
  • DeepSeek
    +关注

    关注

    2

    文章

    837

    浏览量

    3395
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    技嘉与趋境科技联合部署AMaaS平台 推动本地大模型应用加速落地

    高性能本地AI基础平台。 基于AI TOP ATOM的本地算力优势,技嘉现已与趋境科技联合部署
    的头像 发表于 03-12 15:11 196次阅读
    技嘉与趋境科技联合<b class='flag-5'>部署</b>AMaaS<b class='flag-5'>平台</b> 推动<b class='flag-5'>本地</b>大模型应用加速落地

    本地搭建 Clawdbot + ZeroNews 访问

    ClawdBot 是一个本地部署的开源AI助手,支持平台,可接入多种通讯工具并执行本地操作,强
    的头像 发表于 02-03 17:51 619次阅读
    <b class='flag-5'>本地</b>搭建 Clawdbot + ZeroNews 访问

    如何在ZYNQ本地部署DeepSeek模型

    一个将最小号 DeepSeek 模型部署到 AMD Zynq UltraScale+ MPSoC 处理系统的项目。
    的头像 发表于 12-19 15:43 7807次阅读
    如何在ZYNQ<b class='flag-5'>本地</b><b class='flag-5'>部署</b><b class='flag-5'>DeepSeek</b>模型

    从云端到边缘:联发科MT8371/MT8391平台实现7B大模型本地部署

    的第八代NPU提供高达7/9 TOPS算力,配备16GB大容量LPDDR5高速内存,支持Transformer/CNN硬件加速,支持本地部署7B大语言模型,显著提升生成式
    发表于 12-15 16:32

    中科曙光AI超集群系统和scaleX640超节点等产品全面适配DeepSeek V3.2

    层实现“跨层协同”,曙光AI超集群系统、scaleX640超节点等产品0day完成对DeepSeek新版本的深度适配与调优,支持各行各业客户进行全量落地部署
    的头像 发表于 12-05 14:32 935次阅读

    工业物联网平台适合私有本地部署还是云端部署

    工业物联网平台部署方式需根据企业核心需求选择, 私有本地部署适合数据安全要求极高、需深度定制且具备技术实力的企业;云端部署则更适合追求成本
    的头像 发表于 11-12 11:42 519次阅读
    工业物联网<b class='flag-5'>平台</b>适合私有<b class='flag-5'>本地</b><b class='flag-5'>部署</b>还是云端<b class='flag-5'>部署</b>?

    DeepSeek模型如何在云服务器上部署

    随着大型语言模型(LLM)的应用日益普及,许多开发者和企业希望将像DeepSeek这样的优秀模型部署到自己的云服务器上,以实现私有化、定制化服务并保障数据安全。本文将详细阐述部署DeepSee
    的头像 发表于 10-13 16:52 1132次阅读

    曙光AI超集群系统全面支持DeepSeek-V3.2-Exp

    9月29日,DeepSeek-V3.2-Exp正式发布并开源,引入创新的稀疏Attention架构。基于中国首个AI计算开放架构,芯片层、软件层、模型层实现“跨层协同”,使得曙光AI超集群系统完成对
    的头像 发表于 09-30 16:18 1858次阅读

    本地部署openWebUI + ollama+DeepSeek 打造智能知识库并实现远程访问

    DeepSeek 作为一个开源的大语言模型,我们可以通过 ZeroNews + openWebUI + ollama的方式,轻松的在本地私有化部署 DeepSeek,不受网络攻击影
    的头像 发表于 09-10 16:41 5515次阅读
    <b class='flag-5'>本地</b><b class='flag-5'>部署</b>openWebUI + ollama+<b class='flag-5'>DeepSeek</b> 打造智能知识库并实现远程访问

    信而泰×DeepSeekAI推理引擎驱动网络智能诊断迈向 “自愈”时代

    DeepSeek-R1:强大的AI推理引擎底座DeepSeek是由杭州深度求索人工智能基础技术研究有限公司开发的新一代AI大模型。其核心优势在于强大的推理引擎能力,融合了自然语言处理(
    发表于 07-16 15:29

    RT-Thread BSP全面支持玄铁全系列RISC-V 处理器 | 技术集结

    RT-ThreadBSP全面支持玄铁全系列RISC-V处理器。玄铁系列RISC-V处理器由阿里达摩院研发,涵盖面向MCU的E系列、面向实时应
    的头像 发表于 07-03 18:03 3469次阅读
    RT-Thread BSP<b class='flag-5'>全面</b><b class='flag-5'>支持</b>玄铁<b class='flag-5'>全系列</b>RISC-V 处理器 | 技术集结

    Arm Neoverse N2平台实现DeepSeek-R1满血版部署

    颇具优势。Arm 携手合作伙伴,在 Arm Neoverse N2 平台上使用开源推理框架 llama.cpp 实现 DeepSeek-R1 满血版的部署,目前已可提供线上服务。
    的头像 发表于 07-03 14:37 1420次阅读
    Arm Neoverse N2<b class='flag-5'>平台</b>实现<b class='flag-5'>DeepSeek</b>-R1满血版<b class='flag-5'>部署</b>

    ElfBoard技术实战|ELF 2开发板本地部署DeepSeek大模型的完整指南

    ELF 2开发板本地部署DeepSeek大模型的完整指南
    的头像 发表于 05-16 11:13 2765次阅读
    ElfBoard技术实战|ELF 2开发板<b class='flag-5'>本地</b><b class='flag-5'>部署</b><b class='flag-5'>DeepSeek</b>大模型的完整指南

    瑞萨RZ/V2H平台支持部署离线版DeepSeek -R1大语言模型

    瑞萨RZ/V2H平台支持部署离线版DeepSeek -R1大语言模型
    的头像 发表于 05-13 17:07 1858次阅读
    瑞萨RZ/V2H<b class='flag-5'>平台</b><b class='flag-5'>支持</b><b class='flag-5'>部署</b>离线版<b class='flag-5'>DeepSeek</b> -R1大语言模型

    Deepseek海思SD3403边缘计算AI产品系统

    的训练样本和训练 模型,具体商业价值和保密性,采用海思SD3403边缘计算AI服务器+多路安防监控IPC,让差异化AI视频系统, 成本控制极具市场竞争力。 海思SD3403边缘计算AI部署
    发表于 04-28 11:05