0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

华为ModelEngine AI平台全面支持DeepSeek全系列本地部署

麦辣鸡腿堡 来源:网络整理 2025-02-08 10:57 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

华为技术有限公司宣布旗下 ModelEngine AI 平台全面支持 DeepSeek 大模型 R1&V3 和蒸馏系列模型的本地部署与优化,在 AI 领域引发广泛关注。

华为 ModelEngine 是大模型训练、推理和应用开发的 AI 平台,提供从数据预处理到模型训练、优化及部署的一站式服务。此次基于昇腾 AI 芯片,ModelEngine 通过推理框架优化和 MoE 存算协同,提供动态换入换出和全局统一缓存,实现推理高并发和低时延,让用户能更好地体验 DeepSeek 的推理能力。

对于开发者而言,这一支持意义重大。ModelEngine 全面兼容 DeepSeek 系列模型 R1&V3 671B 以及蒸馏系列模型,开发者借助它可实现 “一键部署”,免去硬件选型、兼容性验证和环境配置等繁琐流程,极大降低企业 AI 应用门槛。并且,ModelEngine 高度的开放性和模块化设计,大幅缩短了 DeepSeek 的本地部署时间。

在实际操作上,以 DeepSeek-R1 为例,开发者登录 ModelEngine 模型管理页面,上传 DeepSeek-R1 FP8 权重并进行格式转换,在模型服务页面选择 BF16 精度的模型权重版本下发推理服务、启动任务部署,随后 ModelEngine 使用 MindIE 推理框架启动 DeepSeek-R1 推理服务,支持 OpenAI API 调用风格的推理服务接口和访问方式,用户便可将该 API 集成到对话、RAG 以及 Agent 应用中。

不仅如此,ModelEngine 还提供负载均衡、模型安全接入、多用户配额管理等高阶特性,支持大规模生产环境下的稳定运行。某证券公司引入 DCS AI 全栈解决方案后,运维成本降低 42%,便是有力证明。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 华为
    +关注

    关注

    218

    文章

    35800

    浏览量

    260759
  • AI
    AI
    +关注

    关注

    89

    文章

    38153

    浏览量

    296818
  • DeepSeek
    +关注

    关注

    2

    文章

    824

    浏览量

    2822
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    诚迈信创电脑实现本地部署DeepSeek,开启智慧办公新体验

    近期,中国人工智能平台深度求索(DeepSeek)迅速走红,成为当下热门的AI应用之一,在国内外引发了广泛的关注。目前,诚迈信创电脑和望龙电脑已实现本地
    的头像 发表于 04-21 15:26 807次阅读
    诚迈信创电脑实现<b class='flag-5'>本地</b><b class='flag-5'>部署</b><b class='flag-5'>DeepSeek</b>,开启智慧办公新体验

    依托raksmart服务器在多种系统上本地部署deepseek注意事项

    在RAKsmart服务器上本地部署DeepSeek时,需根据不同的操作系统和环境做好全面适配。以下是关键注意事项及分步指南,主机推荐小编为您整理发布依托raksmart服务器在多种系统
    的头像 发表于 03-19 11:25 730次阅读

    华为云发布DeepSeek本地部署方案

    华为云正式推出基于华为云Stack混合云的DeepSeek本地部署方案。
    的头像 发表于 02-18 10:05 1422次阅读

    添越智创基于 RK3588 开发板部署测试 DeepSeek 模型全攻略

    DeepSeek 模型的部署与测试,开启这场充满挑战与惊喜的技术探索之旅。 RK3588 开发板:AI 性能担当 RK3588 开发板基于先进的 8nm LP 制程工艺精心打造,其硬件配置堪称豪华,在
    发表于 02-14 17:42

    曙光云全系列产品支持DeepSeek

    近日,曙光云公司正式对外宣布,其全系列产品将全面支持DeepSeek技术。这一举措标志着曙光云在推动AI技术广泛应用方面迈出了重要一步。 曙
    的头像 发表于 02-14 15:40 857次阅读

    曙光云全面支持DeepSeek大模型

    近日,曙光云正式宣布,全系列产品将全面支持DeepSeek。产品涵盖用于大型云计算中心建设的曙光云Stack云平台,及适用于小规模私有化建设
    的头像 发表于 02-14 09:24 824次阅读

    讯飞开放平台支持DeepSeek

    今天,DeepSeek全系大模型正式上线讯飞开放平台(包括DeepSeek-V3和DeepSeek-R1),支持公有云API调用、一键
    的头像 发表于 02-11 09:27 1889次阅读

    诚迈信创电脑实现DeepSeek平台本地部署

    了卓越的性能,为用户提供了更安全、更智能、更高效的使用体验。 目前,诚迈信创电脑和望龙电脑已经成功实现了DeepSeek平台本地部署,这进一步提升了
    的头像 发表于 02-10 14:34 768次阅读

    飞腾CPU成功支持DeepSeek全系列大模型

    成功实现了对DeepSeek全系列大模型的端到端支持。 这一成就不仅覆盖了数据中心场景,还全面扩展到了终端场景,标志着国产CPU在AI大模型
    的头像 发表于 02-10 14:26 1027次阅读

    DeepSeek-R1本地部署指南,开启你的AI探索之旅

    春节期间突然被DeepSeek刷屏了,这热度是真大,到处都是新闻和本地部署的教程,等热度过了过,简单记录下自己本地部署及相关的内容,就当电子
    的头像 发表于 02-08 10:30 8358次阅读
    <b class='flag-5'>DeepSeek</b>-R1<b class='flag-5'>本地</b><b class='flag-5'>部署</b>指南,开启你的<b class='flag-5'>AI</b>探索之旅

    “兆瀚”算力产品强力支持DeepSeek,共筑国产AI新生态!

    ,“兆瀚”系列AI服务器及相关产品已全面完成与DeepSeek-R1/V3系列大模型的深度适配,以卓越性能
    的头像 发表于 02-07 19:37 1231次阅读
    “兆瀚”算力产品强力<b class='flag-5'>支持</b><b class='flag-5'>DeepSeek</b>,共筑国产<b class='flag-5'>AI</b>新生态!

    诚迈信创电脑实现本地部署DeepSeek,开启智慧办公新体验

    近期,中国人工智能平台深度求索(DeepSeek)迅速走红,成为当下热门的AI应用之一,在国内外引发了广泛的关注。目前,诚迈信创电脑和望龙电脑已实现本地
    的头像 发表于 02-07 18:14 684次阅读
    诚迈信创电脑实现<b class='flag-5'>本地</b><b class='flag-5'>部署</b><b class='flag-5'>DeepSeek</b>,开启智慧办公新体验

    华为ModelEngine助力DeepSeek全系列本地部署

    近日,华为中国传来消息,其DCS AI全栈解决方案中的核心组件——ModelEngine AI平台,已经实现了对
    的头像 发表于 02-07 10:27 1113次阅读

    华为ModelEngine AI平台全面支持DeepSeek

    在全球人工智能技术飞速发展的今天,模型的快速迭代与高效部署成为各大科技企业竞相追逐的焦点。华为DCS AI全栈解决方案中的重要产品—ModelEngine
    的头像 发表于 02-07 10:24 1908次阅读
    <b class='flag-5'>华为</b><b class='flag-5'>ModelEngine</b> <b class='flag-5'>AI</b><b class='flag-5'>平台</b><b class='flag-5'>全面</b><b class='flag-5'>支持</b><b class='flag-5'>DeepSeek</b>

    诚迈信创电脑成功部署DeepSeek平台

    近期,中国人工智能平台深度求索(DeepSeek)迅速走红,成为当下热门的AI应用之一,在国内外引发了广泛的关注。目前,诚迈信创电脑和望龙电脑已实现本地
    的头像 发表于 02-07 10:10 806次阅读