英伟达公司宣布推出 Llama-3.1-Nemotron-51B AI 模型,这个AI大模型是源自 Meta 公司的 Llama-3.1-70B大模型,基于使用了神经架构搜索(NAS)方法,推理速度比原70B大模型提升2.2倍,具备更准确和更高效的运算效率;能够大幅降低运行成本。
通过NAS技术微调;大幅降低了内存消耗、计算复杂性;Llama-3.1-Nemotron-51B AI 模型在单个H100 GPU上的表现非常优秀,在推理过程中可以在单个 GPU 上运行 4 倍以上的工作负载。这使得单片H100 GPU即可处理更大型的推理任务;这无疑是显著的降低了训练成本。这为AI提供了高效、经济的方案。
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。
举报投诉
-
英伟达
+关注
关注
23文章
4044浏览量
97702 -
AI大模型
+关注
关注
0文章
395浏览量
942
发布评论请先 登录
相关推荐
热点推荐
【CIE全国RISC-V创新应用大赛】基于 K1 AI CPU 的大模型部署落地
/llama-cli --version
第二步:获取 14B 的 Q2_K 模型
由于官方文档演示的是 0.6B 小模型,我们需要自己获
发表于 11-27 14:43
使用 NPU 插件对量化的 Llama 3.1 8b 模型进行推理时出现“从 __Int64 转换为无符号 int 的错误”,怎么解决?
安装了 OpenVINO™ GenAI 2024.4。
使用以下命令量化 Llama 3.1 8B 模型:
optimum-cli export openvino -m meta-
发表于 06-25 07:20
企业使用NVIDIA NeMo微服务构建AI智能体平台
已发布的 NeMo 微服务可与合作伙伴平台集成,作为创建 AI 智能体的构建模块,使用商业智能与强大的逻辑推理模型 (包括 NVIDIA Llama
首创开源架构,天玑AI开发套件让端侧AI模型接入得心应手
AI的演进正在逼近“终端智能涌现”的拐点,从通用模型向场景落地迁移成为关键议题。联发科以“AI随芯,应用无界”为主题召开天玑开发者大会2025(MDDC 2025),不仅聚合了全球生态资源,还
发表于 04-13 19:52
英伟达Cosmos-Reason1 模型深度解读
英伟达近期发布的 Cosmos-Reason1 模型在物理常识推理领域引发广泛关注。作为专为物理世界交互设计的多模态大语言模型,它通过融合视
NVIDIA 推出开放推理 AI 模型系列,助力开发者和企业构建代理式 AI 平台
月 18 日 —— NVIDIA 今日发布具有推理功能的开源 Llama Nemotron 模型系列,旨在为开发者和企业提供业务就绪型基础,助力构建能够独立工作或以团队形式完成复杂
发表于 03-19 09:31
•336次阅读
IBM在watsonx.ai平台推出DeepSeek R1蒸馏模型
IBM近日宣布了一项重要更新,为其企业级AI开发平台watsonx.ai引入了DeepSeek R1的Llama 3.1 8B和
IBM企业级AI开发平台watsonx.ai上线DeepSeek R1蒸馏模型
IBM日前宣布,DeepSeek-R1 的 Llama 3.1 8B 和 Llama 3.3 70b 蒸馏版本现已在 IBM 的企业级
英伟达发布Nemotron-CC大型AI训练数据库
近日,英伟达在其官方博客上宣布了一项重大进展,推出了一款名为Nemotron-CC的大型英文AI训练数据库。这一数据库的发布,标志着
NVIDIA推出开放式Llama Nemotron系列模型
作为 NVIDIA NIM 微服务,开放式 Llama Nemotron 大语言模型和 Cosmos Nemotron 视觉语言模型可在任何
英伟达发布Cosmos世界基础模型
近日,在2025年1月6日于拉斯维加斯拉开帷幕的国际消费类电子产品展览会(CES)上,英伟达宣布了一项重大创新——Cosmos世界基础模型平台。该平台集成了先进的生成世界基础模型,旨在

英伟达发布AI模型 Llama-3.1-Nemotron-51B AI模型
评论