英伟达发布AI模型 Llama-3.1-Nemotron-51B AI模型
英伟达公司宣布推出 Llama-3.1-Nemotron-51B AI 模型，这个AI大模型是源自 Meta 公司的 Llama-3.1-70B大模型，基于使用了神经架构搜索（NAS）方法，推理速度比原70B大模型提升2.2倍，具备更准确和更高效的运算效率；能够大幅降低运行成本。
通过NAS技术微调；大幅降低了内存消耗、计算复杂性；Llama-3.1-Nemotron-51B AI 模型在单个H100 GPU上的表现非常优秀，在推理过程中可以在单个 GPU 上运行 4 倍以上的工作负载。这使得单片H100 GPU即可处理更大型的推理任务；这无疑是显著的降低了训练成本。这为AI提供了高效、经济的方案。
声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表电子发烧友网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。
举报投诉
-
英伟达
+关注
关注
23文章
4115浏览量
99632 -
AI大模型
+关注
关注
0文章
407浏览量
1039
发布评论请先 登录
相关推荐
热点推荐
AI大模型微调企业项目实战课
自主可控大模型：企业微调实战课，筑牢未来 AI 底座
在人工智能席卷全球商业版图的今天，企业对大模型（LLM）的态度已经从“新奇观望”转变为“全面拥抱”。然而，随着应用层面的不断深入，一个严峻
发表于 04-16 18:48
NVIDIA 成立由全球领先 AI 实验室组成的 Nemotron Coalition，推动开放前沿模型发展
新闻摘要： ● NVIDIA Nemotron Coalition 是模型构建者和 AI 实验室的首个此类全球合作项目，致力于通过共享专业知识、数据和计算来推进开放前沿基础模型的发展。
NVIDIA Jetson模型赋能AI在边缘端落地
开源生成式 AI 模型不再局限于数据中心，而是开始深入到现实世界的各种机器中。从 Orin 到 Thor，NVIDIA Jetson 系列正在成为运行 NVIDIA Nemotron、Cosmos
利用NVIDIA Nemotron开放模型构建智能文档处理系统
基于 NVIDIA Nemotron 开放模型的 AI 驱动文档智能，增强科学研究、金融和法律等领域工作流。
大模型 ai coding 比较
序
我主要用途是 ai coding，从各种渠道获取到了很多 不同的大模型排序 最多的是 opus 4.6 > k2.5 > glm5 >
发表于 02-19 13:43
使用NORDIC AI的好处
; 自定义 Neuton 模型博客]
Axon NPU ：集成在 nRF54LM20B 等高端 SoC 中的专用 AI 加速器，对 TensorFlow Lite 模型可实现最高约 1
发表于 01-31 23:16
NVIDIA 推出 Nemotron 3 系列开放模型
新闻摘要： ● Nemotron 3 系列开放模型包含 Nano、Super 和 Ultra 三种规模，具有极高的效率和领先的精度，适用于代理式 AI 应用开发。 ● Nemotron
NVIDIA推动面向数字与物理AI的开源模型发展
NVIDIA 发布一系列涵盖语音、安全与辅助驾驶领域的全新 AI 工具，其中包括面向移动出行领域的行业级开源视觉-语言-动作推理模型（Reasoning VLA） NVIDIA DRIVE Alpamayo-R1。此外，一项新的
【CIE全国RISC-V创新应用大赛】基于 K1 AI CPU 的大模型部署落地
/llama-cli --version
第二步：获取 14B 的 Q2_K 模型
由于官方文档演示的是 0.6B 小模型，我们需要自己获
发表于 11-27 14:43
NVIDIA Nemotron Nano 2推理模型发布
NVIDIA 正式推出准确、高效的混合 Mamba-Transformer 推理模型系列 NVIDIA Nemotron Nano 2。
使用 NPU 插件对量化的 Llama 3.1 8b 模型进行推理时出现“从 __Int64 转换为无符号 int 的错误”，怎么解决？
安装了 OpenVINO™ GenAI 2024.4。
使用以下命令量化 Llama 3.1 8B 模型：
optimum-cli export openvino -m meta-
发表于 06-25 07:20
企业使用NVIDIA NeMo微服务构建AI智能体平台
已发布的 NeMo 微服务可与合作伙伴平台集成，作为创建 AI 智能体的构建模块，使用商业智能与强大的逻辑推理模型 (包括 NVIDIA Llama
评论