AMD发布首款小语言AI模型Llama-135m
近日，AMD在Huggingface平台上正式推出了自家首款“小语言模型”——AMD-Llama-135m。这款模型以其独特的推测解码功能，吸引了业界的广泛关注。
AMD-Llama-135m模型拥有6700亿个token，并采用了Apache 2.0开源许可，为用户提供了更多的灵活性和自由度。据AMD介绍，该模型主打“推测解码”能力，这一功能的基本原理是通过使用一个小型草稿模型来生成一组候选token，然后由更大的目标模型对这些候选token进行验证。这种方法不仅能够确保生成的token的准确性和可靠性，而且允许每次前向传递生成多个token，从而显著提高了效率。
与传统的AI模型相比，AMD-Llama-135m在RAM占用方面也有了显著的优化。由于采用了推测解码技术，该模型能够在不影响性能的前提下，减少RAM的占用，实现了更加高效的计算和存储资源利用。
AMD-Llama-135m的发布，标志着AMD在AI领域迈出了重要的一步。未来，AMD将继续致力于AI技术的研发和创新，为全球用户提供更加智能、高效和可靠的解决方案。
声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表电子发烧友网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。
举报投诉
-
amd
+关注
关注
25文章
5650浏览量
139057 -
AI
+关注
关注
90文章
38189浏览量
297000 -
模型
+关注
关注
1文章
3649浏览量
51719
发布评论请先 登录
相关推荐
热点推荐
【CIE全国RISC-V创新应用大赛】基于 K1 AI CPU 的大模型部署落地
的 落地方案 ：
1. 系统部署方案书 (System Proposal)
方案要点
部署工具 ：使用官方提供的 spacemit-llama.cpp (v0.0.4) 二进制包。
模型策略 ：采用
发表于 11-27 14:43
AMD Vitis AI 5.1测试版发布
AMD Vitis AI 5.1全新发布——新增了对 AMD Versal AI Edge 系列神经网络处理单元 (NPU) 的支持。Vit
皓丽全球首款四摄AI会议平板：AI全视之眼 + AI智会大模型双加持
2025年，智能会议设备市场迎来里程碑式突破——连续多年蝉联电商销量冠军的皓丽（Horion）正式推出全球首款四摄AI会议平板，以“AI全视之眼+A
使用 NPU 插件对量化的 Llama 3.1 8b 模型进行推理时出现“从 __Int64 转换为无符号 int 的错误”，怎么解决？
安装了 OpenVINO™ GenAI 2024.4。
使用以下命令量化 Llama 3.1 8B 模型：
optimum-cli export openvino -m meta-llama
发表于 06-25 07:20
首创开源架构，天玑AI开发套件让端侧AI模型接入得心应手
模型、通义千问、混元等多种先进端侧大模型，还包含视觉、语言、多模态等多种多样的大模型，开发者可以通过Gen-AI Model Hub一键调用
发表于 04-13 19:52
人民网发布首款智能硬件AI之眼
昨天，在成都举办的第十二届中国网络视听大会智慧媒体论坛上，人民网正式发布了智能硬件“AI之眼”。据悉，此次发布的“AI之眼”1.0版本名叫“AIyou（爱游）”。 这也是人民网研发的
无法在OVMS上运行来自Meta的大型语言模型 （LLM），为什么?
无法在 OVMS 上运行来自 Meta 的大型语言模型 （LLM），例如 LLaMa2。
从 OVMS GitHub* 存储库运行 llama_chat Python* Demo 时
发表于 03-05 08:07
K1 AI CPU基于llama.cpp与Ollama的大模型部署实践
AICPU芯片，已于今年4月份发布。下面我们以K1为例，结合llama.cpp来展示AICPU在大模型领域的优势。
Hugging Face推出最小AI视觉语言模型
Hugging Face平台于1月23日发布博文，推出了两款令人瞩目的轻量级AI模型——SmolVLM-256M-Instruct和Smol
NVIDIA推出开放式Llama Nemotron系列模型
作为 NVIDIA NIM 微服务，开放式 Llama Nemotron 大语言模型和 Cosmos Nemotron 视觉语言模型可在任何
极空间私有云联合UnifyDrive亮相CES：发布全球首款大语言模型 AI NAS
的是，作为国内领先的网络存储品牌极空间私有云此次联合UnifyDrive宣布推出全球首款配备大语言模型（LLM）的AINAS，同时也是全球首
云天励飞首款AI眼镜正式发布
近日，云天励飞与闪极科技、LOHO联合打造的AI智能眼镜正式发布。该产品搭载云天励飞自研大模型“云天天书”，可为其AI记忆系统提供强大技术基础。
AI大语言模型开发步骤
开发一个高效、准确的大语言模型是一个复杂且多阶段的过程，涉及数据收集与预处理、模型架构设计、训练与优化、评估与调试等多个环节。接下来，AI部落小编为大家详细阐述
Meta重磅发布Llama 3.3 70B：开源AI模型的新里程碑
新的高度。 一，技术突破：开源智能的新高度 Llama 3.3 70B 模型的发布，标志着开源AI模型在智能水平上的一大飞跃。它不仅达到了之
工商网监
评论