AMD发布首款小语言AI模型Llama-135m
近日，AMD在Huggingface平台上正式推出了自家首款“小语言模型”——AMD-Llama-135m。这款模型以其独特的推测解码功能，吸引了业界的广泛关注。
AMD-Llama-135m模型拥有6700亿个token，并采用了Apache 2.0开源许可，为用户提供了更多的灵活性和自由度。据AMD介绍，该模型主打“推测解码”能力，这一功能的基本原理是通过使用一个小型草稿模型来生成一组候选token，然后由更大的目标模型对这些候选token进行验证。这种方法不仅能够确保生成的token的准确性和可靠性，而且允许每次前向传递生成多个token，从而显著提高了效率。
与传统的AI模型相比，AMD-Llama-135m在RAM占用方面也有了显著的优化。由于采用了推测解码技术，该模型能够在不影响性能的前提下，减少RAM的占用，实现了更加高效的计算和存储资源利用。
AMD-Llama-135m的发布，标志着AMD在AI领域迈出了重要的一步。未来，AMD将继续致力于AI技术的研发和创新，为全球用户提供更加智能、高效和可靠的解决方案。
声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表电子发烧友网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。
举报投诉
-
amd
+关注
关注
25文章
5707浏览量
140399 -
AI
+关注
关注
91文章
41060浏览量
302569 -
模型
+关注
关注
1文章
3816浏览量
52265
发布评论请先 登录
相关推荐
热点推荐
谷东智能助力老板电器发布全球首款AI烹饪眼镜
2026 年 3 月 13 日，杭州老板电器股份有限公司在 AWE2026上正式发布全球首款 AI 烹饪眼镜，搭载其自研的烹饪智能体和食神大模型
中兴通讯全球首款AI+Wi-Fi 8室内CPE重磅发布
2026世界移动通信大会（MWC26巴塞罗那）现场，中兴通讯终端业务携全场景AI终端亮相，全面展示AI技术与终端生态深度融合的创新成果。此次展会发布了全球首
大模型 ai coding 比较
序
我主要用途是 ai coding，从各种渠道获取到了很多 不同的大模型排序 最多的是 opus 4.6 > k2.5 > glm5 >
发表于 02-19 13:43
国内首款AI助盲眼镜发布，1700万视障人士的新眼睛
在国际残疾人日（12 月 3 日）这一天，杭州瞳行科技公司正式发布国内首款 AI 助盲眼镜。该眼镜由眼镜主体、手机、遥控指环、盲杖四部分组成，目前已正式面市。
【CIE全国RISC-V创新应用大赛】基于 K1 AI CPU 的大模型部署落地
的 落地方案 ：
1. 系统部署方案书 (System Proposal)
方案要点
部署工具 ：使用官方提供的 spacemit-llama.cpp (v0.0.4) 二进制包。
模型策略 ：采用
发表于 11-27 14:43
AMD Vitis AI 5.1测试版现已开放下载
AMD Vitis AI 5.1全新发布——新增了对 AMD Versal AI Edge 系列神经网络处理单元（ NPU ）的支持。Vit
AMD Vitis AI 5.1测试版发布
AMD Vitis AI 5.1全新发布——新增了对 AMD Versal AI Edge 系列神经网络处理单元 (NPU) 的支持。Vit
伟创力重磅发布全球首款面向千兆瓦级数据中心的AI基础设施平台
伟创力重磅发布全球首款面向千兆瓦级数据中心的AI基础设施平台，平台集成了电源和冷却产品、计算能力和服务，专为AI和高性能计算而设计，帮助数据
RT-Thread首款AI硬件抢先曝光!——RA8P1 Titan Board
。RA8P1系列是瑞萨电子首款搭载高性能ArmCortex-M85(CM85)及Helium矢量扩展，并集成Ethos-U55NPU的32位AI加速微控制器(MCU)。该
皓丽全球首款四摄AI会议平板：AI全视之眼 + AI智会大模型双加持
2025年，智能会议设备市场迎来里程碑式突破——连续多年蝉联电商销量冠军的皓丽（Horion）正式推出全球首款四摄AI会议平板，以“AI全视之眼+A
深兰科技发布全球首款儿童心理健康AI陪伴玩偶产品
近日，深兰科技在上海举办“AI机器人场景应用渠道合作峰会”，会议上重磅发布了全球首款儿童心理健康AI陪伴玩偶产品，标志着深兰科技叩响C端消费
使用 NPU 插件对量化的 Llama 3.1 8b 模型进行推理时出现“从 __Int64 转换为无符号 int 的错误”，怎么解决？
安装了 OpenVINO™ GenAI 2024.4。
使用以下命令量化 Llama 3.1 8B 模型：
optimum-cli export openvino -m meta-llama
发表于 06-25 07:20
探索在Arm平台运行的Llama 4 Scout模型
人工智能 (AI) 正在加速发展，也越来越智能化。当今的开源大语言模型不仅功能强大，而且在设计时充分考虑了实际部署的需求，因而具有轻量化和经济高效的特点，可大规模部署到数十亿台设备上。简而言之，对于开发者可能想到的各种情形，当今
评论