0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

Meta发布Llama 3.2量化版模型

CHANBAEK 来源:网络整理 2024-10-29 11:05 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

近日,Meta在开源Llama 3.2的1B与3B模型后,再次为人工智能领域带来了新进展。10月24日,Meta正式推出了这两个模型的量化版本,旨在进一步优化模型性能,拓宽其应用场景。

据Meta介绍,量化后的Llama 3.2模型在大小上平均减少了56%,RAM使用量也平均降低了41%。这一显著的优化使得模型在运行过程中能够占用更少的资源,同时速度提高了2至4倍。此外,量化后的模型还降低了功耗,这对于将其部署到移动设备上具有重要意义。

此次Meta推出的量化版Llama 3.2模型,不仅展示了其在人工智能领域的持续创新能力,也为更多开发者提供了高效、便捷的工具。随着这些模型在移动设备上的广泛应用,人工智能将更深入地融入人们的日常生活,为社会带来更多的便利和可能性。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 人工智能
    +关注

    关注

    1813

    文章

    49734

    浏览量

    261469
  • 开源
    +关注

    关注

    3

    文章

    4031

    浏览量

    45561
  • Meta
    +关注

    关注

    0

    文章

    316

    浏览量

    12329
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    【CIE全国RISC-V创新应用大赛】基于 K1 AI CPU 的大模型部署落地

    8GB 物理内存 (且操作系统还要占用约 500MB+)。 结论 :如果直接照搬官方文档下载 Q4 模型, 100% 会因为内存不足(OOM)而无法运行 。 为了满足赛题要求,必须采用 “极限量化
    发表于 11-27 14:43

    使用 NPU 插件对量化Llama 3.1 8b 模型进行推理时出现“从 __Int64 转换为无符号 int 的错误”,怎么解决?

    安装了 OpenVINO™ GenAI 2024.4。 使用以下命令量化 Llama 3.1 8B 模型: optimum-cli export openvino -m meta-llama
    发表于 06-25 07:20

    瑞芯微模型量化文件构建

    模型是一张图片输入时,量化文件如上图所示。但是我现在想量化deepprivacy人脸匿名模型,他的输入是四个输入。该模型训练时数据集只标注
    发表于 06-13 09:07

    今日看点丨台积电、Intel合资运营代工业务;韩国计划向当地汽车行业注入3万亿韩元援助

    1. Meta 发布人工智能新模型系列 Llama 4 ,首次采用“混合专家”架构   当地时间周六(4月5日),美国科技巨头Meta推出了
    发表于 04-07 11:26 590次阅读

    IBM发布全新Granite 3.2 AI模型

    Granite 3.2 是小型的 AI 模型,通过对开发人员友好的授权条款,提供推理、视觉和护栏功能。
    的头像 发表于 03-06 16:47 905次阅读

    无法在OVMS上运行来自Meta的大型语言模型 (LLM),为什么?

    无法在 OVMS 上运行来自 Meta 的大型语言模型 (LLM),例如 LLaMa2。 从 OVMS GitHub* 存储库运行 llama_chat Python* Demo 时
    发表于 03-05 08:07

    普渡机器人接入DeepSeek满血版模型

    自2月20日起,普渡机器人正式接入DeepSeek满血版模型,机器人智能语音交互能力迎来智能化升级里程碑!此次升级中,首批搭载该模型的贝拉Pro机器人已在部分商超落地测试,后续将逐步推广至其他机型及场景。
    的头像 发表于 02-20 16:50 1334次阅读

    K1 AI CPU基于llama.cpp与Ollama的大模型部署实践

    AICPU芯片,已于今年4月份发布。下面我们以K1为例,结合llama.cpp来展示AICPU在大模型领域的优势。
    的头像 发表于 02-18 14:23 1553次阅读
    K1 AI CPU基于<b class='flag-5'>llama</b>.cpp与Ollama的大<b class='flag-5'>模型</b>部署实践

    Meta组建四大专研小组,深入探索DeepSeek模型

    近日,据报道,脸书母公司Meta为了提升其大模型Llama的性能,专门成立了四个研究小组,深入探索量化巨头幻方量化旗下的国产大
    的头像 发表于 02-05 14:02 704次阅读

    在算力魔方上本地部署Phi-4模型

    ​作者:算力魔方创始人/英特尔边缘计算创新大使 刘力 前面我们分享了《Meta重磅发布Llama 3.3 70B:开源AI模型的新里程碑》,Llam
    的头像 发表于 01-15 11:05 781次阅读
    在算力魔方上本地部署Phi-4<b class='flag-5'>模型</b>

    NVIDIA推出开放式Llama Nemotron系列模型

    作为 NVIDIA NIM 微服务,开放式 Llama Nemotron 大语言模型和 Cosmos Nemotron 视觉语言模型可在任何加速系统上为 AI 智能体提供强效助力。
    的头像 发表于 01-09 11:11 1185次阅读

    Meta重磅发布Llama 3.3 70B:开源AI模型的新里程碑

    ​在人工智能领域,Meta的最新动作再次引起了全球的关注。今天,我们见证了Meta发布Llama 3.3 70B 模型,这是一个开源的人
    的头像 发表于 12-18 16:46 878次阅读
    <b class='flag-5'>Meta</b>重磅<b class='flag-5'>发布</b><b class='flag-5'>Llama</b> 3.3 70B:开源AI<b class='flag-5'>模型</b>的新里程碑

    Meta发布新AI模型Meta Motivo,旨在提升元宇宙体验

    Meta公司近日宣布,将推出一款名为Meta Motivo的全新人工智能模型。该模型具备控制类似人类的数字代理动作的能力,有望为元宇宙的用户体验带来显著提升。
    的头像 发表于 12-16 10:34 1348次阅读

    Meta推出Metamate AI工具,进军企业市场

    基于Meta的大型语言模型Llama构建,集成了先进的自然语言处理技术和深度学习算法。它能够帮助员工进行编程、开展研究,以及起草内部和外部的沟通文稿,极大地提高了工作效率和质量。 据了解,Metamate以
    的头像 发表于 12-09 14:57 1349次阅读

    Meta推出Llama 3.3 70B,AI大模型竞争白热化

    在今年的AI领域,Meta也不甘落后,推出了其压轴之作——Llama 3.3 70B大模型。与此同时,马斯克的xAI也宣布其Grok模型从今天起全球免费开放(但存在一定的使用限制)。
    的头像 发表于 12-09 14:50 1015次阅读