0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

Zyphra推出Zamba2-mini 1.2B模型

CHANBAEK 来源:网络整理 作者:网络整理 2024-08-29 18:13 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

近日,AI创新先锋Zyphra公司在科技界投下了一颗震撼弹,正式揭晓其最新力作——Zamba2-mini 1.2B模型。这款被誉为端侧SOTA(State-Of-The-Art)级别的小语言模型,以其卓越的性能参数和极致的压缩效率,成为了业界关注的焦点。

Zamba2-mini 1.2B携带着惊人的12亿参数量,却能在严苛的4bit量化条件下,将内存占用控制在惊人的700MB以下,这一成就无疑是对AI模型轻量化探索的一次重大突破。其背后,是Zyphra团队对模型架构的深度优化与大胆创新,成功融合了多种神经网络设计的精髓,既保留了大型密集变压器模型的高质量输出特性,又实现了小模型难以企及的计算与内存效率。

Zamba2-mini 1.2B的问世,不仅为端侧设备提供了更为强大的智能支持,更预示着AI技术在实际应用场景中的广泛落地与深度融合。随着这一技术的不断成熟与普及,我们有理由相信,未来的端侧AI将更加智能、高效,为人们的生活带来更多便利与惊喜。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 变压器
    +关注

    关注

    162

    文章

    8167

    浏览量

    148797
  • AI
    AI
    +关注

    关注

    91

    文章

    42041

    浏览量

    303102
  • 模型
    +关注

    关注

    1

    文章

    3875

    浏览量

    52341
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    腾讯混元翻译模型Hy-MT2正式开源

    腾讯混元于近日正式开源新一代多语言翻译模型Hy-MT2,同步上线"腾讯Hy翻译"小程序。Hy-MT2包含三个尺寸的模型——Hy-MT2-1.8B
    的头像 发表于 05-25 11:02 488次阅读

    沐曦股份曦云C系列GPU产品深度适配腾讯混元翻译模型Hy-MT2

    5月21日,腾讯混元翻译模型Hy-MT2正式开源,包含3个尺寸的模型Hy-MT2-1.8B、Hy-MT2-7B、Hy-MT
    的头像 发表于 05-22 17:20 1932次阅读
    沐曦股份曦云C系列GPU产品深度适配腾讯混元翻译<b class='flag-5'>模型</b>Hy-MT<b class='flag-5'>2</b>

    瑞芯微(EASY EAI)RV1126B MINI-PCIE接口电路

    的供电采用独立的DC-DC电源模块,电流最大支持2A。图1MINI-PCIE接口电路图1.1原理图设计建议1.2PCB设计建议
    的头像 发表于 05-21 17:03 315次阅读
    瑞芯微(EASY EAI)RV1126<b class='flag-5'>B</b> <b class='flag-5'>MINI</b>-PCIE接口电路

    UB232R USB Mini - B FT232R评估模块:小巧高效的USB串口解决方案

    Future Technology Devices International Ltd(FTDI)推出的UB232R USB Mini - B FT232R评估模块,看看它能为我们的设计带来哪些便利
    的头像 发表于 05-15 14:15 168次阅读

    USRP™ B200mini Series:小巧强大的软件定义无线电设备

    Ettus Research推出的USRP™ B200mini Series,一款小巧却功能强大的SDR设备。 文件下载: 471-044.pdf 产品概述 USRP B200mini Series
    的头像 发表于 05-14 10:15 193次阅读

    壁仞科技光速支持阿里Qwen3.6-35B-A3B模型

    4月16日晚,阿里巴巴通义实验室正式宣布全量开源Qwen3.6-35B-A3B模型。该模型为混合专家(MoE)模型,总参数量为350亿,激活参数仅30亿。壁仞科技(06082.HK)
    的头像 发表于 04-20 17:50 1703次阅读

    LTC3406B - 1.2:高效同步降压调节器的设计与应用

    LTC3406B - 1.2:高效同步降压调节器的设计与应用 在电子设计领域,电源管理芯片的性能对于整个系统的稳定性和效率至关重要。LTC3406B - 1.2 作为一款高效的同步降压
    的头像 发表于 03-17 15:40 253次阅读

    谷歌推出TranslateGemma全新开放翻译模型系列

    我们已正式推出 TranslateGemma,这一全新的开放翻译模型系列基于 Gemma 3 构建,并提供 4B、12B 和 27B 三种参
    的头像 发表于 02-26 10:22 836次阅读

    Arm率先适配腾讯混元HY-1.8B-2Bit模型

    腾讯混元今日发布了 HY-1.8B-2Bit,这是一款等效参数量仅有 0.3B 的极低比特压缩模型,有助于移动设备厂商和开发者加速实现生成式 AI 的创新落地。作为全球应用最为广泛的高性能、高能效
    的头像 发表于 02-10 17:29 2175次阅读

    谷歌与耶鲁大学合作发布最新C2S-Scale 27B模型

    我们很荣幸发布与耶鲁大学合作研究的 Cell2Sentence-Scale 27B (C2S-Scale),这是一个新的 270 亿参数基础模型,旨在理解单个细胞的 "语言"。C
    的头像 发表于 11-06 10:35 1140次阅读

    NVIDIA Nemotron Nano 2推理模型发布

    NVIDIA 正式推出准确、高效的混合 Mamba-Transformer 推理模型系列 NVIDIA Nemotron Nano 2
    的头像 发表于 08-27 12:45 2140次阅读
    NVIDIA Nemotron Nano <b class='flag-5'>2</b>推理<b class='flag-5'>模型</b>发布

    Coherent推出适用于Mini2P显微成像的Axon FL光纤耦合输出模块

    当小鼠在迷宫中自由探索时,Mini2P显微成像系统就像一台"脑内摄像机",实时而清晰地捕捉其大脑深处神经元的动态活动。Coherent推出的全新Axon FL光纤耦合输出模块,能够将Axon 920
    的头像 发表于 08-13 09:55 546次阅读
    Coherent<b class='flag-5'>推出</b>适用于<b class='flag-5'>Mini2</b>P显微成像的Axon FL光纤耦合输出模块

    OpenAI发布2款开源模型

    OpenAI开源了两款高性能权重语言模型gpt-oss-120b和gpt-oss-20b,OpenAI CEO Sam Altman表示:「gpt-oss 发布了!我们做了一个开放模型
    的头像 发表于 08-06 14:25 1209次阅读

    华为正式开源盘古7B稠密和72B混合专家模型

    关键举措,推动大模型技术的研究与创新发展,加速推进人工智能在千行百业的应用与价值创造。 盘古Pro MoE 72B模型权重、基础推理代码,已正式上线开源平台。 基于昇腾的超大规模MoE模型
    的头像 发表于 06-30 11:19 1509次阅读

    Coherent 推出 Axon FL:用于 Mini2P 应用的多功能光纤耦合模块

    光子学领域的全球领导者 Coherent Corp.今天宣布推出 Axon FL,这是一款光纤耦合模块,可将 Axon 920 TPC 超快飞秒激光器转变为 Mini2P 显微镜的即插即用解决方案
    的头像 发表于 05-27 07:59 628次阅读