端侧AI的大模型时代，从面壁智能开始

人类历史上最厉害的压缩技术，不是ZIP或JPEG，而是文字。

一个“火”字，就能把燃烧、温度、颜色、危险、能量等复杂的元素浓缩进一个符号。几笔写成，信息密度极高，解码成本极低。

大模型压缩，本质上在做同一件事：设计一套更高效率的“文字”，用最少的笔画承载最多的知识。

然而，2026年的半导体市场呈现出一种极致的撕裂感。一边是高盛等机构不断调高预期，HBM（高带宽内存）供不应求，DDR5价格持续飙涨，“内存墙”成为算力发展的物理瓶颈；另一边，端侧AI设备受限于功耗与体积，内存规格无法无限膨胀，大模型在终端的落地似乎被一道无形的成本天花板死死压住。

算力在涨，但终端装不下。“旧文字”太占地方了。传统大模型用FP16表示参数，相当于用复杂英文字母写文章，篇幅巨大。产业界迫切需要一套笔画更少、信息密度更高的“新文字”。

5月23日，BitCPM-CANN于华为鲲鹏昇腾开发者大会（KADC 2026）首次亮相，由面壁智能AI Infra负责人、清华大学计算机系高性能所·水木学者博士后李宇轩进行技术分享。

简单来讲，面壁智能全球首次在华为昇腾平台上完成端到端1.58-bit（极致低比特）训练栈，并将规模推至8B级别，相较于相同尺寸的全精度模型，性能几乎无下降。

它向外界释放了一个明确信号：在国产算力底座上，同样能诞生引领世界的训练范式。

那么，这套“新文字”是怎么设计出来的？它将如何改写端侧AI的产业规则？

在探讨面壁智能此次技术突破的意义之前，我们有必要先审视当下端侧AI产业所面临的真实困境。2026年的AI产业，表面上风光无限：大模型正争先恐后从云端向手机、PC、汽车快速下沉，各种“AI Phone”“AI PC”概念层出不穷，仿佛人人都能碰到最强AI。

然而，在这股热潮之下，一场关于生存成本的暗战正在打响。

问题的根源要从我们用来承载AI知识的“文字”说起。

传统大模型用的是一套相当奢侈的“文字系统”。每个参数用FP16表示，相当于每个笔画要占16个格子。一个70亿参数的模型，光“写下来”就需要约14GB内存。加上操作系统和其他应用，16GB的旗舰手机已经写不下了。

这套“旧文字”不光占地方，书写成本还在飙升。高盛的最新预测显示，受AI服务器需求拉动，存储芯片市场正在经历一轮超级周期。HBM供不应求，DDR5等主流内存价格涨幅预期最高被调至280%。对端侧设备厂商而言，这是一道残酷的选择题：要么接受上涨的BOM成本，压缩本就微薄的利润空间；要么削减内存配置，让AI功能沦为“能装不能跑”的营销噱头。

固有的“内存墙”加深了这一困境。冯·诺依曼架构下，计算单元与存储单元在物理上分离，数据需要在两者之间频繁搬运。即便端侧芯片的TOPS数值再高，如果内存带宽无法及时“喂饱”数据，大部分算力都将处于空转状态。

并且，国内AI大模型的训练与部署长期高度依赖NVIDIA CUDA生态。很长一段时间里，许多国产大模型的训练仍需在NVIDIA集群上完成核心验证，再费时费力地迁移至昇腾平台。这种“绕道走”的模式，不仅拉长研发周期、提高试错成本，也让国产算力平台始终难以摆脱追赶者的位置，难以建立真正自主的技术体系。

层层压力叠加下来，今天的端侧 AI，正被困在一个无法破解的不可能三角里：想要更强的模型能力，就要付出更高的硬件成本；想要控制成本、降低功耗，就不得不砍掉模型能力。三者之间几乎没有兼顾的余地。

传统解决方案如模型蒸馏、知识剪枝本质上都是在丢精度换内存，代价是字变得潦草。行业真正需要的是一种笔画更少、信息密度更高的文字系统。而在KADC 2026上亮相的BitCPM-CANN，恰恰切中了这一核心痛点。

2026年5月23日，华为鲲鹏昇腾开发者大会上，面壁智能AI Infra负责人李宇轩将正式向业界展示BitCPM-CANN——完全在国产算力上训练的开源三值大模型。它是1.58-bit极致轻量化大模型。从底层算子到训练框架，再到最终的模型输出，整条链路都在华为昇腾平台上原生完成。

很多人会好奇，1.58-bit到底是什么？用最贴近生活的方式来理解，它就像是AI世界里一套极度精简的文字系统。

我们熟悉的传统大模型，参数大多是16位浮点格式，能表示的数值范围非常宽广，看似精度很高，可实际运行中大量精度都是多余的，就像用字母繁多的拉丁文去写一句简单的日常用语，既占空间又没必要。BitCPM-CANN把每个参数压缩到只有三个取值：-1、0、+1。如果把传统参数比作一整套包含大小写、符号、特殊字体的完整英文系统，那 1.58-bit 就像是把一切简化为“点、横、竖”三种最基础的笔画，用最少的表达，承载最核心的信息。

当然，除了“笔画少”，BitCPM-CANN还把这套新文字体系化了。

第一，它有一套完整可用的字库。在这之前，行业里不是没有过低比特模型的研究，但绝大多数成果都只是展示某一个固定尺寸、某一项单一指标，更像是一个孤立的演示demo，厂商根本无法据此判断技术是否稳定、能不能真正用在产品里。BitCPM-CANN完全跳出了这种局限，一次性推0.5B、1B、3B、8B四档完整模型，并且和同尺寸的全精度模型做一对一、全维度的对齐评测。在技术实现上，它采用STE三值量化器，训练时保留残差保证模型可以持续学习，导出时严格输出三值权重，把精度损失控制在极小范围。实际测试结果很有说服力：1B、3B、8B这三档主力模型，能力保留率达95.7%到97.2%，8B 模型在 ARC/cmmlu/gsm8k 等关键任务保留全精度93%～99%，完全达到可对外使用的水位；仅0.5B小模型保留率 90.1%，为后续优化明确方向。这种从微型到中型的全尺寸覆盖，就像为AI产业准备好了从短句、短文到长篇著作的完整文字体系，手机、汽车、终端设备厂商可以直接按需求选用，不用再从零开始适配调试。

第二，它制定了成熟稳定的排版规范。很多低比特项目止步于“能跑通”，“模型能训练、数值能下降”就宣告成功。但这样的代码往往是一次性的，换个尺寸、换个任务就要重新调参。BitCPM-CANN则把低比特能力沉淀为MindSpeed训练基础设施的一部分。基于Megatron-LM框架，嵌入可插拔的QAT并行线性层，统一模型存储格式，还支持32K长序列训练。主方案采用QAT加后训练蒸馏，训练吞吐仅下降5%，几乎不增加额外成本。这意味着国产NPU第一次拥有了属于自己的1.58-bit低比特训练栈，不用再先跑到国外CUDA生态上验证，再费力迁移回来，真正实现了基础设施级别的技术沉淀，后续所有想在昇腾上做低比特训练的团队，都可以站在这个底座上直接起步。

第三，它的智能密度极高。面壁智能与华为昇腾的协同优化显示，采用1.58-bit训练范式，同等内存容量下可承载约6倍的模型参数量。这6倍的红利来自三个层面：一是权重从16-bit压缩到1.58-bit带来的存储节省；二是整数计算替代浮点计算带来的算力释放；三是昇腾团队从指令集到算子层的深度优化。

而BitCPM-CANN能达到这样的规模和成熟度背后是几年持续投入的结果。在行业对极低位宽QAT还持观望态度的时候，面壁智能就已经选定了小于等于2-bit的路线。

彼时，国内算力和美国差距很大，整体AI基础设施都相对落后，国产芯片用来训练大模型不太够用。为了在有限资源下训练大模型，面壁很早就自研了分布式训练框架BMTrain。这不仅是对标DeepSpeed或Megatron的工程实现，更是“密度定律”的体现——仅用32张卡甚至更少的资源，就可以启动百亿级模型的训练，极大地降低了大模型的准入门槛。

面壁智能与DeepSeek被业内称为两家“国内最会做架构改进的公司”，但两者的战场截然不同：DeepSeek紧抓云侧大算力场景，在万卡集群上榨干算力价值；面壁则聚焦单张端侧芯片，在功耗、散热、访存带宽的严苛约束下追求极致效率。很多大模型企业，采用保守的传统架构，通过同一批数据训练多个尺寸模型，面壁智能则针对端侧芯片特性，做了大量稀疏计算、近存计算等底层优化。在长期探索中，团队围绕学习率、蒸馏策略、数据配比等核心变量，一点点摸索、反复验证，最终沉淀出一套稳定、可迁移的超参方法论。

这些底层积累最终成为BitCPM-CANN能在昇腾上“发明新文字”的支撑。

如果说前两部分讨论的是“旧文字的问题”和“新文字怎么造”，那么这一部分我们不妨把视野拉高，审视BitCPM-CANN开源这套“新文字”之后的产业意义。它不只是跑通了一个模型，而是把推理侧6倍显存红利变成可复用能力，把低比特训练变成可以迁移、可以扩展、可以继续优化的昇腾能力底座。

先看技术层面的填补，BitCPM-CANN首先补上了国产AI芯片长期存在的一块空白。长期以来，国产AI芯片面临一个尴尬的局面：硬件参数可圈可点，可支撑芯片运行的“文字体系”却始终攥在别人手里。CUDA生态就像一套成熟的拉丁字母系统，好用但受制于人。国产算力想要实现完全自主，绝不能只停留在“读懂、使用”别人的体系，必须拥有属于自己的“造字”能力，从底层算法到训练框架都掌握在自己手中。

BitCPM-CANN的发布打破了这一僵局。这是国产NPU平台上第一次公开、系统化的1.58-bit三值训练适配，规模一次推到8B量级，并且与面壁智能的全精度模型家族做了1:1对齐评测。这意味着业界第一次可以在国产算力上看到一个低比特模型的完整能力图谱。

再把视线转向端侧AI产业，技术最终要服务于场景，BitCPM-CANN的价值绝不仅限于昇腾平台本身。

把目光从技术本身转向落地场景，BitCPM-CANN的价值早已超出昇腾平台，真正触达了整个端侧AI产业的核心需求。技术最终的归宿是服务实际场景，而BitCPM-CANN恰好踩中了手机、PC、汽车等终端设备最迫切的痛点。对终端厂商而言，将1.58-bit三值模型与MoE技术结合，有望把60B级别的模型能力真正装入手机。更关键的是，相比传统的BF16格式，实际显存收益能达到6倍，不用额外增加物理内存，就能让设备承载更强的AI能力。在全球内存价格持续上涨、硬件成本居高不下的当下，这早已不只是单纯的技术优势，而是企业控制成本、提升产品竞争力的必然选择。

与此同时，行业里还存在一个明显的供需错位。高通的新一代芯片平台已经支持2-bit原生推理，硬件准备好了，但市场上一直缺乏真正可落地、稳定可用的低比特权重。BitCPM-CANN的开源恰好填补了这一空当，让芯片的硬件能力有了用武之地，让普通开发者也能零门槛体验国产算力在低比特场景的真实性能。这种模型与芯片的“双向奔赴”才是端侧AI走出实验室、大规模落地的真实起跑线。

并且，作为全球首个完全在国产算力上原生完成的三值模型，它证明昇腾不仅能训大模型、更能训极低比特大模型，改写了外界对国产芯片“重推理、轻训练”的固有认知。它实现了国产NPU、国产AI模型、国产训练框架三者的完整联动，证明了在不依赖海外算力、不依附CUDA生态的前提下，中国团队依然能打造出世界级的AI“新文字”。

把目光收回到面壁智能自身，BitCPM-CANN标志着面壁智能成长曲线上的一个清晰分水岭。

在这之前，面壁智能在行业中的定位是一家致力于AGI的大模型公司。行业普遍还在追逐参数规模、云端竞赛、榜单刷分的时候，面壁智能已经完成了从底层训练框架到端侧压缩路线的积累，早已成为中国端侧大模型技术路线的定义者。

此次BitCPM-CANN开源不只是一次简单的成果发布，它同时释放了一个清晰的技术信号：端侧大模型的核心矛盾在内存与效率；解决路径应该指向压缩范式本身的重构。面壁智能没有选择跟随海外路线做一个适配者，而是选择在极低比特这条更难、更底层的路线上，成为规则的书写者。

这个分水岭的实质，是面壁智能完成了从模型提供者到技术方法论定义者的身份跃迁。

当然，话语权的建立，从来靠的不是单点突破，而是系统性输出。BitCPM-CANN只是冰山浮出水面的那一角，水面之下是面壁智能从BM-Train到MindSpeed、从低比特方法论到端侧落地闭环的完整体系。

回头看，BitCPM-CANN的真正意义在于，它为国产算力在极低比特训练方向上提供了一个可验证的起点。这套“新文字”已经写出来了，字典和范文都开源了。更多伟大的作品还要看产业界的后续努力，但至少，笔已经交到了每个人手里。

审核编辑 黄宇