端侧AI需求大爆发！安谋科技新一代NPU IP赋能AI终端应用

(电子发烧友网报道 文/章鹰) 2025年是端侧AI爆发元年，以AI眼镜为例，Meta的Ray-Ban系列价格已降至299美元，2025年预计出货200万副，此外，混合AI在端侧实现手机拍照功能优化，汽车自动驾驶的本地决策，都依赖算力提升，这对端侧AI SoC的性能带来挑战，上游IP厂商的新品可以给SoC厂商带来最新助力。

7月9日，在上海张江举办的端侧AI技术论坛上，安谋科技（中国）有限公司高级产品经理叶斌表示，当前端侧AI正从概念走向现实，安谋科技自研“周易”NPU可驱动终端算力跃迁，助力产业把握端侧AI“芯”机遇。

端侧大模型参数提升，安谋科技DSA架构驱动芯片能效比

“当前，端侧设备部署的AI大模型10B为上限，Meta开源了LIama3大模型，包括8B、30B、70B模型。未来，数据将在云端汇集训练，云端AI模型将具备更强的通用性。终端设备上则进行轻量化模型运用，体现出更低延迟、更具个性化和隐私安全等优势。端侧设备，从旗舰平板、手机、智慧屏到PC，硬件平台的演进中，对AI SoC来讲，多核、算力提升成为当前主流发展趋势。”安谋科技叶斌分析说。

在他看来，随着技术发展，计算重心将进一步向更高效、更专业的计算架构或芯片转移，以平衡性能与成本，更好地支撑大模型及各类AI应用的发展。这种情况下，DSA架构仍然是端侧追求能效比和面效比的选择。端侧利用NPU IP等多核协同，实现算力提升，将成为技术发展的关键。

安谋新一代周易NPU IP支持高精度浮点运算，应对未来应用场景

叶斌指出，安谋科技新一代自研周易“NPU” IP，从架构设计角度对于transformer继续优化，兼容CNN超分场景和大模型场景加速，并且持续大规模软件投入，不断完善算字库，支持大语言模型轻量化部署与快速响应，快速满足AI PC、手机、智能座舱，ADAS等新兴端侧AI应用需求。

AI大模型要提升理解能力，必然要增加上下文窗口、序列长度来达到一个效果。AI处理器的架构设计上，充分考虑算力配比平衡的需求。

端侧AI能力受制于算力墙、内存墙和功耗墙。从应用和场景算力匹配的能力看，从存储的演进路线来说，LPDDR5X可以支持端侧10B以下的模型，主要应用在手机、PAD和PC端，汽车智能座舱都是在10B上下的模型，物联网设备的模型体量更小，未来存储演进到LPDDR6，预期模型的容量可以提升50%以上。

叶斌表示，大模型是算法、硬件平台双向奔赴的一个过程，随着更低位宽的算法应用，效果提升，最终令这些模型可以部署到端侧。未来2年到3年，更大的模型在端侧部署的场景。我们预测，20B、30B的AI模型部署在端侧，甚至到30B、40B的模型在端侧部署。

在当前趋势下，端侧AI应用对算力的需求将持续增加，从CNN时代的INT低精度变为需要高精度的FLOAT浮点运算。安谋科技新一代周易NPU做了性能的升级和优化，支持多数据类型，从INT4、 INT8、INT16以及FLOAT 浮点运算。考虑到能效比，硬件上面做到充分的复用。未来在端侧减少内存数据的搬运，中间做一个专用的加速优化。长下文场景，安谋科技在AI加速部分进行了增强。此外，我们对于多任务执行QOS技术进行增强，确保端侧AI多样应用的使用体验。

叶斌强调说：“我们看到AI大模型对带宽提出更高要求及AI计算中心偏移。结合端侧大模型诉求，端侧从NPU，追求能效比和面效比的选择。加上多级缓存，硬件流水的结构，使得数据本地化，节省数据搬运和功耗的开销。”

在端侧AI设备加速落地，AI SoC芯片设计热潮的推动下，半导体IP的战略价值不断显现。IP授权模式，安谋科技采取灵活的架构授权模式，无论是硬件、软件，NPU除了DSK架构外，软件生态也非常关键。安谋科技继承了ARM的基因，NPU IP有一套完整的软件工具链，GPU最新量化工具，还有动态识别的支持和开源的模型库，安谋科技加大投入不断完善算子库，凭借软硬件的创新系统，新一代周易NPU IP能更好满足新兴端侧AI应用需求，满足用户兼具功耗和性能优势的端侧算力体验。