软硬协同优化，安谋科技新一代“周易”NPU实现DeepSeek-R1端侧高效部署

 近日，搭载安谋科技最新一代“周易”NPU处理器的硬件平台成功运行DeepSeek-R1系列模型，性能卓越、成本优异，为用户带来了更高效、便捷的AI应用体验。这款创新性NPU处理器采用专为大模型特性优化的架构设计，其beta版本在2024年底已面向早期用户开放评估测试，并获得了广泛认可与积极反馈。预计今年上半年，这款备受期待的NPU产品将正式亮相市场，届时将为更多用户带来突破性的端侧算力体验。

DeepSeek自发布以来，凭借其出色的性能表现和低成本训练模式，迅速成为AI领域的焦点。在DeepSeek-R1的1.5B和7B蒸馏版本推出后，安谋科技新一代“周易”NPU处理器短时间内在Emulation平台上完成了部署与优化，并在FPGA平台上成功实现了端到端应用的演示。

经过严苛的测试验证，新一代“周易”NPU处理器在运行DeepSeek-R1的1.5B和7B蒸馏版本时表现优异。在标准单批次输入、上下文长度为1024的测试环境中，其在首字计算阶段的算力利用率突破40%，解码阶段的有效带宽利用率高达80%以上。其带宽利用率呈现高线性特性，能够灵活适配16GB/s至256GB/s的系统带宽需求。在7B版本、1024上下文长度的场景下，该处理器在充分保障模型应用精度的同时，最高处理速度可达40 tokens/s，并支持动态长度的模型推理输入。面对复杂AI任务时，“周易”NPU处理器凭借其卓越的计算性能、高带宽利用率和能效比，展现出显著的技术优势，为终端设备的智能化升级提供了强劲“芯”动力。

新一代“周易”NPU处理器运行DeepSeek-R1模型效果演示

新一代“周易”NPU处理器对DeepSeek等最新大模型的高效适配和调优，得益于其软件栈对大模型的成熟支持。软件栈提供高效的量化编译工具，能够在显著压缩模型体积的同时，保持高性能推理能力，并通过灵活的编译选项满足多样化需求。此外，软件栈针对大模型进行了深度优化，包括动态推理优化和硬件算力潜力的挖掘，从而显著提升推理速度和吞吐量。目前，软件栈已支持Llama、Qwen、DeepSeek、ChatGLM和MiniCPM等多种主流大模型，并提供了与Hugging Face模型库的对接工具链，方便用户直接部署主流模型。

在硬件层面，新一代“周易”NPU处理器突破了传统设计限制，将对外带宽提高至256GB/s，有效解决了大模型计算的带宽瓶颈问题。为满足端侧大模型对高精度的需求，该NPU处理器全面支持FP16计算，并提供完整的int4软硬量化加速方案，确保模型高效稳定运行。针对端侧模型的低首字延迟需求，“周易”NPU处理器通过软硬协同优化，实现了多核算力的高效扩展。在7nm制程工艺下，单Cluster算力最高可达80 TOPS，能够轻松应对超过16K上下文长度的大模型部署需求，同时满足多模态场景及思维链计算的高算力要求。此外，该NPU处理器还具备强大的多任务并行处理能力，通过细粒度的任务调度和优先级资源分配，实现多任务灵活切换，确保传统语音、视觉业务与大模型应用高效协同，为用户带来更加流畅的使用体验。

目前，安谋科技正在积极拓展DeepSeek系列模型在端侧加速卡的应用场景，通过提升模型推理性能，加速端侧AI应用的商业化落地进程。依托雄厚的技术积累、生态系统优势以及前瞻性布局，安谋科技将持续推动AI大模型技术在PC、手机、智能汽车、机器人、可穿戴设备等多终端领域的深度应用与创新，全面加速端侧AI生态的构建与完善。