能效比较GPGPU高一个数量级，国产AI芯片让端侧AI大模型高质量落地

电子发烧友网报道（文/吴子鹏）2024年世界人工智能大会（以下简称：WAIC 2024）依然是一场“百模大战”，不过有一些很明显的变化是：新推出的AI大模型更加注重用户体验；边侧和端侧承载AI大模型的方案越来越多。也就是说，AI大模型不仅完成了从“能用”到“好用”的蜕变，也从高高在上的云端，走到更靠近应用场景的边侧和端侧，这给作为方案核心的推理芯片提出了非常高的要求。

在爱芯元智于WAIC 2024举办的“芯领未来丨智能芯片及多模态大模型论坛”上，爱芯元智创始人、董事长仇肖莘在主旨演讲中表示，大模型真正大规模落地需要云边端三级紧密结合，而边侧和端侧结合的关键在于高能效的边端AI芯片。

爱芯元智创始人、董事长仇肖莘

仇肖莘指出，目前基于爱芯元智AI芯片已经完成非常多款AI大模型的适配，能够支持的参数规模覆盖0.3B-7B。“搭载AI处理器的高效推理芯片将是大模型落地更合理的选择，这也是推进普惠AI的关键所在。”

爱芯智眸AI-ISP和爱芯通元NPU
在AI芯片的研发上，爱芯元智打造了广受业界认可的爱芯智眸AI-ISP和爱芯通元混合精度NPU两大自研核心技术。其中，爱芯智眸AI-ISP是将深度学习算法与传统的ISP处理单元相结合，利用像素级AI处理技术，在各种复杂应用场景中，全面提升成像效果，为后期智能处理提供高质量的图像、视频素材，作为万物智能的“眼睛”感知更多信息，特别是暗光全彩的刚需。

爱芯通元混合精度NPU是以算子为原子指令集的AI计算处理器，采用多线程异构多核设计，实现算子、网络微结构、数据流和内存访问优化，高效支持混合精度算法设计，原生支持Transformer网络结构，为大模型在边缘侧、端侧的应用提供良好的基础。

仇肖莘谈到，爱芯元智现阶段奉行以“AIoT+ADAS”为主的一体两翼战略路线，在AI大模型进入边侧和端侧的过程中，智慧城市和智能汽车都是非常具有代表性的应用场景。“目前端侧大模型落地依然在前期探索阶段，我认为智能汽车、AI手机和AIPC将会是第一批落地的场景，智能驾驶之所以需要端侧大模型原因在于汽车对实时性的要求更高。”

爱芯智眸AI-ISP作为AI芯片的子系统，为解决很多端侧场景图像问题提供了强力支持。比如在智能驾驶场景中，爱芯智眸AI-ISP提供AI星光全彩、AI HDR成像、AI多光谱融合、AI防抖、AI场景增强、AI多传感器融合六大技术亮点，能够帮助智能汽车在大雨、大雾、夜间和隧道等恶劣的驾驶环境中获取清晰的图像。

当然，AI技术的发展也在推动AI-ISP的创新。以爱芯智眸AI-ISP来说，目前AI算法已经取代了降噪模块、防抖模块。仇肖莘认为，后续AI-ISP发展一个值得探索的方向是，AI-ISP是不是也能够成为一个“黑盒式”的AI大模型，用AI算法取代更多ISP中的功能单元，使得AI-ISP能够利用CMOS图像传感器的信号直接成像，让用户不必再去考虑ISP工作的中间环节。

在AI芯片的打造上，爱芯通元混合精度NPU的优点不只是原生支持Transformer网络结构，还包括通过可编程数据流DSA架构，能够覆盖目前用户需要的基本算子，成本、效能和运算效率都非常高。仇肖莘说，“AI算法发展至今已经非常成熟，进入一个较为稳定的状态，因此用户对于算子的需求不再有日新月异的变化，这是爱芯元智能够打造通用AI处理器的关键。”

根据爱芯元智联合创始人、副总裁刘建伟的介绍，此次论坛上正式发布的爱芯通元AI处理器在高中低三档算力中已完成布局，并在智慧城市和辅助驾驶两个领域实现了规模化量产，能效比较GPGPU芯片提升了一个数量级，而在以文搜图、通用检测、以图生文、AI Agent等通用大模型应用中，爱芯通元AI处理器也可以让AI开发者以更低的成本进行高效开发。

爱芯元智联合创始人、副总裁刘建伟

让端侧更好地承载AI大模型 根据《2024年中国AI大模型产业发展报告》，截至2024年3月，国内部署大模型的企业数量超243家，以通用大模型为主。不过，我们都知道AI大模型成功的关键在于行业大模型、端侧、端云结合等多种模式并行。 端侧大模型的部署所面临的挑战和云端是完全不同的，需要克服能耗的限制，还需要在足够小的参数下，做到大部分日常工作。在WAIC 2024上，爱芯元智在自己的展台上也展示了其AI芯片在部署端侧大模型方面的能力。

案例一是基于爱芯元智端侧小芯片AX630C部署语言大模型——阿里云通义千问Qwen2.0。AX630C提供3.2T的算力，通过运载通义千问Qwen2.0，可以流畅地实现人机对话，查询信息、日常交流等任务。AX630C运载通义千问Qwen2.0每秒能处理超过10个信息单元，但功耗只有1.5瓦。

案例二是爱芯元智端AX650N结合CLIP模型可以实现以文搜图的功能，只需要一个词、一句话或一段文字，系统就能迅速准确地从海量图片中找到匹配项。

案例三是基于爱芯元智端AX650N运转多模态多维感知大模型OWL-ViT大模型，精准完成对未知目标检测，实现图像自动标签化。

正如上文提到的，爱芯通元AI处理器提供完备的算子集合，因此对于市面上的大模型能够提供非常好的支持，并且适配的速度是非常快的。比如，今年4月份，Meta发布了Meta Llama 3系列语言模型（LLM），具体包括一个8B模型和一个70B模型。随后不久，爱芯元智就宣布，爱芯通元AI处理器完成Llama 3和Phi-3大模型适配。在Llama 3模型的适配上，爱芯元智AX650N芯片适配了Llama 3 8B Int8版本，若采用Int4量化，每秒token数还能再翻一倍，能满足正常的人机交流。仇肖莘强调，爱芯元智的AI芯片对INT2、INT4、INT8、INT16混合精度算力都可以支持。


结语
AI大模型的发展已经进入一个新阶段，行业大模型以及云边端结合的大模型是下一步发展重点。在端侧运转大模型有不一样的挑战，能耗和参数规模都会受到限制，但用户体验不能打折。爱芯通元AI处理器以及爱芯元智AX650N等AI芯片展示出了非常好的端侧大模型支持能力，在普惠AI的道路上迈出了坚实一步。