安霸推出基于CV72芯片的多模态大模型推理解决方案—Cooper Mini

生成式人工智能（Generative AI）的技术进步正在迅速改变许多行业的面貌。特别是大模型技术如 GPT 系列，已展现出改变游戏规则的能力，其全方位的强悍性能即将实现在多种产品中的广泛应用。轻量化是大模型发展重要方向，生成式 AI 硬件“新物种”的诞生，标志着大模型技术向更加个性化和即时反应的前端解决方案的转变，也预示着装载大模型的产品即将全面普及于广大人民群众的生活中。

从云到边缘：一场必要的转变

尽管云端的 AI 解决方案提供了强大的计算能力，但它们在数据传输带宽、网络延迟、数据安全，以及最重要的用户隐私方面存在着一些问题。比如传统基于云的多模态大模型需要将用户数据上传到远程服务器，这不仅可能引起隐私泄露的风险，还常常因为网络带宽和网络通信延迟带来的影响而减低产品的体验质量。在这种背景下，边缘计算提供了一种更为合理的替代方案。相比于云端大模型，大模型端侧部署具备综合成本低、隐私保护好、响应速度快，服务可靠性高，和个性化以及根据用户需求定制化开发等差异化优势，大模型正向前端设备迁移，从而重构千行百业，实现降本增效。

安霸 CV72芯片和Cooper Mini 的创新

在这一大背景下，安霸推出了基于 CV72 芯片的多模态大模型推理解决方案——Cooper Mini。这一解决方案是为边缘计算环境量身定制的，特别适用于需要在设备上直接进行高级数据处理的应用。CV72 本是一颗可以单芯片支持完整 AI 摄像机的 SoC。使用 CV72 的 Cooper Mini 不仅硬件性能卓越，更搭载了全新的 Cooper 开发平台，提供高度灵活、模块化的软硬件开发工具，极大地降低了开发者的门槛。它支持高达 30 亿参数的视觉大模型推理，能够处理多模态图文匹配、文字驱动的图像搜索及图像驱动的图像搜索，文字驱动的无类别检测追踪等复杂任务，为用户提供丰富而精准的交互体验。

5nm 制程的 CV72 芯片的设计采用了安霸第三代 CVflow 架构，全面支持 Transformer 和 LLM 的单芯片本地高速推理，并且兼顾了低功耗，大大减低了系统成本。除了具备强大的大模型本地推理能力，CV72 还拥有功能完备的图像处理和视频编码能力。其内建 ISP 具备卓越图像处理能力，以及 AI ISP 的强悍图像处理能力，即使在极低光照下也能提供出色的高清图像。其内建的高效率 H.265 视频编码器，可支持最高 8MP90 视频编码，适合各种摄像机搭配边缘 AI 计算的场景，包括视频会议、直播、机器人和安防监控等应用。

结论

安霸在 2024 年 CES 期间推出了基于 N1 的多模态大模型解决方案 Cooper Max，通过单颗 N1 芯片支持高达 340 亿参数的多模态大模型推理。新推出的基于 CV72 的 Cooper Mini，则可实现低功耗系统单芯片高达 30 亿参数的多模态大模型推理。

安霸正在逐渐丰富端侧推理的路线图，提供给市场更多更好的选择。随着生成式 AI 的不断进步和边缘计算技术的成熟，像 Cooper Mini 这样的解决方案预示着未来智能设备的发展新方向之一。这些设备不仅能够提供更个性化、更安全的用户体验，还将在各个行业中推动 AI 应用的广泛落地。

审核编辑：刘清