把Transformer大模型部署在端侧，IPC SoC正在普惠AI

电子发烧友网报道（文/黄晶晶）AI大模型袭卷而来，而如何让终端产品插上AI的翅膀会是芯片厂商研发的方向和市场的机会。如今网络摄像机作为智慧城市、智能家居等应用的主流终端发展迅速，IPC SoC芯片是其核心之一。最近爱芯元智带来的两款IPC SoC新品在黑光全彩处理、适配Transformer大模型等方面表现十分亮眼，爱芯元智副总裁史欣也向媒体分享了公司对IPC SoC高清化、智能化发展的洞察。

两款IPC SoC：AX630C和AX620Q

爱芯元智带来的两款新产品AX630C和AX620Q都搭载了最新的爱芯智眸AI-ISP4.0图像处理引擎以及爱芯通元4.0高性能、低功耗的NPU引擎。这些技术的升级使得这两款产品在视频图像效果、智能业务处理和分析等方面均达到了业界的领先水平。

爱芯智眸AI-ISP4.0对HDR、去噪、demosaic、锐化、去雾等算法做了升级，在暗光下的噪声处理、色彩还原、运动拖影、清晰度等方面较上一代产品更优秀，通过AI赋能ISP Pipeline里的关键模块，在各种复杂应用场景中全面提升成像效果，为后期智能处理提供高质量的图像、视频素材。

爱芯通元混合精度NPU则通过减少数据搬运，在一定程度上减小了内存墙和功耗墙的阻碍，提高整个NPU的效率，从而在端侧边缘侧面积、功耗受限的情况下，以更高的有效算力支持更多的智能算法。

爱芯元智的“真黑光”技术，则是通过爱芯智眸AI-ISP将画面真实还原，后续再通过NPU进行优化，进行更加准确的图像处理，在极低照度下获得超越人眼所见的黑光全彩效果。

AX630C具有高算力的特征，其CPU采用双核A53@1.2G，配合3.2T@INT8的NPU以及硬化的CV算子模块，可以对4K图像进行实时的智能处理，提高客户智能算法处理的精度和性能。同时，AX630C新一代的NPU引擎支持主流的Transformer网络如ViT/DeiT/Swin/SwinV2/DETR等，可以解决训练数据集不足引起的算法精度下降，以及长尾场景下算法的泛化性问题。

据介绍，AX630C是爱芯元智面向智慧城市行业前端IPC市场推出的超高清智能SoC，可支持4K@30fps实时真黑光；AX620Q是爱芯元智面向模组与渠道行业前端IPC市场推出的高清智能SoC，可支持5Mp实时、4K非实时的真黑光。

从细节上看，为了实现黑光全彩的效果，爱芯智眸AI-ISP4.0集中对四个关键模块进行了算法升级。史欣分析，传统ISP由十几个模块组成，在算力足够大的时候若不考虑成本可以用AI模型去增加每一个模块。而爱芯元智结合了客户的痛点需求和成本因素，对pipeline模块中HDR、3DNR、RLTM、Demosaic等进行了增强，达到了色彩饱和度高、运动图像无拖尾，以及噪声、锐化、清晰度等效果的显著提高。后续，爱芯元智还将针对防抖、3A等模块进行优化。

这其中的另一个问题是AI的算力消耗，本质上来说尽可能将模块的精确度提高就能更少的消费算力。史欣举例说，例如做人脸处理是对整个区域或者部分区域做降噪，消费的算力不一样。原来在400万分辨率的情况下需要1T做整个AI-ISP的处理，现在爱芯元智的第三、四代产品已经降到了0.6甚至0.5T，接下来可以做到0.2T就可以完成3DNR降噪的算力消耗，既能降低芯片成本，又可以留出更多的算力让客户开发更多可能。

Transformer在智慧城市中的应用

“Transformer应用的一个典型场景是对信息特征的检索，从最早期的后端处理、服务器处理，算法上云，到目前开始进入算法在边缘侧的部署等等，但始终没有解决端侧部署的问题。大的厂商能够根据行业应用来适配模型大小，而Transformer兴起之后将带来更多具象化的信息，使得检索更容易、并缩减检索的时间。”史欣说道。

爱芯元智能够帮助客户把在服务器、云端训练好的算法在裁剪之后在端侧部署。这里既有部署性包括带宽、功耗、成本等的考虑，也有精度的要求。爱芯元智通过几年来在NPU和算法工具链的迭代，IPC SoC能够支持算法的快速部署、保证精度，具备端侧部署的软硬件条件。



不仅是Transformer大模型，爱芯元智还在适配国内的DINOv2大模型，爱芯元智依托硬件NPU、软件算法等技术并与合作伙伴共同推出算法部署国产化。

普惠AI

我们看到爱芯元智有一个非常明确的发展理念，即是普惠AI。AI不应只在云端，更应该让消费、智慧城市、汽车等各个行业受惠。史欣谈到，客户希望能够从To G或者To大B的业务部署向To小B，甚至To C的业务上进行部署。即便是家用摄像头这个普及型消费电子产品，也需要AI-ISP加持，那么更需要像爱芯元智这样具备软硬件能力的厂商通过产品技术、性价比等去拥抱市场。

对于AI芯片的发展趋势，史总给出预判，他认为端侧AI的小型化将越来越多的落地，同时其性能要有前瞻性和较高的性价比。同时产品的易用性加强，芯片厂商的方案交付要更简单。同时除了自身掌握关键技术之外，也需要生态合作伙伴做更丰富的算法和软件，如此才能加快AI的普惠化，助力智能化产业升级。