“从无处不在到无人不用”，大模型推动边缘计算变革的机遇与挑战

《从云到端 AI触手可及》2024年芯原AI专题技术研讨会上，芯原执行副总裁、IP事业部总经理戴伟进作了“大模型推动边缘计算变革的机遇与挑战”的主题演讲，他介绍了目前大模型在边缘计算的变革的同时，也向行业介绍了芯原AI相关的技术演讲和IP产品系列。

图：芯原执行副总裁、IP事业部总经理戴伟进在技术研讨会上作演讲介绍大模型的技术发展趋势

戴伟进首先在发言中表示，AI已经从部署到每个地方，演进到布置到每个人，大模型应该进入到了边缘设备中。以语言为基础的多模态大模型（Multimodal)

2024年初OpenAI正式上线，全球各种GPT迅速跟进。2024年科技企业将大型人工智能模型要引入到嵌入式系统中落地，AI手机、AI PC和汽车的大模型边缘终的落地，并引发了广泛的关注。可惜目前在国内的AI大模型在边缘终端的落地还受政策影响中。


2024年初OpenAI正式上线，全球各种GPT迅速跟进。2024年科技企业将大型人工智能模型要引入到嵌入式系统中落地，AI手机、AI PC和汽车的大模型边缘终的落地，并引发了广泛的关注。可惜目前在国内的AI大模型在边缘终端的落地还受政策影响中。

戴伟进表示，GPT多模态的能已经能够处理图像和文本的输入，他预测在下一代的GPT-5中将加入视频处理模块。据最新的谷歌发布的大模型AI手机 Project Astra项目的演示中，基于Gemini大模型，视频处理模块的AI技术已经实现。2024年2月16日 ，OpenAI发布了首个视频生成模型Sora，支持60秒一镜到底的视频，包含高细致背景、多角度镜头以及富有情感的多个角色，所合成的视频内容与物理世界规律保持一致。谷歌则随即发布对标Sora的高质量视频生成模型Veo。


微软不久前的Copilot+PC的最新技术亮点则是把AI PC的产品新技术推到了新的高潮。三星Galaxy S24系列手机内置即圈即搜、通话实时翻译、笔记助手、智能修图和智能写作五大AI功能，国内一些品牌也随即宣布跟进。AI PC和AI手机成为今年行业最热产品词条。


可以说，AI PC的时代全面到来。受技术封锁的影响，国内的技术厂商急切需要有AI IP相关的技术厂商抱团共同跟进。

不过国内AI技术发展的挑战并不如我们想像中那么困难。戴伟进透露，芯原在AI IP早些年就已经布局，公司的NPU IP全球出货量超过1亿颗。GPU在全球累计出货量过去20年累计近20亿颗。

芯原的5纳米媒体加速器视频，即视频处理器AI Video在全球范围内处于领先地位。


且已经在边缘设计上运行大模型。包括在嵌入式设备、边缘服务器和数据中心，都有产品开始被客户采用。

从上图可以看到芯原的在嵌入式设备的相关NPU和GPU的IP产品。

芯原的AI计算软件与各种软件工具等平台的适配。

芯原在AGI领域，其NPU的性能处于全球领先的地位，LLaMA 7B能达到20 Tokens/s。

戴伟进最近也展示了Open Se Cura项目。该项目跟谷歌协作开发，可以在可穿戴低功耗的终端、AI手机以及云云计算大模型上部署。