云天励飞发布新一代边缘AI芯片，采用Chiplet技术，可运行百亿级大模型

电子发烧友网报道（文/李弯弯）近期，云天励飞在高交会上重磅发布新一代AI芯片DeepEdge10。据介绍，DeepEdge10是国内首创国产14nm Chiplet大模型推理芯片，采用自主可控的国产工艺，内含国产RISC-V核，支持大模型推理部署。

云天励飞新一代自研AI SoC DeepEdge10

大模型在边缘运行对AI芯片提出新的要求

人工智能正在带来史无前例的新一轮科技革命浪潮，以 ChatGPT 为代表的领域大模型在过去的一年多的时间内取得了很大进展，在对话生成、图像生成、图像分割、音乐生成等领域都展现了让人惊叹的效果，并迅速的在一些场景快速应用落地，例如网络搜索、会议摘要、自动化编程、 自动化办公软件等等。

在另一方面，大模型的能力也迅速的从自然语言处理快速的向语音、图像、 视频等领域横向扩展，多模态大模型的出现昭示着通用人工智能的时代即将来临。

边缘计算的场景呈现出算力碎片化、算法长尾化、产品非标化、规模碎片化等特征，传统的算法开发和芯片都难以适应新一代人工智能边缘计算场景的产品化需求。大模型的出现，为行业提供了算法层面的解决之道。但大模型在边缘计算场景要面向实战发挥作用，则需要AI大模型推理芯片的支持。

根据任务的不同，AI芯片可分为训练芯片和推理芯片。训练，即通过输入大量数据来构建神经网络模型，使之可以适应特定的功能。训练芯片对算力、精度、通用性有较为苛刻的需求，需要能够处理海量数据以及适应各种不同的学习任务；推理，即借助现有神经网络进行运算，通过新输入的数据来获得推理结论。推理芯片对性能和精度的要求相对较低，更注重对成本、功耗、时延等指标的综合考量。

云天励飞董事长兼CEO陈宁对媒体表示，训练不是目的，生产大模型不是目的，千行百业的落地和应用才是最终目的。不论是机器人、无人驾驶汽车智能传感，还是各类智能硬件，甚至脑机接口芯片，都需要大模型的推理芯片。与训练芯片相比，目前推理芯片市场还处于百家争鸣的状态。尤其在中国，已经开始考虑怎么基于国产工艺落地推理芯片，构建国产工艺推理芯片的生态。

对于AI芯片来说，当前备受关注的大模型，带来了全新的计算范式和计算要求。云天励飞副总裁李爱军谈到，芯片需要具备更大的算力、更大的内存带宽、更大的内存容量，才能支持巨量参数的大模型在边缘端运行。

云天励飞新一代AI芯片可承载百亿大模型运算

自2014年成立之初，云天励飞就一直坚持自主研发芯片，沉淀“算法芯片化”的核心能力。陈宁指出，“算法芯片化”并不是简单的“算法+芯片”，而是云天励飞基于对场景的理解，以及对算法关键计算任务在应用场景中的量化分析，将芯片设计者的理念、思想与算法相融合的AI芯片设计流程，能够让AI芯片在实际应用中发挥更优的效果。

在算法芯片化核心能力的支持下，云天励飞目前已完成3代指令集架构、4代神经网络处理器架构的研发，且陆续商用。4年前，云天励飞第一代AI芯片DeepEye1000实现独立商用。

如今，大语言模型逐步向边缘和终端渗透，云天励飞聚焦构建边缘推理芯片的自主可控生态，推出新一代边缘AI推理芯片DeepEdge10。该芯片采用国内先进工艺、支持多芯粒扩展的 Chiplet技术，可提供12TOPS（INT8）整型计算和 2TFLOPS（FP16）浮点计算的深度学习推理计算算力，满足市场对处理芯片在算法的多样性、准确性、算力密度及效能方面的要求。

并且，配合DeepEdge10系列边缘智能芯片的处理器架构和硬件架构升级，工具链和软件栈也进行了相应的升级，满足多种深度学习算法模型在复杂的应用场景下的部署需求。

云天励飞EDGE10系列芯片

针对各类应用场景，云天励飞已开发出Edge10C、Edge10 标准版和 Edge10Max三款芯片。 Edge10C采用 8 核 CPU、算力 8Tops，Edge10 标准版采用 10 核 CPU、算力 12Tops，两者均应用于智慧安防、智慧城市和智能制造等边缘计算推理领域。

Edge10Max 拥有 32 核 64 位通用处理器内核，单芯片可提供 50Tops 算力，32GB DDR 容量和 120BG/S 的内存带宽，能高效支持 Transformer 模型中的矩阵乘法运算，主要应用于边缘大模型推理领域。

目前 DeepEdge10 芯片主要的适配的合作伙伴包括摄像头、边缘计算设备、机器人、汽车智能座舱等行业的客户。此外，依托DeeEdge10创新的D2Dchiplet架构打造的X5000推理卡，已适配并可承载SAMCV大模型、Llama2等百亿级大模型运算。云天励飞高管对媒体表示，下一代AI芯片将全面兼容多模态大模型，适配云天天书大模型的升级。



千亿级、百亿级大模型需要达到极强计算能力的同时，还能保持超低的功耗及成本，对芯片工艺要求高。

Chiplet是一种芯片模块化设计方案，通过集成封装等技术，能够将不同工艺节点、不同功能、不同材质的芯片，如同搭积木一样集成一个更大的系统级芯片。陈宁介绍说：“结合当前国内的生产工艺现状，我们和合作伙伴一起在三年前联合技术攻关，采用D2D Chiplet技术，定制了一系列的IP，以在14nm的工艺节点上，支持大模型的推理部署。”

小结

总的来说，目前大模型正在向边缘端渗透，而这对边缘AI芯片提出新的要求，需要更高的算力、更大的内存带宽及内存容量。云天励飞率先通过Chiplet工艺实现在14nm下推出可以运行百亿大模型的边缘推理芯片，值得关注。