云天励飞边缘AI推动大模型规模化应用落地

2024年毫无疑问是大模型应用落地元年，面对灵活多变的任务和复杂的场景环境，用边缘AI打造低成本、高效能、强落地的大模型应用是关键。

2024慕尼黑上海电子展在上海隆重开幕。在首日的“2024算力技术创新发展生态大会”上，云天励飞受邀发表主题演讲，全面系统地介绍了公司以边缘AI作为推动大模型产业规模化应用的切入点，围绕国产边缘AI芯片在架构和技术上进行的创新和探索。

技术平台如何打造?应用驱动是关键

科技创新日新月异，但技术发展与迭代若没有应用落地和使用场景的支撑，就像无本之木没有根基。云天励飞深入场景落地、沉淀技术平台，在公共安全、城市治理、智慧交通、人居生活等行业落地多个标杆案例，同时率先提出“1+1+N”自进化城市智能体的实践框架。

在此过程中，云天励飞坚持自主研发芯片，沉淀 “算法芯片化” 的核心能力。这里的“算法芯片化”并不是简单的“算法+芯片”，而是基于对场景的理解，对应用中关键计算负载——算法的量化分析，将芯片设计者的理念、思想与算法相融合的方法论和芯片设计流程，它能够让AI芯片在实际应用中发挥更优的效果。

在算法层面，云天励飞构建了应用落地驱动的算法平台，开发了“云天天书”大模型。

在神经网络处理器和芯片层面，云天励飞通过自定义指令集、处理器架构以及工具链的协同设计，构建了算法驱动的神经网络处理器平台和面向边缘AI的芯片平台，完成了四代神经网络处理器架构的技术迭代，自主研发了三代边缘AI芯片，并陆续投入商用。

推动大模型规模化落地 边缘AI是关键

随着人工智能进入大模型时代，多模态模型和具身多模态模型成为人工智能重要的技术方向。同时，在大模型产业规模化应用落地的驱动下，算力需求也从云侧向边缘侧和终端扩展。

在大模型领域，“云天天书”大模型采用通用大模型、行业大模型、场景大模型的三层架构设计，包含了语言大模型、视觉大模型、多模态大模型等不同系列，能提供十亿、百亿、千亿级参数量的多尺寸大模型，实现对多个行业赋能，并支持各类场景的快速部署。

通过首创的SPACE高性能推理引擎，可以在保证精度的同时，实现更高并发、更快推理、更低成本的行业应用方案。云天励发构建了完备的大模型安全体系，“云天天书”大模型也已正式通过中央网信办备案。

通过可微调的场景大模型的多种能力，云天励飞打造了具有专业领域知识的智能体，实现公共安全、智慧政务、城市治理、智慧交通、AI教育等多个行业的智能应用赋能。

为边缘AI筑牢算力底座 芯片创新是关键

云天励飞大模型的行业应用落地实践中，发现推理微调算力需求将超过通用训练算力的需求，“云边端”的混合协同部署将成为趋势，同时由于专用推理微调硬件的价格优势和能效优势，边缘的专用推理微调芯片将有广阔市场空间。云天励飞以终为始，将边缘推理微调作为芯片创新的切入点。

从N个场景、N套算法，到N个场景、1套算法，从“教了才会”到无师自通，从硬件、软件、人力的大量投入到0成本调用，支撑“云天天书”大模型在多个行业快速落地应用，推理微调芯片功不可没。云天励飞DeepEdge10系列芯片，正是这样的存在。

DeepEdge10系列芯片基于国产先进工艺，集成了自研神经网络处理器NNP400T，不仅采用了高集成度的 SoC 主控级设计，还在国内首创采用 Die-to-Die 高速互联架构和 Chiplet 先进封装设计，实现了片内算力的灵活拓展。同时，还支持基于 Chip-to-Chip 组网互联进行系统扩展，可满足千亿级参数大模型的边缘微调部署需求。

通过架构创新，DeepEdge10系列芯片实现了纯国产芯片在边缘AI场景的突围，赋能边缘全场景的智能应用，推动大模型场景的规模化落地。

目前，针对不同边缘应用场景，云天励飞正式推出支持多种算力性能和多种内存容量配置的DeepEdge10系列芯片，赋能大模型规模化应用落地，促进中国人工智能高质量发展，云天励飞期待和各个行业的生态伙伴共同努力。