云天励飞如何打破大模型应用的“三角约束”？

4月18日至19日，由智东西联和智猩猩发起主办的2024中国生成式AI大会在北京JW万豪酒店召开。

云天励飞“云天天书”大模型技术负责人余晓填博士受邀出席18日下午大模型专场论坛，并发表主题演讲《多模态大模型演进与落地应用探索》。

会上，余晓填博士从人工智能的演进历程为切入点，介绍国内外大模型技术的发展概况，以及大模型技术落地的三个阶段和六大挑战。以算法芯片化平台为基础，云天励飞推出了自主研发的大模型“云天天书”，以及AI边缘训推芯片DeepEdge10。上个月，云天励飞正式推出边缘训推一体产品“深目”AI模盒，致力于大模型在场景落地最后一公里问题。

“算法芯片化”突破技术应用的“三角约束”

从2022年ChatGPT问世以来，国内外大模型项目“井喷式”发展，创新应用层出不穷。伴随着大模型产业规模的快速增长，探索商业化路径，成为当下重点。

余晓填博士在演讲中提到，大模型技术落地面临着“三角约束”——精度、成本、效率。

通过“算法芯片化”的核心技术，云天励飞突破了“三角约束”。在算法芯片化平台支撑之下，云天励飞实现了四大创新：

1. 自研的Space推理引擎，提升了推理速度50%以上。

2. 分布式自适应稀疏缓存解码，减少了GPU需求50%。

3. 可伸缩的大模型训练技术：通过深度和宽度扩展，训练效率翻倍，成本降低50%。

4. 神经网络处理器与推理芯片：适配多种深度学习架构，Chiplet技术解决了工艺对算力掣肘的问题。

通过这四大创新技术，云天励飞自研大模型“云天天书”不仅在各类榜单中屡获第一，并且在应用中也取得良好表现。目前，“云天天书”已在政务民意速办、公文智写、警务视频语义检索、城市道路CT巡检、企业员工培训等领域落地应用。

致力于推动大模型“平民化”

上个月，云天励飞还推出了边缘训推一体盒子——“深目”AI模盒，可实现“3个90%”，即覆盖场景超过90%、算法精度超过90%、使用成本降低90%，解决了大模型在落地场景的最后一公里问题。让人人都能够根据自身场景需求，利用大模型能力，训练出可实战应用的算法，让大模型唾手可得。

未来，云天励飞将以更大力度投入到多模态大模型的技术和应用创新中，为更多行业带来更便捷、高效、低成本的大模型体验。

审核编辑：刘清