讯飞星火端侧模型发布

参数量小、内存占比小的端侧模型，正成为“兵家必争之地”。

“史上最强Mate”、“绝对对得起那四个字”。刚刚发布的华为Mate 70，基于“软硬端云的AI技术底座”推出了AI运动轨迹还原、AI通话摘要、AI消息随身等九大功能，让AI手机的概念进一步具象化。

自2024年年初至今，三星、苹果、谷歌、vivo等国内外手机厂商纷纷推出自家的AI手机，并将其中的AI功能作为核心卖点面向消费者重点宣传。根据Counterpoint数据，仅在

2024年第一季度，全球具有生成式AI功能的智能手机型号就从16个增加到30多个，支持生成式AI的智能手机在2024年第一季度占全球智能手机销量的6%，比上一季度的1.3%有了显著增长。

事实上，不只是手机，越来越多的AR眼镜、PC、汽车等消费电子终端厂商，也在将AI技术应用到自己的产品和服务中。

火热落地的背后，是端侧模型的快速兴起。

与“力大砖飞”的云端大模型相比，端侧模型虽然参数量更小，却有着低延时、可靠性高、隐私安全性高、低成本的优势，这些恰恰是用户量庞大、交互频繁的智能终端所需要的。

01多尺寸、可落地

讯飞星火端侧模型发布

面对汹涌而至的端侧模型浪潮，头部大模型厂商早早推出了自研的端侧大模型。科大讯飞基于多年的核心技术积累和成建制的研发队伍，推出了星火端侧模型矩阵，覆盖0.4B-13B，效果已满足落地商用要求，并已在汽车、AI PC等场景落地，更多场景持续深挖中。

在智能座舱领域，10月24日的科大讯飞全球1024开发者节上，汽车端侧星火大模型首次发布，并且在Q4就将率先在奇瑞、广汽、长城的车型中陆续“上岗”，让每辆汽车上配置一位“双商在线”的智能助手。

汽车端侧星火大模型相比云端大模型效果损失≤1%，端侧首次响应时间40ms，端云融合交互时间低至1.3s;基于汽车端侧硬件，在无网环境下也能使用。

“车里有点闷”“放点儿摇滚乐”“讲个小红帽与大灰狼的故事”……无论是简单地指令，还是复杂地句子，车主想到什么就说什么，车机不仅能听懂，还能做得好。即使行驶在无网、弱网的隧道、野外，依旧可以进行流畅的语音交互。

AI PC 领域，讯飞推出的7B端侧模型，可开发写作助手、会议助手、PPT助手，本地RAG隐私保护个人知识库等办公场景应用，满足个性化，隐私安全的AI PC助手构建要求。

作为部署在终端设备上运行的大型预训练模型，端侧模型虽然参数量更小，但性能却丝毫不弱。通过知识蒸馏，端侧大模型能够在保持较高性能的同时，大幅减少模型参数量和计算复杂度。这种技术使得复杂的AI模型可在资源受限的端侧设备上高效运行，实现低能耗、高响应速度和高准确度的AI推理。

与云端大模型相比，端侧模型还有着独特的优势：

在实时性上，借助端侧模型，用户大部分数据处理均在本地完成，减少了对云端的依赖，大幅提高响应速度。

可靠性方面，即使在网络不稳定或无网络环境下，端侧模型仍然能够提供服务。

从隐私安全来看，用户数据无需上传云端，从而降低数据泄露风险。

经济性方面，端侧模型的计算均在用户本地的设备上进行，无需使用手机等厂商的云推理服务，大幅降低了用户使用成本。

目前，端侧模型正在加速落地，在手机、PC、耳机、音箱、XR、汽车、具身智能，及众多可穿戴设备等场景不断应用。

02端侧模型开发框架

轻松定制开发本地化应用

为了让开发者在各类场景平台快速使用上讯飞星火端侧模型，除基础能力外，讯飞推出了端侧模型应用开发框架-SparkEdge，包含完善的端侧内容安全审核，本地RAG，智能体开发框架等应用开发刚需能力，支持开发者轻松定制本地化应用。

• 主流平台全覆盖，接入方式更灵活

兼容平台方面，讯飞星火端侧模型既兼容主流Windows、Linux、Android等通用平台以及各类国产化操作系统平台，也可适配国内外的CPU、GPU、NPU等不同算力平台。

接入方式上，跨平台SDK供移动端等原生应用开发者快速接入;轻量级Service轻量级Service方案一键星火+开源，云+端模型丝滑切换，满足多应用多模型调度需求。

• 丰富本地的开发配套能力

端侧内容审核：提供纯本地轻量级审核方案，保障模型输入输出内容安全

本地智能体框架：针对本地邮件信息总结，写作，系统指令控制和跨应用协同等场景，提供完整智能体和Tools开发框架，满足Prompt型，任务规划型等各类本地智能体快速构建

本地RAG方案：针对本地设备说明书，个人敏感文档等知识管理问答场景，提供轻量级RAG方案，满足隐私安全的个人知识库快速构建

端微调：针对端侧模型微调量化需求，提供完整平台化链路，”云训端推”，支持用户快速完成个性化微调定制

目前，讯飞星火端侧模型已在讯飞开放平台面向开发者开放调用。

同时，面向机器人、AI PC、键鼠等智能硬件场景，讯飞还提供了端云协同大模型应用开发框架SparkChain，让智能硬件开发者，无需关注大模型应用开发过程中，模型选择，开发框架，能力组合，硬件适配等各类问题，专注于智能硬件产品创新，星火SparkChain一套全搞定。

03下一个赛点

共同推动AI落地提速

相关研究报告显示，2023年中国端侧模型市场规模达8亿元，持乐观态度估计，预计2024年中国端侧模型市场将达到21亿元。

面对广阔的市场，想要推进端侧大模型的部署与应用，让AI真正做到无处不在，单一企业的力量难以覆盖全部产业链环节，需要构建开放合作的生态系统，探索更多的应用场景。

科大讯飞作为人工智能领域的领军者，自2017年起承建国家新一代人工智能开放创新平台，已开放767项AI能力，汇聚超774.9万开发者团队，累覆盖终端设备数超41.2亿，链接超千万生态伙伴。“端侧AI元年”已然到来，讯飞将与生态伙伴紧密合作，推动端侧模型的普及落地，为用户提供性能更优异、体验更好的智能终端设备。