云知声在边缘侧大模型技术探索和应用

随着人工智能技术的飞速发展，汽车行业正从“软件定义汽车”向“AI定义汽车”的新时代迈进。如何将大模型技术更深入地整合到车载系统中，以实现更高效、更低成本的智能化解决方案，正成为众多车企亟需解决的课题。

2024高工智能汽车开发者大会暨舱驾智能与跨域论坛上，云知声智慧座舱解决方案中心总经理鲍晴峰以《边缘侧大模型带来智能座舱交互新体验》为题，分享了云知声在边缘侧大模型技术探索和应用方面的丰富经验和前瞻性见解。

PART 1

端云融合，边缘计算兴起

随着技术的发展，车载大模型正在经历一场重要的变革。尽管云端计算模式在处理大数据和复杂任务时表现出色，但随着对实时性、稳定性以及个性化服务需求的不断增长，其局限性开始显现。特别是在车载环境中，用户期望获得快速响应和高度可靠的智能服务，同时对数据隐私和安全性的要求也日益提高。

正是这些需求推动了车载大模型向端云融合和边缘计算的方向发展。端侧硬件性能的提升，尤其是AI芯片NPU算力的快速提升，为大模型在车辆本地的高效运行提供了必要的支持。这意味着大模型可以更接近端侧处理，从而减少对云端的依赖，实现更快的响应时间和更高的稳定性。同时，本地处理还有助于保护用户数据的隐私，因为数据不必频繁地在车端和云端之间传输。

此外，端侧大模型的小型化和优化，使得它们能够适应车载系统有限的计算资源，同时保持高性能的AI处理能力。这种技术进步不仅提升了用户体验，也为车辆提供了更加个性化和智能化的服务，满足市场对智能座舱不断增长的期望。

PART 2

引入端侧大模型，云知声重塑座舱交互体验

基于端侧大模型，云知声从语音交互与应用场景两大关键方向入手，提供更加全面、精准的交互服务，重塑智慧座舱交互体验，让车辆从单纯的交通工具转变为能够提供全方位智能服务的生活伙伴。

面向语音交互，云知声依托大模型技术重构了语音识别、语义理解、语音合成的全链路语音方案，实现了在车辆端侧独立完成对话，包括对多语种的精准识别、深度的语义理解、以及提供情感化和个性化的语音反馈，从而打造一个更自然、更懂用户、更有趣的交互体验。

面向场景应用，云知声基于大模型的理解与生成能力，赋能用车、出游、主动关怀、健康、通用聊天五大场景，让座舱体验从简单的语音交互迈向全面智能的个性化交互。

用车场景

AI汽车大师提供用车手册和专业车载知识问答，帮助用户更好地了解和使用他们的车辆，让驾驶更加安全和便捷。

出游场景

提供出游建议，结合车外图片拍摄和视频合成功能，丰富用户旅行体验。

主动关怀场景

通过场景策略引擎，云知声智慧座舱得以智能识别用户需求和习惯并主动提供服务，如天气提醒、日程安排，甚至在长途驾驶中提醒休息。

健康场景

通过与车内传感器和各种可穿戴设备的链接，系统可实时关注驾驶员的生理状态，如心率、疲劳程度等，提供合理的健康建议、慢性病管理服务等，并在必要时发出警示，保障驾驶安全。

通用聊天场景

针对高容错、高开放、低精准的聊天场景，云知声可提供百变人设，打造最知趣知心旅伴，满足用户的情感交流需求。

随着技术的不断进步，我们可以预见，车辆将变得更加智能，成为用户生活中不可或缺的智能伙伴。面向未来，云知声致力通过持续的技术创新，将每一辆汽车转变为一个高度智能化、能够自我学习和进化的移动生活空间，为用户带来更加丰富和个性化的驾驶体验。

审核编辑：彭菁