恩智浦如何在边缘设备上部署LLM

近来，与AI相关的周期性热点几乎都围绕着大语言模型 (LLM) 和生成式AI模型，这样的趋势反映出这些话题近年来日益增强的影响力和普及程度。与大语言模型和生成式AI模型相关的应用涵盖了广泛的领域，从开放式聊天机器人到任务型助手。虽然LLM主要聚焦基于云和服务器端的应用，但人们对在嵌入式系统和边缘设备中部署这些模型的兴趣也在不断增加。

嵌入式系统 (如家用电器、工业设备、汽车等设备中的微处理器) 需要在成本和功耗受限的情况下，适应有限的计算能力和内存可用性。这使得在边缘设备上部署高精度和高性能的语言模型极具挑战性。

在边缘设备上部署LLM

在嵌入式解决方案中，利用LLM的一个关键领域是操作员与机器之间的自然对话交互，即人机界面 (HMI)。

嵌入式系统可以简化各种输入选项，如麦克风、摄像头或其他传感器，但大多数系统不会像个人电脑、笔记本电脑和手机那样，配备完整的键盘与LLM模型进行交互。因此，嵌入式系统在使用音频和视觉作为LLM输入时，必须具备实用性。这需要一个自动语音识别 (ASR) 或图像识别和分类的预处理模块。

同样，交互的输出选项也有限。嵌入式解决方案能没有屏幕，或者不方便用户阅读屏幕信息。因此，在生成式AI模型之后，需要一个后处理步骤，使用文本到语音 (TTS) 算法将模型输出转换为音频。

恩智浦正在构建eIQ GenAI Flow，通过添加必要的预处理和后处理模块，使其成为一个模块化流程，从而使边缘生成式AI更加实用。

生成式AI正在改变嵌入式应用。阅读恩智浦关于检索增强生成 (RAG) 的白皮书，了解这种方法如何简化LLM的开发过程，点击这里>>

通过LLM革新应用

通过集成基于LLM的语音识别、自然语言理解和文本生成功能，嵌入式设备能够提供更直观和对话式的用户体验。这包括响应语音命令的智能家居设备、通过自然语言控制的工业机械，以及能够进行免提对话的汽车娱乐中控系统，以指导用户或操作车内功能等。

LLM还在健康应用中的嵌入式预测分析和决策支持系统中发挥作用。设备可以嵌入使用特定领域数据训练的语言模型，然后利用自然语言处理分析传感器数据、识别模式并生成见解，同时在边缘实时运行并保护患者隐私，无需将数据发送到云端。

应对生成式AI挑战

在嵌入式环境中部署准确且功能强大的生成式AI模型面临许多挑战。需要优化模型的大小和内存使用，使LLM能够适应目标硬件的资源限制。具有数十亿个参数的模型需要数千兆字节的存储空间，而在边缘系统中，这可能会带来高成本且难以实现。量化和修剪等模型优化技术不仅适用于卷积神经网络，也适用于转换器模型——这是生成式AI克服模型大小问题的重要方法。

像LLM这样的生成式AI模型也有知识局限性。例如，它们的理解是有限的，通常会提供不一致的答案，也称为“幻觉”(hallucination)，而且它们的知识受限于训练数据的时效性。训练模型或通过再训练来微调模型可以提高准确性和上下文感知，但这可能在数据收集和所需的训练计算方面花费巨大。

幸运的是，有需求就有创新；通过检索增强生成 (RAG) 可以解决这个问题。RAG方法使用特定上下文数据创建知识数据库，LLM可以在运行时参考这些数据来准确回答查询。

eIQ GenAI Flow将生成式AI和LLM的优势以实用的方式应用于边缘场景。通过将RAG整合到该流程中，我们为嵌入式设备提供特定领域的知识，而不会将用户数据暴露给原始AI模型的训练数据。这样可以确保对LLM的任何更改都是私密的，并且仅在边缘本地使用。

本文作者

Ali Ors，恩智浦半导体边缘处理AI机器学习战略技术主管。Ali专门负责领导各跨职能团队，为机器学习和视觉处理领域提供创新产品和平台。他目前在恩智浦负责全球AI机器学习战略和技术工作。Ali曾在恩智浦汽车业务部负责ADAS和自主产品的AI战略、战略伙伴关系和平台设计。加入恩智浦之前，Ali曾担任CogniVue公司的工程副总裁，负责开发视觉SoC解决方案和认知处理器IP内核。Ali持有加拿大渥太华卡尔顿大学的工程学学位。