ML-EXray：云到边缘部署验证框架

嵌入式AI和ML在边缘的部署不断增加，无疑引入了从云到边缘的新性能变化。尽管边缘设备上的AI执行性能突然发生了负面变化，但采用TinyML是一种前进的方式。

该过程中的主要挑战是识别边缘部署期间的潜在问题，以及 ML 推理执行中的可见性较低。为了解决这个问题，斯坦福大学的一组研究人员提出了一个端到端框架，该框架提供了对层级ML执行的可见性，并分析了云到边缘的部署问题。

ML-EXray 是一种云到边缘部署验证框架，旨在通过记录中间输出来扫描边缘 ML 应用程序中的模型执行，并使用参考管道提供相同数据的重放。此外，它还比较性能差异和每层输出差异，使用户能够自定义函数来验证模型行为。

ML-EXray的结果表明，该框架能够识别预处理错误，量化问题，次优内核等问题。ML-EXray 只需不到 15 行代码，即可检查边缘部署管道，并将模型性能校正多达 30%。此外，该框架还指导操作员将内核执行延迟优化两个数量级。

调试框架系统由三部分组成：

跨平台 API，用于边缘和云端 ML 推理的检测和日志记录

用于数据回放和建立基线的参考管道

用于检测问题并分析根本原因的部署验证框架

对于自定义日志和用户定义的验证，ML-EXray 提供了一个用于编写自定义断言函数的接口。通用部署验证流程图易于理解，因为 ML-EXray 从检测的应用程序和引用管道中获取日志。数据集用于在应用框架之前训练应用程序。

将框架应用于两个管道后，将执行精度匹配，这将检查准确性下降并仔细检查层级详细信息以找到差异。检测完成后，将注册断言函数以进行根本原因分析。

研究人员发布的评估表显示了该过程中涉及的任务，模型和断言。该框架适用于各种任务，以识别多个维度的部署问题，包括输入处理、量化和系统性能。此外，预处理调试目标的代码行实现为四个 LoC（代码行），而没有 ML-EXray 的代码行为 25 行。在结束关于新方法和优化调试框架的讨论之前，让我们回顾一下研究的命题。

总结一下通过 ML-EXray 引入边缘 AI 部署在识别故障和处理错误方面的创新：

一套检测 API 和 Python 库，可查看任务关键型应用程序边缘设备上的层级详细信息。

端到端边缘部署验证框架，为用户提供了一个界面，用于设计用于验证和检查的自定义函数。

ML-EXray 旨在检测工业设置中导致 ML 执行性能下降的各种部署问题。

审核编辑：郭婷