MindSpore在LiteOS端侧AI技术实践及探索

当LiteOS遇上Mindspore，为物联网插上AI的翅膀

来源：嵌入式资讯精选

9月10日，在2020年中国嵌入式技术大会，嵌入式人工智能技术与应用分论坛上，华为MindSpore端侧开发专家翟智强做了精彩分享，演讲主题为《MindSpore在LiteOS端侧AI技术实践及探索》。讲解了在物联网端侧资源受限、硬件种类繁多、指令差异化较大等多种挑战下，MindSpore结合LiteOS在模型压缩、性能优化、流水线处理等方面的一些工程化实践，以及在混合精度量化、硬件平台自适应等方向的技术探索

MindSpore是华为自研的全场景训练推理一体化深度学习框架和平台，覆盖了云、手机、IoT等各个领域AI技术，LiteOS是轻量级物联网操作系统。

在过去，一些AI算法的训练和推理都是在云上或者服务器上去实现的，但是随着手机、可穿戴、物联网等终端设备硬件计算能力的不断提升，以及算法模型设计本身的演进，大小更小、能力更强的模型逐渐能够部署到端上运行。在最贴近数据源头的设备侧实现机器学习，减少了端侧与云（服务）侧的数据传输，降低了响应时延，可以大大提升用户的体验。

端侧AI及其面临的挑战

为了解决端侧AI及其面临的挑战，我们推出了LiteOS+ MindSpore Lite 面向物联网端侧的轻量级AI解决方案，突破端侧设备资源受限、算力低等限制，设计提供超轻量级AI推理解决方案，帮助开发者快速部署AI模型，满足智能设备端侧AI应用需求，提升Mobile& IoT解决方案的竞争力。

基于LiteOS的端侧AI框架图

LiteOS 现已集成 MindSpore 轻量级AI推理框架，在LiteOS Studio中输入模型文件，例如人脸识别、指纹识别等模型文件，MindSpore进行模型解析、优化，生成模型AI代码，再链接预置算子库后与LiteOS工程进行编译，即可将AI模型快速部署到端侧实现端侧AI推理。

LiteOS Studio开发流程