0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

Arm NN:在移动和嵌入式设备上无缝构建和运行机器学习应用程序

电子工程师 来源:未知 作者:邓佳佳 2018-03-06 09:25 次阅读

Arm NN

最近,Arm宣布推出神经网络机器学习(ML) 软件 Arm NN。这项关键性技术,可在基于 Arm 的高能效平台上轻松构建和运行机器学习应用程序。

实际上,该软件桥接了现有神经网络框架(例如 TensorFlow 或 Caffe)与在嵌入式 Linux 平台上运行的底层处理硬件(例如 CPUGPU 或新型 Arm 机器学习处理器)。这样,开发人员能够继续使用他们首选的框架和工具,经 Arm NN 无缝转换结果后可在底层平台上运行。

机器学习需要一个训练阶段,也就是学习阶段(“这些是猫的图片”),另外还需要一个推理阶段,也就是应用所学的内容(“这是猫的图片吗?”)。训练目前通常在服务器或类似设备上发生,而推理则更多地转移到网络边缘,这正是新版本 Arm NN 的重点所在。

一切围绕平台

机器学习工作负载的特点是计算量大、需要大量存储器带宽,这正是移动设备和嵌入式设备面临的最大挑战之一。随着运行机器学习的需求日益增长,对这些工作负载进行分区变得越来越重要,以便充分利用可用计算资源。软件开发人员面临的可能是很多不同的平台,这就带来一个现实问题:CPU 通常包含多个内核(在 Arm DynamIQ big.LITTLE 中,甚至还有多种内核类型),还要考虑 GPU,以及许多其他类型的专用处理器,包括 Arm 机器学习处理器,这些都是整体解决方案的一部分。Arm NN 这时就能派上用场。

下图中可以看出,Arm NN 扮演了枢纽角色,既隐藏了底层硬件平台的复杂性,同时让开发人员能够继续使用他们的首选神经网络框架。

Arm NN SDK 概览(首次发布版本)

您可能已经注意到,Arm NN 的一个关键要求是Compute Library,它包含一系列低级别机器学习和计算机视觉函数,面向Arm Cortex-ACPU 和Arm Mali GPU。我们的目标是让这个库汇集针对这些函数的一流优化,近期的优化已经展示了显著的性能提升 – 比同等 OpenCV 函数提高了 15 倍甚至更多。如果您是Cortex-MCPU 的用户,现在还有一个机器学习原语库 – 也就是近期发布的CMSIS-NN。

CMSIS-NN 是一系列高效神经网络内核的集合,其开发目的是最大程度地提升神经网络的性能,减少神经网络在面向智能物联网边缘设备的 Arm Cortex-M 处理器内核上的内存占用。Arm开发这个库的目的是全力提升这些资源受限的 Cortex CPU 上的神经网络推理性能。借助基于 CMSIS-NN 内核的神经网络推理,运行时/吞吐量和能效可提升大约 5 倍。

主要优势

有了 Arm NN,开发人员可以即时获得一些关键优势:

更轻松地在嵌入式系统上运行 TensorFlow 和 Caffe

Compute Library 内部的一流优化函数,让用户轻松发挥底层平台的强大性能

无论面向何种内核类型,编程模式都是相同的

现有软件能够自动利用新硬件特性

与 Compute Library 相同,Arm NN 也是作为开源软件发布的,这意味着它能够相对简单地进行扩展,从而适应 Arm 合作伙伴的其他内核类型。

适用于 Android 的 Arm NN

在五月举行的 Google I/O 年会上,Google 发布了针对 Android 的 TensorFlow Lite,预示着主要新型 API 开始支持在基于 Arm 的 Android 平台上部署神经网络。表面上,这与 Android 下的 Arm NN SDK 解决方案非常相似。使用 NNAPI 时,机器学习工作负载默认在 CPU 上运行,但硬件抽象层 (HAL) 机制也支持在其他类型的处理器或加速器上运行这些工作负载。Google 发布以上消息的同时,我们的 Arm NN 计划也进展顺利,这是为使用 Arm NN 的 Mali GPU 提供 HAL。今年晚些时候,我们还将为 Arm 机器学习处理器提供硬件抽象层。

Arm 对 Google NNAPI 的支持概览

Arm NN 的未来发展

这只是 Arm NN 的第一步:我们还计划添加其他高级神经网络作为输入,对 Arm NN 调试程序执行进一步的图形级别优化,覆盖其他类型的处理器或加速器……请密切关注今年的发展!

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • ML
    ML
    +关注

    关注

    0

    文章

    133

    浏览量

    34287
  • 机器学习
    +关注

    关注

    66

    文章

    8062

    浏览量

    130442
收藏 人收藏

    评论

    相关推荐

    嵌入式软件开发应该掌握哪些知识?

    两个部分组成,其中嵌入式软件是指在嵌入式系统中运行程序,用于控制硬件并提供特定的功能和服务。嵌入式软件应用广泛,包括汽车、医疗
    发表于 02-19 11:23

    嵌入式学习步骤

    开发板测试固件以及实际设备上进行测试。 嵌入式系统的多样化发展,它将更为广泛地应用于各个领域,实现智能化、网络化、自动化的目标。同时,随着人工智能和
    发表于 02-02 15:24

    什么是嵌入式Linux?

    Linux到底是什么呢? 嵌入式linux 是将日益流行的Linux操作系统进行裁剪修改,使之能在嵌入式计算机系统运行的一种操作系统。简单来说,是除了电脑之外可以
    发表于 10-11 13:47

    Arm Corstone™-700技术概述

    节点、网关和嵌入式应用程序构建安全的SoC。有关组件版本,请参阅ARM®Corstone™-700发行说明。
    发表于 08-30 07:37

    107使用ADS v1.2进行嵌入式软件开发

    当开始为嵌入式应用程序开发软件时,ADS的用户可能不知道他们的目标硬件的技术规格。目标外围设备、内存映射甚至处理器本身的细节可能是未知或未确定的。 为了知道或考虑此类细节之前进行软件
    发表于 08-30 06:27

    使用MobilenetV2、ARM NN和TensorFlow Lite Delegate预建二进制文件进行图像分类教程

    本指南回顾了使用ARM NN TensorFlow Lite Delegate(ARM NN TfLite Delegate)进行图像分类的示例应用
    发表于 08-28 06:12

    构建ARM NN自定义后端插件21.08版教程

    Cortex-A CPUs、马里-GPUs和Arm ML 处理器运行工作量。Arm NNNN还允许您撰写自己的自定义后端与第三方设备接口,
    发表于 08-22 07:27

    使用Arm NN API指南Android实现神经风格的转移

    本指南中,我们将向您展示如何使用ARM NN API构建一个样式转换Android应用程序。 要阅读本指南,您需要以下资源: ·
    发表于 08-11 06:18

    Arm Ethos-U NPU应用程序开发概述

    Ethos-U NPU是一款小型高效处理器,用于减少推理时间以及运行机器学习(ML)神经网络(NN)所需的内存需求。Ethos-U NPU连接到Cortex® ‑M系列中央处理器(CP
    发表于 08-02 06:37

    如何将应用程序移植到运行在基于Arm设备的Windows?

    的通用Windows平台(UWP)移植,以及使用Chromium嵌入式框架构建本地WebView应用程序。 要遵循本指南,您需要: •与Windows on Arm兼容的框架和开发环境
    发表于 08-02 06:06

    构建一个移动应用程序

    电子发烧友网站提供《构建一个移动应用程序.zip》资料免费下载
    发表于 07-04 14:33 0次下载
    <b class='flag-5'>构建</b>一个<b class='flag-5'>移动</b><b class='flag-5'>应用程序</b>

    使用Arduino Nano 33构建嵌入式语音识别应用程序

    电子发烧友网站提供《使用Arduino Nano 33构建嵌入式语音识别应用程序.zip》资料免费下载
    发表于 06-28 14:50 1次下载
    使用Arduino Nano 33<b class='flag-5'>构建</b><b class='flag-5'>嵌入式</b>语音识别<b class='flag-5'>应用程序</b>

    如何构建冠状病毒图表并在嵌入式设备运行

    电子发烧友网站提供《如何构建冠状病毒图表并在嵌入式设备运行.zip》资料免费下载
    发表于 06-16 10:30 0次下载
    如何<b class='flag-5'>构建</b>冠状病毒图表并在<b class='flag-5'>嵌入式</b><b class='flag-5'>设备</b>上<b class='flag-5'>运行</b>

    嵌入式学习路线你知道吗?

    外围设备的硬件工作原理,以及如何使用C语言来编程、控制这些硬件。除了要学习对硬件编程之外,还需要学习嵌入式硬件的知识,但是对于嵌入式软件工程
    发表于 06-14 16:00

    PX5的ARM TrustZone支持让嵌入式系统变得更加安全!

    ,从汽车的组件到工业场景,制造商必须从硬件层向上降低网络安全风险。PX5 RTOSCortex-M23和Cortex-M33ARM TrustZone的支持能够保证最困难的
    发表于 05-18 13:44