单核A7玩转人脸识别 恩智浦“跨界处理器”又玩出新花样！

近日，“恩智浦微控制器业务2019媒体交流会”在北京举行。恩智浦微控制器（MCU）事业部总经理Geoff Lees及其团队分享了对微控制器、边缘计算和机器学习等领域的看法，并介绍了恩智浦微控制器业务发展战略与在中国市场的布局，以及最新的i.MX处理器产品。

“跨界处理器”概念获得认可

一直以来微控制器/微处理器（MCU）都是一种应用非常广泛的半导体芯片，虽然其性能非常有限，但是功耗却非常的低。得益于近年来物联网市场的兴起，对于MCU的需求也呈爆炸式增长。不过，随着人工智能（AI）、边缘计算的快速发展以及与物联网技术的融合，也对于MCU提出了更高的要求。比如在保证低功耗的同时，进一步提升性能、能效，支持边缘计算，同时加入机器学习的能力等等。

对此早在2017年，恩智浦半导体就宣布推出了“跨界处理器”的概念，所谓跨界处理器，就是指介于常规的应用处理器（AP）与MCU之间的处理器。其最大特点是采用了MCU内核，但基于AP的架构方式，因此既能实现AP的高性能和丰富功能，同时又兼具传统MCU的易用性（沿用MCU工具链）、低功耗、低成本的特性，从而突破了AP和MCU之间的界限。

而i.MX RT1050就是恩智浦当时推出的第一款跨界处理器产品，基于Arm Cortex-M7内核，主频高达600MHz，可提供3015 CoreMark/1284 DMIPS的处理速度，性能高出任何其他Cortex-M7产品50%以上，高出普通市场Cortex-A5产品100%以上，是同期市场上最高性能的Cortex-M7解决方案。

而这款产品一经推出，很快就获得了市场认可。据恩智浦介绍，RT1050在2017年10月量产后，不到一年的时间内已在全球拥有2500家客户，发现的市场机会高达5亿美金。

得益于首款跨界处理器产品i.MX RT1050在市场上的大获成功，2018年恩智浦又推出了两款全新的跨界处理器产品：功能更强的RT1060（片内存储器增加至1MB、支持高速GPIO、CAN-FD和支持同步并行接口的NAND/NOR /PSRAM外扩存储控制器，还加入了图形加速功能）和主打高性价比的RT1021。

此外，恩智浦当时还宣布推出了一款基于28nm FD-SOI（全耗尽绝缘硅）工艺制造的支持Linux系统的微处理器产品——i.MX 7ULP，不仅性能大幅提升，同时功耗也接近了市场上微处理器的最低功耗。不过，当时恩智浦并未详细对i.MX 7ULP进行介绍。

并入“跨界处理器”的i.MX 7ULP

在今年6月25日的“恩智浦微控制器业务2019媒体交流会”上，恩智浦首次对媒体详细解析了i.MX 7ULP这款产品，同时还将这款产品归类到了“跨界处理器”产品线当中。

于修杰表示，目前市场上已经有更多的人对“跨界处理器”的概念表示了认可。两年以前给大家介绍的“跨界处理器”概念不是终结，今天介绍的i.MX 7ULP是一个新的“跨界处理器”概念。

据介绍，i.MX 7ULP首次开创性的采用了Arm Cortex-A7内核+ Cortex-M4内核的组合，这两个核是处于完全独立的两个域，在大多数情况下，Cortex-A7核是处于关闭状态，只是在有高性能需求时才会启动，Cortex-M4则更多的处理一些基本的任务，保证设备低功耗运行。这有点类似于Arm在手机处理器领域的big-LITTLE大小核架构，其目的同样是在提供强大性能的同时，能够将功耗进一步降低。但是，将Arm的AP小核与微控制器内核进行类似的大小核组合似乎倒是首次。

而之所以选择Cortex-A7和Cortex-M4这样的组合，主要是因为Cortex-A7是目前Arm能效比最高、应用最广泛的一个AP内核，同时成本也非常的低，而且可以跑Linux操作系统。同样，Cortex-M4应用也是非常的广泛的被应用于MCU当中，能效比也很高，成本也比较低。采用Cortex-A7和Cortex-M4的组合，不仅可以提供最佳的性能和功耗，同时也能够具备较低的成本和较高的易用性。

此外，i.MX 7ULP内部的Cortex-A7所在的域，还集成了低成本的片上DDR以及Vivante GPU内核（原图芯技术的GPU，已被芯原微电子收购）。这也使得i.MX 7ULP能够进行复杂的图形处理加速。

恩智浦LPC和低功耗微控制器产品线总经理于修杰表示，”i.MX 7ULP的一个很好的应用场景就是智能手表，因为智能手表绝大部分时间是处于休眠状态，一天中真正需要启动各种应用或者接电话的时间可能还不到半个小时，因此i.MX 7ULP非常适合智能手表，既能够提供各种应用功能所需的高性能支持，又能够保证其超低功耗运行，以实现更长的续航能力“。

我们都知道，MCU和应用处理器在功耗有很大的差别，可以说是1-2个数量级的差别。比如，基于MCU的小米手环充一次电可以用数周，而采用应用处理器的Apple Watch最多只能用2天。虽然，传统的MCU功耗很低，但是却无法支持Apple Watch对于高性能和复杂功能实现的要求。因此，i.MX 7ULP这款产品确实非常适合智能手表。

恩智浦微控制器事业部全球产品总监曾劲涛解释称，对于Apple Watch一类的智能手表来说，”有时候要进行复杂图形处理就可以将i.MX 7ULP当中的Cortex-A7打开，运行结束后立即关闭。内置的2D GPU和3D GPU也是同样的用法，可以先通过3D GPU将画面处理好，然后关闭，接着通过2D运行。比如应用到智能手表上，可以通过3D GPU处理表盘画面，而切换时间可以通过Cortex-M4执行“。这样就可以在满足性能和功能要求的同时，将功耗控制到最低，极大的延长智能手表的续航时间。

除此之外，得益于内置的Cortex-A7内核和GPU，i.MX 7ULP还可支持人脸识别智能门禁、人脸识别智能门锁一类的应用。

现场展示另一款的基于i.MX 7ULP的人脸识别智能模块，可支持红外摄像和红外补光模式，集成高精度的3D人脸识别算法；此外还可支持USB的3D结构光摄像头，集成3D人脸识别算法。可支持多达5000张的本地人脸图片比对识别，也可支持在线人脸图库的导入。

于修杰表示，“这些客户的需求有一个特性，要么是需要很好的显示能力，要么需要很强的计算能力，要么是与网络、云端不停通讯，但是这些应用又需要低功耗。我们认为i.MX 7ULP是针对这些应用的最好的一款产品，已经被很多客户采用”。

据透露，目前i.MX 7ULP已经开始生产了，并且在很短时间内，已经卖出了超过100万颗，获得了很多客户的认可。

于修杰强调：“新的i.MX 7ULP，跟i.MX RT系列中的产品非常不一样。最主要的是它有两个核心，一个是Cortex-A7，另外一个是Cortex-M4，它的操作系统也不一样。如果我们只做MCU或者只做应用处理器，就很难做出现在我们介绍的这种产品。恩智浦是世界上唯一一个MCU和应用处理器两种都做的芯片企业，因此对我们来说做跨界处理器是很自然的，如果你只做MCU或者只做应用处理器要做一个跨界处理器，就非常困难。”

中国设计+制造的跨界处理器：i.MX RT1010

特别值得一提的是，此次恩智浦还推出了在中国设计和制造的跨界处理器——i.MX RT1010。

在当天的媒体会上，Geoff Lees非常高兴的宣布：“这（i.MX RT1010）是我们真正在中国设计、中国生产的一款芯片。”

据介绍，i.MX RT1010这款产品是完全由恩智浦中国研发团队独立设计完成的，并交由中芯国际北京亦庄厂代工生产，采用的是40纳米制程工艺。其不仅拥有更小的封装尺寸，并且主频也提高到了500MHz，整体性能达到了竞品的两倍，更为关键的是，其价格也只有原来i.MX RT1050的一半，只要6.88元，约1美元左右。可以说，性价比非常的高。

“这个不是大家见过的传统意义上的1美金以下的MCU。i.MX RT1010的主频可以达到500MHz，其算力相比以前英特尔的奔腾处理器还高。售价1美金的产品可以达到这样的性能，这在以往市场上是没有的。”曾劲涛强调：“目前市场上达到500MHz的MCU，价格通常高达5-6美金、甚至8-9美金。而1美金价位的MCU，主频仅能够达到100MHz或者100MHz以下的水平。在这个价位上做到这样的能力，i.MX RT1010是第一款。”

“eIQ”与“EdgeScale”

正如前面所提到的，随着人工智能（AI）、边缘计算的快速发展以及与物联网技术的融合，也对于MCU提出了更高的要求。比如在保证低功耗的同时，进一步提升性能、能效，支持边缘计算，同时加入AI的能力等等。

而为了发挥自身芯片的AI能力，恩智浦此次还向市场推出了一个恩智浦自己研发的机器学习的开发环境“eIQ”。

现在市场上有各种各样AI模型，根据模型不同所配的硬件也不一样，可以用CPU/MCU运行，也可以用GPU/DSP运行，也可以用专用的AI协处理器来运行。

而恩智浦推出的eIQ平台，则可以根据不同的硬件来优化机器学习的模型。据介绍，eIQ环境可以与市场上几乎所有的开源训练工具、建模、编辑器兼容。市场上现有的几乎所有公开的标准或者客户定制的标准，都可以在这个开发环境下进行开发。因此，基于eIQ平台，开发者可以非常轻松的将机器学习应用部署到恩智浦所有的产品线上，从低端的微控制器到高端的处理器。

Geoff Lees表示：“我们这套eIQ的平台可以帮助客户优化他们的算法，客户可以根据自己对功耗或性能的需求选择一款适合于其应用的硬件，基于恩智浦MCU或是高端的处理器开发他们的应用。不一定只有高性能的处理器才是最适合机器学习的，这套开发平台可以帮助客户在很低端的MCU上都可以运行高达10倍、20倍或更高的性能。”

此外，恩智浦还推出了一款软件基础架构EdgeScale，旨在通过集中实现ML应用来统一边缘设备中的数据收集、管理和处理方式。EdgeScale可与基于云的人工智能（AI）／ML服务无缝集成，并支持在所有恩智浦硬件平台上部署云训练模型和推理引擎。

恩智浦大中华区微控制器事业部市场总监金宇杰表示：“EdgeScale软件架构是从云到端支持安全设备管理的架构，可以提供更有效的机器学习运算能力。其通过在PaaS层上建立一个优质的开发工具，为大量运算提供系统级支持。目前国内的一些手机制造商、工厂、网络运营商等都已经在使用此平台优化其管理环境，和加强对其安全设备的管理。”

此外，恩智浦还可以为客户提供完整的AI解决方案，即“一站式服务”。

据介绍，恩智浦与国内的包括语音识别、人脸识别等方面的顶级算法公司，都有非常广泛的合作，涉及的项目也非常广泛。

“我们与人脸识别算法公司合作，将人脸识别技术运行在一个单核处理器上（比如上面提到的i.MX 7ULP，实际是通过单核Cortex-A7来运行人脸识别算法），而原来这是一个在云端的非常大的模型，现在我们已经成功将其移到了边缘。此外，现场还展示了基于恩智浦高性能MCU以及科大讯飞的语音识别算法的产品。这些都是恩智浦与合作伙伴一起，在恩智浦完整的解决方案的基础上进行优化实现的。未来我们会继续为客户提供这样的完整解决方案。”金宇杰举例介绍到。

继续加强在中国市场的投入

作为全球最大的微控制器消费市场之一，恩智浦对中国市场也是非常的重视，并且正在不断加大对于中国市场的投入。

除了此次重点发布的在中国设计、中国制造的跨界处理器i.MX RT1010之外，Geoff Lees指出，恩智浦苏州设计中心是中国第一家芯片设计研发中心，去年底刚刚举办了庆祝成立20周年的活动。恩智浦在去年还与苏州大学合作成立了一个实验室，为它们提供足够的技术支持，为学生提供更好的培训。

与此同时，恩智浦在去年还扩大了在北京的软件部门，很多新增的软件工程师都身处北京。目前恩智浦在北京的部门已有超过200名工程师。恩智浦在原有北京原有部门所持能力的基础上，又增加了机器学习、人工智能和边缘计算的能力。此外，恩智浦在北京还设立了实验室，以便与客户直接就特定项目进行合作。

在当天的媒体会上，Geoff Lees还宣布恩智浦将与天津大学计划合作打造物联网联合实验室，该实验室的成立还受到了天津滨海新区政府支持，并计划在明年正式启用该全新实验室。此外，Geoff Lees还透露，接下来还将会与上海、广州和深圳等地的大学进行合作。

6月26日，天津开发区管委会与恩智浦半导体公司进行了《人工智能应用示范基地项目投资合作协议》的签约，恩智浦人工智能及物联网示范项目正式落户天津开发区。据悉截止目前，恩智浦半导体在天津开发区累计投资总额已达约8.52亿美元。

Geoff Lees在当天的媒体会上多次强调：“中国市场一直是恩智浦的战略重点，面向中国市场进行产品定义、设计和制造是过去恩智浦一直强调的主题”。