边缘AI推理将覆盖60%设备，莱迪思FPGA+sensAI 4.1组合拳如何打？

ABI的研究调查表明，预计到2024年设备端的AI推理功能将覆盖近60%的设备。FPGA作为实现边缘AI的技术方式之一受到了青睐。要知道AI的算法灵活多变，FPGA硬件可编程可以适应快速变化的机器学习算法，它可以做灵活的计算资源，包括预处理、后处理、图像处理和滤波等数据。还能进行性能扩展，可实现高速并行处理。因此，我们看到不少FPGA厂商正在大力推动FPGA在边缘计算的应用。

去年莱迪思发布了sensAI 4.1解决方案，当时介绍的一个典型案例是用于PC智能和感知体验。如今，这一方案已经落地于品牌笔记本电脑。凭借其优异特性和不断增强的性能，莱迪思sensAI 4.1解决方案还可广泛应用于工业、安防等众多领域，可挖掘的边缘智能应用非常之多。

莱迪思sensAI 4.1解决方案提升品牌笔记本电脑交互体验

Lattice Nexus FPGA和sensAI解决方案集合可用于开发计算机视觉和传感器融合应用，可以提升用户的参与和协作，保护用户隐私，同时可以帮助开发人员实现新颖的AI功能，提高设备的电池寿命。

据测试，与使用CPU来驱动 AI 应用的设备相比，采用 sensAI 开发，并在莱迪思FPGA上运行的 AI 计算设备的电池使用时间延长了28%。sensAI 还支持现场软件更新，从而保持AI算法的演进，还能让OEM厂商灵活选择不同的传感器和SoC技术来适配他们的设备。

比如在用户检测应用上，用户接近或离开设备时会自动启动或关闭客户端设备；注意力追踪：当用户的注意力不在屏幕上时，降低设备的屏幕亮度，节约电量，延长使用时间；面部取景：在视频会议应用中提升视频体验；旁边者检测：检测站在设备后面潜在的窥视者，模糊屏幕以保障数据隐私。

当然，这也需要Lattice和OEM、其他芯片厂商、操作系统和软件支持商，以及传感器厂商合作，共同推动方案落地。据了解，目前莱迪思已与联想合作，ThinkPad X1系列笔记本电脑采用了专为AI优化的软件方案，能够在不损失性能或电池使用时间的情况下提供优化的用户体验，包括沉浸式交互、更好的隐私保护和更高效的协作。LG也在其最新的GRAM系列产品用采用莱迪思AI和计算机视觉解决方案，提升安全和便捷特性。

sensAI 4.1的增强特性

莱迪思最新发布的sensAI解决方案集合4.1版本提供了即用的AI/ML工具、IP核、硬件平台、参考设计和演示以及定制化设计服务，有助于设计团队开发新的网络边缘设备，并将其快速推向市场。

最新版本的sensAI支持CertusPro-NX FPGA。这个器件的容量会提升，同时计算的能力和功效也会提高，在这款器件基础上，推出了相对应的开发板，称之为声音和视觉机器学习板。还提供支持这块新芯片的CNN Plus加速器，以及相对应的sensAI Studio。

随着sensAI 4.1支持莱迪思CertusPro-NX FPGA系列产品，sensAI的性能也有了较大提升，除了已有的对象检测和追踪应用之外，还新增了对多个对象实时分类等应用。包括自动化工业系统中使用的高精度目标检测和瑕疵检测等应用。该解决方案集合拥有全新硬件平台，包括板载图像传感器、两个I2S麦克风和用于添加更多传感器的扩展连接器，助力基于语音和视觉的机器学习应用的开发。

sensAI还更新了神经网络编译器，支持Lattice sensAI Studio，这是一款基于GUI的工具，拥有AI模型库，经过配置和训练可适用于各类主流应用场景。sensAI Studio现支持AutoML功能，能根据应用和数据集目标来创建机器学习模块。一些基于Mobilenet机器学习推理训练平台的模型专为最新的Nexus系列产品——Lattice CertusPro-NX进行了优化。sensAI还兼容其他广泛使用的机器学习平台，包括最新版本的Caffe、Keras、TensorFlow和TensorFlow Lite。通过标准的Caffe、TensorFlow、TensorFlowLite、Keras等常用培训网络培训完之后，再通过Lattice提供的神经网络编译器，编译成相对应的可执行指令，这些指令最终会由Lattice的芯片所调取使用。

Lattice 提供一个硬件优化的设计方案，通过Lattice Radiant和DIAMOND设计AI解决方案，产生FPGA比特流，然后再把训练后的模型录进来，这样产生一个类似于中央处理器的功能，而这里产生的量化的权重和指令更多指向于执行的代码，这两个结合之后，可以产生一个AI的体验项目。

另外，从软件优化的设计方案中可以看到，Lattice专门提供了一个PROPEL的软件，这个是C代码开发环境，便于大家使用更常用的C代码实现开发而不是使用比较难以上手的FPGA硬件开发语言，这样的代码是便于初学者能够调用一些基本的指令进行一些控制。左侧更多指的是Lattice的开发AI引擎的一些架构，包括机器学习引擎，以此能够做视觉的收取，同时做软核的控制。



不断满足边缘计算的需求

网络边缘处理使得计算和数据存储越来越靠近收集数据的设备端，而不是在数千里之外的数据中心进行分析和决策。网络边缘的实时应用通常不容许高延迟，因此处理、分析和决策必须转移到设备本身。网络边缘设备包括自动驾驶汽车、物联网传感器、安全摄像头、智能手机、笔记本电脑和个人电脑等生成大量数据，而开发人员越来越多地采用人工智能和机器学习（AI/ML）算法来匹配和识别复杂的模式，以帮助分析数据并据此做出决策。

AI/ML算法可以识别出传统的算法程序难以解析和识别的复杂、多维度的数据模式。一些特定的AI/ML应用包括检测、识别、辨认和计数人员或物体；资产和存货追踪、环境感知、声音和语音检测和识别、系统健康监测以及系统维护调度等。

莱迪思sensAI 4.1 工具和IP将低功耗FPGA变为网络边缘智能AI/ML计算引擎。Lattice的网络边缘AI可以实现从一毫瓦到低于一瓦这样的功耗范围。同时，Lattice有灵活的计算资源，硬件可编程最大的特点就是实现加速和机器算法。此外，还内嵌了很多安全功能，具有更高的安全性。

目前Lattice Nexus平台已推出四款FPGA产品，包括CrossLink-NX、Certus-NX、Mach-NX、CertusPro-NX，未来还将有两款新品。同样，sensAI 也将不断推陈出新。总之莱迪思FPGA和sensAI解决方案以其性能、功耗以及灵活的优势推动边缘AI的广泛应用。