电子发烧友App
莱迪思半导体白皮书
2020年7月
CCOVID-19新冠病毒的爆发让人们的工作状态发生了巨大变化，笔记本电脑市场也因此繁荣了起来。早在病毒蔓延全球之前，行业分析公司Gartner就曾在2020年1月指出：“Windows 10升级的强劲业务需求让PC市场自2011年以来首次出现增长，尤其是在美国、欧洲、中东和非洲（EMEA）以及日本市场。”为了在这个日益兴盛的市场中保持竞争力，笔记本电脑的OEM厂商希望通过采用新技术和增添新应用来提高生产力，从而使其产品获得差异化优势。虽然其中许多技术最初是用于智能手机等设备，但它们同样可以在笔记本电脑上大放异彩，使之一方面拥有成熟笔记本电脑的强大功能，另一方面又获得移动设备的便捷和安全性，并很好地适应周围环境。
笔记本电脑上的许多新功能都可以通过软件实现，但是这会缩短电池使用时间。为了解决这个矛盾，莱迪思半导体正着手开发基于硬件的方案，以极低的功耗实现更高的性能，同时由于采用了莱迪思的FPGA器件，为未来的升级提供了极大便利。由于FPGA能在现场重新编程，OEM厂商还可以通过下载软件和固件更新，在硬件上实现新的应用，而无需重新设计硬件。
笔记本电脑的使用不断增长
曾有人预测笔记本电脑将被智能手机和平板电脑取代，然而由于工作环境的改变和新兴技术的发展，笔记本电脑的使用不降反增。云计算和无处不在的宽带连接意味着员工在工作场所之外也同样可以保证不错的生产力。由于笔记本电脑配备全尺寸键盘、高分辨率显示屏和摄像头，通常是电子邮件、文字处理和视频会议等商务生产力应用的首选。
尽管许多围绕省电和人工智能（AI）的技术创新大多应用于智能手机平台，它们同样可以应用于笔记本电脑，且不影响其功耗。例如，笔记本电脑的显示屏是主要耗电来源，我们可以对用户进行智能监测，确定用户的注意力是否在电脑屏幕上，当用户的注意力转移到别处时，可以自动降低屏幕亮度，从而大大延长电池寿命。这一应用已经在智能手机上广泛使用，如今在笔记本电脑上也可以获得类似的体验。
AI日益普及
尽管AI仍是一个潜力无限的新兴领域，但它正不断向消费者展现其巨大价值。有些AI应用已经成为主流，用户也十分满意它们带来的便利。人脸识别就是其中之一，特别是作为智能手机上的安全功能大行其道。它现在还广泛用于全球的机场，在旅客通过出入境关口时追踪进入或离开该国的旅客。在这几种情况下，摄像头都能识别出面部，增强了计算机用户（或进入某国的游客）对其身份的判断的可信度。如今，消费者逐渐对AI体验感到满意，他们期望人脸识别之类的智能视觉功能可以在笔记本电脑上得到更广泛的应用。
安全和隐私
台式机的安全和隐私固然十分重要，但是笔记本电脑则更甚。无论是用于工作还是个人使用，安全性和隐私（尽管在技术上属于不同的概念）可以视作一个要求，因为保护敏感数据的安全性能需求与保证该数据私密性的需求密不可分。
我们都知道保护安全和隐私通常意味牺牲便捷。尽管那些繁琐的安全措施能够保护在公共区域使用的笔记本电脑，但是到了熟悉可控的环境中，例如工作场所或家里，这些措施会令人烦恼，甚至没有必要。
笔记本电脑可以使用AI来识别场景，这样做的好处就是它可以根据自身所处的位置调整安全设置。在家里使用时，由于客观风险较小，就可以调整设置更便于使用。相比之下，在咖啡厅里使用时，由于面对的是陌生的环境和人，可以自动提高安全设置。
当然，这不仅仅是检测笔记本电脑所处的环境那么简单。负责扫描环境的摄像头还可以检测用户起身离开的动作，例如去倒咖啡或去洗手间。然后，计算机可以快速自我锁定，无需用户进行锁屏。同样，摄像头还可以检测到其他人从后方窥视用户的屏幕，从而采取措施阻止未经授权的用户观看屏幕。如今计算机入侵事件层出不穷，AI还可以帮助监视计算机内部行为和活动，向用户报告任何的可疑事件。
以上列举了笔记本电脑的一些升级的案例，旨在满足现代工作者的需求和期望。由于篇幅有限，本文只涉及两种笔记本电脑的发展趋势：
•实时在线和瞬时启动的特性。主要目的是省电。
•全新的笔记本电脑形态。这意味着可以将屏幕与机身分离、尝试全新的笔记本电脑形状或者折叠笔记本电脑和屏幕。
莱迪思FPGA（尤其是iCE40 UltraPlusTM 和CrossLink-NX™ FPGA）以及用于实时在线网络边缘AI应用的Lattice sensAI™解决方案集合提供了在未来的笔记本电脑中实现这些功能的有效途径。而且，其功耗要远远低于基于ASIC的方案。
实时在线和瞬时启动
如今，笔记本电脑进入睡眠或唤醒状态只有三种操作方式：按下按钮（可能是用鼠标），合上机盖或等待电脑进入睡眠。新款的笔记本电脑可能会通过语音命令唤醒。
笔记本电脑面临的主要问题在于其SoC芯片。SoC负责控制笔记本电脑中进行的各类活动，因此，它参与了电脑执行的绝大多数任务。SoC包含CPU核心，可能还包括其他处理电路和外设电路，它在工作时会消耗大量能量。
由于SoC参与了笔记本电脑的大量活动，因此在系统（尤其是SoC）休眠时，电脑几乎无法处理任何任务。睡眠期间可用的功能就是和唤醒系统相关的选项。其他任务都无法在睡眠的系统上运行。在某些情况下，如果需要处理特定的任务（如下载电子邮件、网络监控等），工作功率会达到100毫瓦，大大减少了电池使用时间。
如果笔记本电脑拥有响应传感器信号的AI功能，那么即使SoC处于睡眠状态，电脑也可以执行许多任务。AI功能可以在SoC睡眠时工作或做出决策，要么唤醒SoC开展进一步的工作，要么让SoC保持睡眠状态，让AI处理所需完成的任务。低功耗FPGA是实现AI功能的理想硬件平台。它们拥有足够的处理能力执行基本的AI任务（例如存在检测），功耗却比SoC低得多。如果AI确定需要SoC参与任务，则将其唤醒，配合AI进行处理或采取其他措施。
莱迪思sensAI解决方案集合可搭载iCE40 UltraPlus、ECP5™和CrossLink-NX FPGA，轻松实上述AI功能。但是目前为止，此类AI大多应用于物联网（IoT）设备。例如，智能门铃可能具有以下功能：
•检测人员和其他物体（如包裹）的存在。
•检测和/或识别出特定的人脸或人。可以是注册为授权用户的特定人员（例如房屋的居住者），也可以是经常路过门铃摄像头的人员，例如身穿制服的快递员或园丁。
•理解一些手势或语音命令。将面部识别与语音关键词或密码验证相结合，可以实现双重身份验证登录，提高安全性。
•利用兼容各类传感器的推理引擎来最大程度地减少传输到云端数据。
在此类应用中，莱迪思FPGA能够在SoC不工作的状态下，在更低功耗下提供比独立CPU更高的性能，因为CPU必须通过软件执行任务，而FPGA采用效率更高、基于硬件的实现。例如，控制智能门铃或监控摄像头的CPU每秒可处理1-2帧，而功耗却高达100 mW。 莱迪思iCE40 UltraPlus FPGA在7 mW功耗下每秒可处理5帧，性能为前者的3-5倍，功耗仅为前者的十四分之一。
如果莱迪思的sensAI解决方案可用于智能门铃或监控摄像头，则同样适用于笔记本电脑，实现以下功能：
•检测用户何时观看屏幕。当用户的视线离开屏幕时，调暗屏幕节省电量；注意力重新聚焦屏幕时，增加屏幕亮度。
•根据笔记本电脑所处的位置调整安全设置。
•检测用户的视线方向。这可以简化通常需要鼠标的任务。眼部跟踪可以避免手动操作某些频繁出现的任务。
•优化图形渲染的功耗。可以着重渲染用户正在观看的屏幕部分。其余部分保持相对模糊或较低的渲染效果，从而节省电量，直到用户视线转移到屏幕的其他部分。•
通过玩家的眼睛移动影响游戏的叙述轨迹。
•检测是否有人在用户背后偷窥。
•没人使用笔记本电脑时，调暗屏幕以节省电量。
下面的示意图说明了莱迪思iCE40 UltraPlus FPGA如何分担笔记本电脑SoC的一些AI处理工作。
在此设计中，传感器接口收集各个传感器的输入，在FPGA的神经网络（NN）加速器中进行处理，并在片上SRAM存储处理神经网络所需的权重和激活值。如果需要进一步处理，加速器则做出决策，唤醒SoC。
AI功能的构建采用了莱迪思sensAI解决方案集合的各种资源以及iCE40 UltraPlus和CrossLink-NX FPGA。设计人员可以使用完善的软件工具和整套设计工具，进一步调整在Caffe、Keras、MobileNet、ResNet、SSD和TensorFlow等主要框架上训练的网络。sensAI包括了参考设计、演示板、IP核和硬件平台，可用于开发各类常见的AI应用（例如存在检测、对象计数、面部识别等）。莱迪思还提供定制设计服务，让开发人员快速实现AI功能，而无需全方位学习如何开发和实现AI应用。
减少信号数量，迈入全新形态
现代笔记本电脑面临的第二个挑战是如何超越传统的外观。这涉及到笔记本的灵活性，例如从中间将屏幕折叠将其收起。笔记本电脑的设计面临着大量信号传输的难题，这些信号又涉及到众多协议。
一种简单的处理方法是通过信号聚合来减少信号数量。可以将多个低带宽接口复用到单个更高带宽的信号上，然后再进行解复用，大大优化了笔记本电脑的布线。它使电路板之间的连接更简单，还能简化电路板上的布线，还意味着能够大大减少穿过铰链或其他柔性元件的线路。并且由于减少了连接器数量，可靠性也得到增强。
信号聚合可以在单线或一对LVDS上实现。莱迪思的FPGA可以提供诸多性能选择来传输这些信号，从而为最高效的设计实现提供方案。例如，一片iCE40 UltraPlus FPGA可以以在单线上实现7 Mbps的传输速率。使用更高性能的莱迪思FPGA，可以实现更高的带宽聚合速度。
然而，问题在于，不同的信号可能采用不同的协议进行传输。可以通过类似于传感器集线器（Hub）的I/O集线器来解决这一难题。该集线器可聚合不同类型的本地I/O信号，并将其复用到数量较少的高速线路上。这些线路连接另一端的I/O集线器，信号在此被还原为最初的协议类型。
莱迪思的FPGA提供用于接收I/O信号并传输多路复用信号的物理硬件。莱迪思还提供用于构建I/O集线器的IP。信号聚合可适用各类传感器，因此不同类型的传感器（RGB、IR、激光雷达、雷达等）数据流或通过不同总线类型（I2C、I2S、UART、GPIO）传输的信号可以聚合在同一引脚或线路上。莱迪思在智能手机的信号聚合方面长期积累了丰富的经验，这些同样适用于笔记本电脑上的传感器聚合应用。
莱迪思助您打造未来的笔记本电脑
工程师们正努力开发全新的笔记本电脑，为用户提供类似智能手机和平板电脑的使用体验。与今天的产品相比，未来的笔记本电脑将更易于使用、电池寿命更长并且更加安全。
功耗和外形尺寸方面的改进将最为显著。笔记本电脑将通过节电技术，让用户可以连续使用一整天或更长时间。它们还将变得更加灵活、便携。
而莱迪思FPGA将是笔记本电脑实现这些新功能的关键。在SoC之外处理工作可延长SoC的睡眠状态，仅在需要使用其计算能力时才将其唤醒，这将大幅降低功耗。在硬件上实现AI以及传感器集线器，可以连接多个摄像头、麦克风和其他传感器，意味着SoC停止工作的时间更长。聚合多路信号的I/O集线器有助于减少信号数量，实现基于AI的传感器聚合，笔记本电脑的构建因此更加简单，还能提供更丰富的用户体验。
莱迪思的FPGA为这些集线器提供了硬件平台，sensAI解决方案集合则使AI功能更易实现。两者结合可以帮助开发人员制造更轻便、功耗更低的笔记本电脑，为2020年代的企业和个人用户提供更强大的生产力工具。
参考资料
1https://www.gartner.com/en/newsroom/press-releases/2020-01-13-gartner-says-worldwide-pc-
shipments-grew-2-point-3-percent-in-4q19-and-point-6-percent-for-the-year
工商网监
评论