Technica发布SmartFog技术白皮书，满足万物互联时代的数据处理需求

2019年1月，美陆军研究实验室向Technica公司授出了一份价值约104万美元的合同，委托该公司为战场士兵开发雾计算平台SmartFog。通过在联网的情况下训练机器学习算法并融合战场上各种来源的数据，该平台使战场前沿的士兵们能够在断网无法连接云端的情况下利用人工智能技术进行离线数据处理。日前，Technica公司在其官方网站上公布了SmartFog的技术白皮书，本文对其中的关键技术部分进行了梳理。

SmartFog是一种基于软件的原型能力，它建立在多种核心技术之上且与硬件无关。SmartFog可以轻松地将人工智能分析微服务部署到云、雾和物联网设备上，其架构支持与现有系统的灵活集成，提供了大量的实现方案，能够增强从云到物（C2T）的安全性和私密性。此外，SmartFog赛博安全微服务通过轻松将人工智能分析微服务从云端部署（或重新部署）到物端并进行训练，从根本上改变了下一代信息安全性。例如，SmartFog异常检测微服务使用了一种先进的机器学习神经网络来发现异常数据。SmartFog并不是要取代任何现有的解决方案，而是要用下一代人工智能算法来弥补现有解决方案的不足。

1.万物互联时代的数据处理需求

物联网是由移动电话、传感器、摄像头、执行器、微控制器等相互连接的设备以及其他装有嵌入式软件的设备构建而成。这些设备的部署预计将呈指数级增长。地球上物联网设备的数量已经超过了人口数量，创造了前所未有的海量数据。物联网设备将给最先进的大数据基础设施带来难以置信的压力，并从根本上增加影响企业网络安全态势的威胁载体数量。Gartner预测，到2022年，企业生成的数据中将有超过50%在数据中心（即核心或云）之外创建和处理。

整合到SmartFog中的雾计算架构将帮助处理来自物联网设备的数据，可从云到网络边缘或从云端到物端提供不间断的计算、网络、存储、加速、分析和管理等高级赛博安全分析所需的功能。具体来说，这意味着像异常检测微服务这样的人工智能算法可以部署在任何需要它提供支持的地方，如云端、雾端或网络边缘。经过训练，该算法可以用来发现其所处环境的异常。这意味着，只需根据特定的情景调整参数，一种算法即可服务于多个目的。

2.SmartFog的核心技术

（1）雾计算

虽然各企业（包括军方）正积极地将服务部署到云端，但是云并不适合所有用例。尽管最新的网络基础设施和鲁棒的无线连接可以在不到400毫秒的时间内将请求/响应从设备发送到云端，但某些应用程序需要更低的延迟。

此外，还存在许多带宽受限或通信时断时续的情况，最典型的就是战术边缘环境。在这种情况下，从云交付的集中式应用程序使观察、判断、决策和行动（OODA）环所需的时间超出了任务需求可接受的范围。

雾计算是一种新兴的计算范式，它使计算、存储、网络、加速、分析和管理控制更接近于网络的边缘。它的名字来源于这样一个事实：云在高高的天空，雾则离地面更近。雾计算的关键是，云（或核心中的企业服务器）与物联网设备之间包含一个雾层，如图1所示。来自物联网设备的事件被发送到靠近网络边缘的雾节点。

图1 雾计算体系结构示意图

分布式雾节点补充了集中式云，可以在边缘设备之间移动大量数据，只将长期分析或管理控制所需的数据发送到云。雾计算对物联网有诸多益处，其中最主要的是安全、认知、敏捷、延迟和效率（SCALE）。SmartFog作为一种雾计算平台原型，整合了所有这些优势。特别是在赛博安全方面，SmartFog使包装成赛博安全微服务的人工智能算法能够针对其环境进行分析。例如，与在位于边缘的微控制器上运行的异常检测微服务相比，位于云中的异常检测微服务将被训练以发现不同的网络异常。

OpenFog协会和国家标准协会（NIST）等标准化组织已经发布了基于开放标准的雾计算愿景，目的是促进互操作性并避免厂商锁定。SmartFog遵循IEEE 1934标准（雾计算参考体系结构）。

（2）图形处理器（GPU）加速

在过去的五年中，人工智能的应用范围和性能均有着显著的提升，而深度学习算法是人工智能进步的主要原因。深度学习是更广义的机器学习范畴的一种特殊形式。深度学习算法可利用不同构建方式的各种人工神经网络（ANN），如卷积神经网络（CNN）、递归神经网络（RNN）、自动编码器、逐位等。

经过训练，人工神经网络可处理信息流和识别模式，例如面部识别、图像识别、语音识别和异常检测。图形处理器（GPU）大大缩短了训练神经网络模型的时间。模型经过训练后，可以将其部署到设备上，执行所需模式的识别，这个过程称为推理。Technica已经创建了许多包含深度学习算法的人工智能分析微服务，这些算法可以通过训练来执行赛博安全任务。

如前所述，集成人工智能和物联网的应用程序极大地受益于雾计算。人工智能是从程序上操作大数据来识别模式，并做出实时和时间敏感的决策。物联网包括所有在边缘收集、分发和处理数据的设备。雾节点内的计算能力允许人工智能所需的数据处理在更靠近边缘的地方执行，而不会遇到云的延迟。SmartFog强调人工智能以及人工智能和系统级微服务的管理，包括版本控制和配置。

（3）微服务架构（MSA）

微服务架构（MSA）是一种特定类型的软件开发，专注于构建具有明确定义的接口和操作的单用途模块。近年来，随着企业追求更高的敏捷性，并向DevOps解决方案中发现的持续集成/测试模式迈进，MSA范式变得越来越流行。许多开源项目促进了MSA的采用。微服务可以帮助创建能够按天或周交付的可扩展、可测试的软件。

MSA可以被认为是下一代面向服务的体系结构（SOA）。SOA于1996年提出并在本世纪初得到广泛应用，其目标是将独立的遗留应用程序分解为轻量、松散耦合的服务。服务通常通过SOAP/HTTP协议进行通信。然而在实践中，SOA是脆弱的。对服务的任何更改通常都会破坏正在使用的应用程序，从而需要更改代码。

MSA具有与SOA相同的目标，即将单个应用程序分解为可重复利用的轻量级服务。不同之处在于，SOA本质上是使用中间件将组件粘合在一起，而MSA则使用明确定义的应用程序编程接口（API）。这些API通常是基于REST的。

SmartFog原型由大量执行系统级功能（消息代理、数据库功能、复杂事件处理、数据转换等）的微服务和AI分析功能/算法（异常检测、面部识别、对象检测等）组成。

（4）容器化/Docker容器

容器是执行特定功能的独立软件单元，也称为微服务。Docker是Linux容器的一个开源实现。Docker的操作类似于VMWare等虚拟化技术，但是它更轻量化，因为它包含了一个简化版的Linux。Docker容器镜像是一个独立的、可执行的软件组件，包含运行微服务所需的一切。

微服务一旦被构建并保存为Docker镜像，其将在任何能够运行Linux的硬件（包括物联网设备）上以完全相同的方式运行。各种微服务可以在单个硬件上互操作，而不必担心版本问题以及与其他软件不兼容的问题。

Technica的所有AI分析微服务均被实现为Docker容器，并具有明确定义的API。这些微服务是可扩展的，并且其架构设计可兼顾高可用性和容错性。微服务的应用范围很广，包括赛博安全领域，并且可在从云端到物端的IT基础设施的各个节点上实现。此外，微服务可以单独使用，也可以与现有的平台、解决方案或产品一起使用。换句话说，Technica开发的微服务可以在SmartFog之外工作。

（5）DevOps

微服务和容器化是实现敏捷的DevOps战略的关键要素。DevOps是一个概念，它打破了企业软件开发团队和生产环境中负责软件性能的运营团队之间的长桥。团队之间的间隔越短，就意味着软件功能的更新和改进越多，企业的停工时间就越少。DevOps思维模式是SmartFog的核心，因为软件功能可以在bug更少的情况下精确交付，包括经过专门训练的SmartFog赛博安全微服务。

3.SmartFog原型平台与微服务

Technica的独立研发（IR&D）部门开发了SmartFog原型平台，为物联网设备所在的边缘提供计算、存储、联网、加速、分析和管理控制等功能。这使得物联网事件能够被近实时地处理。重要的是，SmartFog允许数据本地化，即数据在边缘附近处理。这减轻了云或企业预置型核心数据中心的某些分析负担。与将所有数据传输到中央服务器进行处理相比，雾计算可以获得更快的结果，并且具有更少的安全风险。

直观的、基于web的用户界面为管理员提供了一整套服务，如配置微服务，将微服务部署到雾节点，监视微服务状态，启动和停止微服务，以及将更新后的配置发送到正在运行的微服务等。这些功能是在单个节点或节点集群上启动的。

（1）SmartFog架构

图2描述了SmartFog架构概念。虽然有大量的低功率设备（如树莓派）可以作为雾节点，但Technica通常使用NVIDIA公司的Jetson TX2s来管理雾层。这些GPU加速的设备使物联网设备能够以最小的计算、功率和存储能力运行，因为这些功能可以被卸载到雾节点。

图2 SmartFog架构示意图

使用MQTT发布-订阅协议，SmartFog可以在网络带宽受限或通信连接时断时续的情况下继续工作。MQTT消息建立在TCP/IP协议之上，允许雾层的微服务与物联网设备和云进行通信。MQTT还能够支持其他消息代理协议，如高级消息队列协议（AMQP）。

图2显示了两种类型的终端用户。左边表示的是那些使用客户端应用程序的用户，而用户使用的应用程序则利用了来自边缘和雾的数据。应用程序侦听数据，以某种方式处理数据，并将数据格式化以供用户查看。右边的终端用户是SmartFog管理员，他（或她）负责部署和管理来自云的微服务。

（2）SmartFog的各类微服务

SmartFog主要包括异常检测、长-短期记忆（LSTM）、联邦学习与生成敌神经网络（GAN）微服务。这些微服务提供离散的功能，可以被视为类似于智能手机上的应用程序。然而，与大多数智能手机应用程序不同的是，SmartFog的微服务可以在彼此之间传递信息，从而创建复合微服务。例如，异常检测微服务可以与复杂事件处理器（CEP）微服务通信以触发警报或警告。微服务可以动态更新，类似于智能手机上的应用升级。

尽管微服务几乎可以应用于所有领域，就像智能手机应用程序一样，但Technica认为，提供微服务的最大价值在于利用硬件加速，并通过深度学习算法提供人工智能能力。即将到来的物联网设备浪潮，以及这些设备所产生的庞大数据量，将需要利用人工智能技术领域的最新突破来实现自动化的解决方案。对于人类来说，将会有太多的数据需要处理。在雾层中使用人工智能技术是雾计算最重要的益处之一，尤其是将这些先进的人工智能算法应用于网络安全时。

责任编辑：gt