AR工业应用｜为什么AR可以用在IoT？｜effiar

物联网是物理对象与虚拟再现和服务的结合。增强现实通过将有关智能对象和服务的虚拟信息叠加到用户对现实世界的看法上，为物联网应用程序提供了一个理想的界面。这允许用户与物理对象交互，并接收关于该对象的附加上下文感知信息，如大小、速度和温度，以及关于附近对象的信息。然而,用户不必直接与物理对象或传感器作为增强现实交互可以是一个有效的方法提供额外的物联网信息服务的环境中,如服务的QoS属性或其他用户提供的评级在之前调用。

物联网(IoT)技术的发展使得通过一系列通信工具将各种智能设备连接在一起成为可能。联网设备的数量预计将以指数级速度增长，预计到2020年将有大约260亿部联网设备。这些设备将带来多种多样的服务，如监控传感器、监控摄像头和交流器等。这些设备提供的服务的管理被认为是未来技术最重要的领域之一，并获得了包括交通、医疗和应急响应等多个不同领域的研究机构和行业的广泛关注。

服务提供者和消费者都需要能够以一种上下文感知的方式参与物联网应用程序，根据环境和用户上下文进行感知和反应。增强现实(AR)为物联网提供了一个直观的界面，因为它允许上下文以及在现实世界中叠加虚拟信息，例如在认知建筑[4]中。服务使用者可以以可视的方式与建议的附近服务进行自然交互，这些服务由面向上下文的中间件处理。服务提供商可以通过显示设备提供的服务的关键QoS指标(如响应时间和吞吐量)，使用AR调试和修复故障的IoT设备。与设备相关的指标，如设备的温度、CPU和内存使用情况，也可以显示出来。该设备的内部组件可以连接对象，这将允许现场操作员看到修复故障的物联网设备内部组件的具体可视化。这样便于维修和恢复到合适的操作性能。

基于应用的敏感性和关键度，物联网应用可以应用于具有不同QoS要求的领域。物联网应用的QoS通常可分为最佳努力(无QoS)、差异化服务(软QoS)和保证服务(硬QoS)[6]。在硬QoS情况下，有严格的硬实时QoS保证。这适用于安全标准的应用，例如在医院中监控病人或在自动驾驶汽车系统中避免碰撞。软QoS不需要硬实时保证，但需要能够重新配置和替换失败的服务。这可能是一个路由应用程序，它利用空气质量、洪水和行人流量预测，提供穿过城市的最佳路线。如果其中一个服务即将失败，应该使用合适的替代服务重新组合应用程序。最后一种情况是尽最大努力，当服务失败时，例如测量室内温度的简单原子服务，就没有保证了。因为硬QoS和软QoS可以提供一种直观的方式来警告用户某个服务可能即将失败，他们可能需要重新控制，尤其是在自动驾驶汽车场景中。利用LSTM网络可以实现对物联网服务故障的预测。

AR应用于IoT

AR在近年来发展迅速，有一系列的商业软件和硬件可以创造AR体验。今天，在消费者层面上有各种各样的api，它们使得大多数利用智能手机或平板电脑等移动技术来创建增强现实体验成为可能。苹果最近发布了ARKit，允许在不了解其技术的情况下构建AR环境。我们在演示中使用的另一个示例是用于Unity的Vuforia开发人员库，其中包括谷歌的ARCore，它允许所有现代android设备上的AR应用程序。这将允许更多的设备通过AR接口与物联网服务进行交互，并鼓励开发人员创建基于AR的物联网应用程序。

随着智能手机的广泛普及，以及苹果和谷歌发布的新api，我们预计未来几年移动增强现实将会增加。移动电话作为增强现实视镜的使用将是允许应用程序开发和评估增强现实在物联网中的有效性的必要步骤。在此之后的过渡可以是一些替代的头戴显示器，如谷歌玻璃，微软Hololens或Magic Leap Lightwear。这些头戴式显示器允许与物联网服务和对象进行无手交互，这将有助于现场技术人员与设备进行交互，并查看显示需要更换哪些连接组件以修复智能设备的可视化图像。

考虑到AR和物联网的巨大潜力，以及在每种技术上投入的大量研究，这两个组件的集成仍处于早期阶段。大多数当前的方法显示对象的特征，而没有考虑其他上下文，如用户偏好、附近的对象/位置、时间、天气等。一些建议，例如一个感知的程序，使用上下文接口服务器来推断用户的高级上下文，从而改变信息显示给用户的方式。然而，智能浇水设备的应用过于简单，只需要本地传感器信息，而推理的中央服务器不考虑物联网作为智能对象的愿景。在我们的演示中，我们展示了结合来自传统web服务和物联网服务的动态和异构服务的更高级的示例，并使用额外的上下文信息来提供直观的应用程序。最近的一些工作，如ARIoT，提供了一个可伸缩的AR框架，用于与物联网设备交互，但重点关注目标对象，而不是通过连接对象派生上下文。其他方法，如Second Surface，用户可以通过中的远程服务器创建、标记和共享日常对象周围的数据。

上下文感知中间件

下图显示了一个上下文感知的面向服务的中间件，它可以在图1b的深层边缘架构上实现，以管理城市中的物联网服务的注册、执行和上下文。中间件以一种分布式的方式跨每个通道管理环境中的用户上下文。当用户请求应用程序时，中间件首先在请求处理程序上接收用户请求，该处理程序与用户建立请求/响应通信通道，并将请求转发给上下文管理器。上下文管理器负责获取和维护关于服务和环境的元数据，以支持智能服务管理。元数据包括服务属性(例如，位置、类型、域等)、QoS属性(例如，响应时间、能耗等)、城市环境(例如，地点及其在城市中的含义、兴趣点等)和用户偏好(例如，用户反馈、QoS体验、用户行为等)。服务属性和QoS属性是从提供者和监控过程中获取的。此数据作为服务描述的一部分存储。城市环境是从开放街道地图(OSM)中获得的，并使用OWL格式的本体进行形式化。用户首选项是在发现和组合过程中获得的。该数据作为独立的JSON文档存储在service registry中。

lw