微软HoloLens 2是如何沸腾下一代计算平台

2019年02月25日，微软正式发布了下一代的可穿戴全息计算机HoloLens2，同时为其准备了一套全新的混合现实服务，面向商业的开箱即用App，以及能够进行感知和预测的传感器。

微软同时发布了一款新的Azure Kinect设备，为开发者提供了创建人工智能体验的新方式。Azure Kinect将HoloLens 2中的深度感应摄像头技术与圆形麦克风阵列和彩色摄像头相结合，并搭配以Microsoft Azure中的人工智能服务。它可以帮助开发者建立新的感知功能，如根据锯子的声音识别其是否属于危险的运行情况，支持机器人在装箱时判断距离，或者是识别从商店货架中选择的物品。

所述的新技术都由微软的智能服务提供支持。无论是在设备自身（可以快速地识别危险情况）运行，还是说在云端操作（几乎无限的计算资源），微软的智能服务可允许其在最有意义的地方运行计算。简而言之，这就是智能边缘和智能云端。

微软同时表示，这些混合现实和感知工具将能帮助企业利用一种跨越数字世界和物理世界的全新计算浪潮，而只有通过智能云和智能边缘的最新进步才能实现这一目标：从家用电器到仓库楼层和HoloLens 2，能够提供有关周围环境即时洞察的传感器和设备正变得越来越多。微软Azure市场营销的商业副总裁朱莉娅·怀特表示：“我们已经走到了技术可以解决现实问题的地步。你将真正开始看到全新的计算浪潮是什么，以及它将如何转化为真正的业务成果。”

1. 从二维屏幕到全息图

迄今为止，大多数人都经历过二维屏幕：笔记本电脑，电脑显示器，智能手机，平板电脑，以及电视游戏等等。微软的混合现实产品可以从矩形屏幕中提取数字信息，并允许人们在物理空间中与全息图进行交互。它们可以独立存在，例如医学生可以抓取人类心脏的三维渲染，调整其大小并自由旋转观察角度。这种全息图可以与现实世界中的物理对象相关联，例如说明书可以叠加在火炉之上，并向你说明如何更换过滤器。

微软指出，全新的HoloLens 2为一线工人提供了更具沉浸感，更加直观和更为舒适的体验。对于双手需要忙于工作的他们而言，HoloLens 2可以支持其诊断引擎问题或访问步骤式的组装说明。用户可以通过点头或语音返回前一步骤进行再次确认。你可以在三维中感知对象，直接在设备看到每一个螺丝应在的位置或每一个棘轮的转动方向。

与初代HoloLens相比，HoloLens 2提供了一系列的新功能，如抓取和旋转全息图的功能。这就像操作真实对象一样，而非通过不自然的手势。眼动追踪可以判断用户在机器的注视点位置，并调取有用的数字信息。单词可以在你阅读时自动滚动。最终的结果就像是从卡通翻页书到实际电影的沉浸式转变。

新设备的视场是初代HoloLens的一倍多（新设备FOV对角52度），新的显示技术令全息图变得更加生动逼真。

微软云计算和人工智能事业群的Technical Fellow艾利克斯·基普曼指出：“这是你第一次体会到触摸全息图，与全息图交互的感觉，你几乎会忘记自己正在看着的是数字内容，而它根本不存在于现实世界。”

HoloLens 2提供的商业机遇由智能边缘的扩展功能提供支持。从婴儿监视器和冰箱传感器，再到诸如HoloLens这样复杂的机器， 这涵盖一系列正在呈爆炸式增长的设备。

这种感知功能越发敏锐的设备可以告诉自动驾驶汽车何时转弯，要求一件工厂设备何时关闭，或者知会工人清理有可能导致客户滑倒的水坑，甚至是网络信号有限的位置。

但随着边缘设备正变得越加智能化，它们同时需要变得更加安全。对于以前需要在云端和本地服务器上运行的应用程序，它们现在需要在快速扩展的设备集合中工作，每天针对特定的工业流程进行更多的开发。Azure现正通过Azure Sphere和Azure IoT等解决方案为边缘设备提供安全的计算能力，并支持开发者设计出可跨越多种计算环境无缝运行的产品。

当这种边缘设备连接到智能云端时，它们可以提供更深入的见解并实现真正的协作计算。

基普曼说道：“HoloLens 2是一款令人难以置信的多功能边缘设备。它可以脱机工作，并且可以连接到任何云端。但它的设计同时考虑了Azure。当与Azure连接时，它将成为任何人都可以从任何设备或任何平台访问的共享体验。当两者结合在一起时，那就是奇迹发生的时刻。”

2. 始于Xbox和数十年的研发

微软数十年来的研究项目和商业开发塑造了他们在混合现实和感知项目的进步：最初为Xbox开发的手势识别设备，针对AI的投资，初代HoloLens的经验教训，有求必应的应用程序，安全和身份管理方面的专业知识，以及与客户合作和开发企业解决方案的悠久历史。

但是，为了实现混合现实承诺的真正协作式和沉浸式计算体验，这种工具同时需要在开放环境和人们已经拥有的设备或口袋中运行。

基普曼认为：“混合现实的承诺是，所有这些设备都是窥见存在于世界中的联网内容的透镜。假如我想把全息图放在房间里面。当我离开房间，而你戴着HoloLens或拿着智能手机或平板电脑进来，你应该看到全息图吗？假设隐私和权限都适用，答案是肯定的。”

今天微软发布了一项名为Azure Spatial Anchors的云端服务，其允许用户创建在特定物理空间中持久存在的全息图。例如，当服装店经理将服装的全息图像“放在”相邻的假人模特身边，其他人将可以通过HoloLens，智能手机或平板电脑进行浏览。第二天，一名员工可以走进来并用iPhone指向每个假人模特，看看它的装扮效果并开始准备相应的服饰。”

3. 面向一线工人的技术

对于通过计算机完成大部分工作的信息工作者而言，他们都受益于科技的爆炸性增长，因为这使得他们能够通过鼠标触碰几乎任何一切并实现即时的沟通。这为个人和企业带来了前所未有的生产力提升。

但大多数人并不是如此。在这场技术革命中，人们经常是用双手来组装机器，照顾病人，修理设备，排除故障或与事物互动。Dynamics 365 Mixed Reality at Work的总经理洛林·巴丁（Lorraine Bardeen）表示，这款应用程序为一线工人提供了实现类似生产力提升的巨大机遇。

巴丁指出：“一线员工不仅对一系列企业的日常运营至关重要，而且对其制造产品的方式同样至关重要。而且他们往往属于员工中的大多数。但与那些在办公室或在更传统的计算友好型环境中工作的人相比，他们很少能体会到技术进步带来的提升。”

当微软开始向企业询问混合现实如何能够致使他们受益时，同样的需求出现在了各个行业之中。他们希望位于偏远地区或不同工作地点的工作人员能够与专家对接并协同解决问题，在三维空间中可视化设备或家具以判断其是否合适，以及培训需要双手自由工作的新员工。

为了提供更多开箱即用的价值，微软为Microsoft Dynamics 365创建了混合现实版应用程序。现在企业可以立即通过HoloLens 2来满足工作场所的需求，无需再雇佣一大批开发者。

继Dynamics 365 Remote Assist和Dynamics 365 Layout之后，Dynamics 365 Guides成为了微软开路商业混合现实应用程序的又一探索。Guides允许企业将纸张和屏幕的培训材料变成一种身临其境的三维体验。

“所有人都希望成功，而帮助新员工迅速上手工作的能力十分宝贵。”PACCAR ITD全球技术与运营的高级总监罗伯·布兰森（Rob Branson）如是说道，他的公司已经试用了Dynamics 365 Guides的早期版本。

他指出：“如果你想想成年人学习的方式，你会发现视觉的占比非常高。能够看到步骤式的指南叠加在物理对象上可以加快员工学习一项新任务的速度。”

HoloLens 2显然考虑到一线工人。与初代HoloLens相比，它更轻更舒适，重心更为平衡，这样用户就能整天佩戴。全新的翻盖式眼罩可允许工人轻松切换物理世界和全息世界。

PACCAR员工佩戴的设备就像帽子一样能够轻松滑动，他们可以访问步骤式的全息指令，并在其帮助下完成组装卡车门等不熟悉的任务。在Dynamics 365 Guides中，点亮的箭头可以清晰说明从每一个步骤，如线缆需要通过的孔洞或所需工具的正确位置。

叠加在卡车门的全息图说明了员工应如何执行所述任务，全息图同时点亮了钢板之下的结构，而如果没有X射线等技术的支持，常人通常无法看到钢板底下的结构。

对于劳动力老龄化的行业，企业迫切需要迅速把相关的工作智慧传给下一代工人。在以往，这通常需要数年的学徒时间或数十年的工作经验才能积累实现。

例如，对于新加入阿拉斯加航空公司的机械师，他们原本需要大约两年的时间才能完成所有的培训。混合现实工具可以显著减少新人的学习曲线，而沉浸式培训环境同时能够令伴随着电子游戏成长的新生代员工产生共鸣。

阿拉斯加航空公司战略总监麦克·罗伦戈（Mike Loreng）表示：“纸张变得栩栩如生。我看到的不再是一张二维纸张，而是投影至引擎的3D内容。”

4. 人与物之间的智能对话

当利用智能边缘和智能远端的不同功能时，混合现实可以变得更加强大。

在一些情景中，你希望能够在智能边缘快速处理信息，而不是将数据发送到云端，例如可以提醒你即将发生安全风险的摄像头或控制制动系统的算法。在工厂车间，并非每个传感器的所有数据都与“此时此刻”相关。因此，在边缘运行不太复杂的AI服务可以帮助过滤掉不相关的信息或执行不需要云端支持的任务。

如果你需要全息图来帮助潜在客户设想新车的样式，单台HoloLens 2即可通过板载功能提供充足的计算能力和分辨率。

但如果将设备连接至全新的Azure Remote Rendering混合现实云端服务，你将可以快速生成复杂的三维数字模型，而原本企业可能需要花费数天或数月的时间才能构建出与之媲美的模型细节。如果没有云端的图形处理能力，这是不可能实现的任务。

怀特指出：“突然之间，混合现实从一种新奇玩意变成了能够增强你工作的真正用例，并可以完全取代一整个商业流程。例如，以其中以往无法实现的方式来使用完整的数字建筑。”

通过赋能现场工作人员快速诊断和修复对运营至关重要的机器，PTC的物联网和混合现实工具可以帮助企业最小化停机时间。

对于微软合作伙伴之一PTC新开发的系统，其已经集成了物联网边缘解决方案，Azure云和混合现实工具，从而对从航空航天到国防承包等一系列企业进行了数字化转型。

PTC首席执行官吉姆·海佩尔曼（Jim Heppelmann）指出，你可以设想一下这样的情景：在第二天来到实验室后，研究人员突然发现处理血液样品的关键机器已经停机。接下来会发生什么事情呢？

在几年前，闪烁的灯光或模糊的错误信息可能是唯一的线索。她可能会打电话给制造商，他可能会通过电话方式来诊断问题。最有可能的是，实验室不得不为把在那座城市工作，甚至是在另一座城市工作的维修人员派往现场。重新运行机器可能需要数小时或数天的时间。与此同时，担心血液结果的患者只能无奈地苦等。

今天，借助ThingWorx for Azure服务，她可以戴上HoloLens 2设备并查看全息仪表板，其中每个组件的运行状况和状态都会映射到物理机器。由微型物联网传感器采集并发送到Azure云的数据可能会诊断其中一个问题。然后，这位研究人员可以访问步骤式的全息说明，逐步打开盖子，翻转杠杆，插入新零件。如果她依然无法诊断问题或解决问题，坐在内布拉斯加州办公室的维修专家可以通过HoloLens 2看到其面前的一切，并通过语音和全息指示引导她完成操作。

海佩尔曼说道：“这是人与物之间的封闭循环。物联网设备告诉我错误所在，混合现实解决方案则将我与能够轻松解决问题的专家对接，从而节省花费在通勤路上的时间与金钱。”

他进一步指出，对于可能需要长时间佩戴混合现实头显的一线工人来说，HoloLens 2提升的舒适度与视场具有十分重要的意义。

他表示：“这两点令HoloLens从有趣的原型变成了能真正广泛用于工厂，医院和建筑工地的实用性工具。这是一大进步。”

这些功能对微软的另一个合作伙伴Bentley Systems而言同样重要，他们主要是为正在展开复杂的大型基础设施项目的工程师，建筑师和建筑公司开发软件。

负责项目交付的高级副总裁诺亚·艾克豪斯（Noah Eckhouse）表示，当站在存在大量活动组件的平台和需要操作重型设备来检修城市火车站或足球场时，俯视手机或平板电脑上的信息可能非常危险。HoloLens头显则允许工作人员在感知物理环境的同时自然获取数字信息。

通过HoloLens，这家公司的SYNCHRO软件允许工人放大施工现场的特定位置，并访问相关的重要数字信息，如安全指南或安装说明。管理人员可以从三维视图预览两天后或三周后的效果，并基于不断变化的现实来预测潜在的计划冲突。

他表示：“建筑工地就像是一场大型的芭蕾舞表演，一切都需要非常精心的编排，而材料和人的运动都必须存在于一定的空间内。计划表从你开始的第一天就要改变。”

尽管可以在单台设备存储和更新两居室平房的计划，但如果没有云计算，你将无法跟踪大型基础设施项目中的所有活动组件。

通过将作业现场上的每台HoloLens设备连接至在Azure中不断更新的主模型，SYNCRHO能够确保每个人都是使用相同的共享现实，并通过最新信息来排序作业，计划起重机移动，跟踪进度，并确保工人安全。

艾克豪斯认为：“云端连接至关重要，因为对于这些大型项目，现场与工程师和设计师之间的来回信息传递是在不断地进行。在物理世界中开展基础设施项目的任何影响可都是来真的。”

5. 将强大的感知工具带到边缘

计算机视觉和人工智能的两项决定性成就给HoloLens 2的沉浸式体验做出了贡献。通过语义理解来解释物理空间的能力允许设备区分墙壁和窗户，或区分沙发和咖啡桌。自然手部追踪则允许人们更直观地旋转和扩展全息图，而不是必须学习模仿鼠标移动的手势。

这些进步得益于第四代的Kinect，并结合了在边缘运行的AI工具。这种深度和动作感知技术最初是在十年前开发，并旨在为Xbox创建手势识别附件。但对于可以准确感知深度并确定人体在空间中移动的能力，其潜力远远不局限于游戏。

例如，Ocuvera正与Azure Kinect合作开发这样一种系统：旨在帮助防止每年在美国医院发生的大约100万次跌倒，甚至是全球范围内的更多跌倒。他们研发的系统可以感知需要帮助行走的患者是于何时无助地下床，并提前预警护士以提供帮助。

利用深度感应摄像头和人工智能算法，系统可以在患者起床前识别出运动模式，如坐起或摆动腿部的动作。11个临床试点的初步研究结果发现，在实施上述技术后，无辅助和未留意的下床行走减少了90％以上。

首席执行官史蒂夫·凯恩（Steve Kiene）表示，Ocuvera团队调查了世界每一台深度感应摄像头，甚至试图开发自家的深度感应摄像头。但对于区分病人是向前移动抑或只是翻身，没有任何一款设备能够接近于Azure Kinect的准确性和分辨率。

他说道：“这就像玩扑克时的认牌一样。只有Azure Kinect能够为我们提供可以真正了解患者在病床上发生的情况，并以足够的准确度预测其意图的数据。当我们在医院进行试点测试时，他们经常告诉我们这是不可能的做到的事情，但随后他们发现它确实有效，而且他们感到非常惊讶。”

凯恩认为，新的Azure Kinect的价值在于它将传感器硬件与Cognitive Services等Azure工具结合在了一起，使得开发者能够轻松快速地部署AI解决方案。这可以帮助Ocuvera团队更轻松地将语音识别或语言翻译等服务集成至系统之中。例如，支持患者以多种语言呼叫护士。

随着越来越多的服务移到边缘，它们无需将数据发送至云端即可在本地运行。

凯恩指出：“Azure Kinect不仅仅是一个摄像头，它与所有其他非常重要的服务相连，如语音识别和身体追踪。这一整个服务包非常有价值。”

为了帮助HoloLens 2成为世界上最具沉浸感的全息计算机和最为智能的边缘设备，基普曼已经投入了十多年的时间与精力。他表示，任何发明家的真正回报都是基于人们可以在其创新基础上做什么。

基普曼解释说：“我们把全副身心和所有醒着的时间都用于缔造这个愿景，并将其付诸实践。现在，我们终于可以看到这项技术将如何帮助我们的客户进行市场竞争，进行数字化转型，实现以前无法实现的目标，做一些我们从未想象过的事情，令我无比兴奋的事情。”