Facebook发布研究项目Project Aria制造第一代可穿戴增强现实设备

　　在今天凌晨的FacebookConnect2020大会上，Facebook今天正式发布了Projectaria——这个全新的研究项目将帮助Facebook制造第一代可穿戴增强现实设备。

　　1.惊人的挑战

　　想象一下，一副眼镜能够在物理世界的视图之上叠加一层3d数字内容，并在其中包含有意义的情景相关信息。这样的设备可以帮助我们更好地完成日常任务，比如寻找钥匙，在一个陌生城市中导航，或者记录一个感人瞬间；但它同时可以为我们带来一种全新的世界旅行方式。

　　智能手机是令人惊叹的设备，而且它们一直在变得越来越好。但FacebookRealityLabs设想了这样一个时代：我们可以享受到联网的所有优点（以及更多），但不必再像以往那样低头查看设备。想象一下，在与远方朋友通讯时，你是与栩栩如生的虚拟化身对话；想象一下，一个足够智能的数字助理可以检测道路危险，在商务会议中提供统计数据，甚至可以帮助你在嘈杂的环境中听到自己想听的声音。在这个世界里，设备本身完全消融在日常生活之中。

　　当然，这其中有很多依然是属于科幻小说的描述。要真正制造出足够灵活并适应大多数脸型的眼镜，并同时开发出支持它们的软件，我们需要数个迭代的突破，比如增强视听输入的系统，情境化的人工智能，以及一个能够容纳所有一切的轻量级镜架。这种增强现实需要计算技术的根本性进步，一种能够反映从图书馆和固定电话，再到个人PC和智能手机的飞跃的突破。

　　2.一种视觉搜索工具

　　ProjectAria正是朝着所述方向迈出的一步。Facebook已经构建了一款可以帮助研究人员理解构建目标ar眼镜所需的软件和硬件的研究设备。ProjectAria眼镜不是消费品，也不是原型品。它们不会在镜片显示任何信息，研究被试无法查看或收听设备捕捉到的原始数据。作为一种研究设备，所述的眼镜设备将使用传感器从佩戴者角度捕捉视频和音频，以及眼球运动和位置数据，从而帮助工程师和程序员理解AR在实践中的运作。眼镜将加密、压缩和存储数据，并上传到指定的后端存储系统。

　　从概念到实施，ProjectAria的设计都是为了帮助团队安全而负责任地进行创新。所以，为了制定必要的保障措施和社会规范来管理AR眼镜和未来可穿戴设备的使用，FacebookRealityLabs正在收集研究被试，以及在公共场合遇到佩戴所述设备的人员的反馈。为了更好地理解这项技术如何帮助身体能力各异的人群，团队正与卡内基梅隆大学的认知辅助实验室（CognitiveAssistanceLaboratory）开展一个试点项目。双方将构建博物馆和机场的3D地图，并将其用于一系列的用例，如帮助视力受损人群更好地感知周围环境。另外，研究收集的数据将由卡内基梅隆大学保存。

　　FacebookRealityLabs指出，公司不会向公众开放这款设备，亦不会对市场出售。从今年9月开始，它将提供给美国特定的Facebook员工和签约者。作为说明，有关人员将接受过“在何时何地可以使用所述设备，以及于何时何地不应使用所述设备”的培训。所述设备在家中，Facebook园区（重新开放之后）和公共场合收集到的数据将用于支持头部追踪，眼动追踪和音频算法的开发，从而有朝一日实现AR眼镜的梦想。ProjectAria同时将提供构建LiveMaps所需的第一人称透视数据，以及培训日后可以帮助人们感知和理解世界的个性化数字助手。因为这个最初的数据集必须与尽可能多的人相关，Facebook正在邀请不同性别、身高、体型、种族的人群参与研究计划。

　　3.隐私至上

　　FacebookRealityLabs再次强调了团队再保护人们隐私方面的措施。公司已经在fb.com/projectaria页面编写了相关的问题回答，主要包括：

　　3.1于何时何地采集数据

　　第一批研究参与者将限于大约100名Facebook员工和签约者，地点主要包括旧金山湾区和西雅图。所有被试将首先接受关于何时何地收集数据的培训。被试无法访问收集的数据。在采集数据时，所有设备都将突出显示一道白光。所有设备都提供一个物理按钮，按下按钮后将停止收集数据。ProjectAria的研究被试将在Facebook园区、私人住宅和公共场所采集数据。未经商店、饭店等场所的书面同意，被试将不得在相关场所采集数据。洗手间、祈祷室、更衣室等敏感区域，或敏感会议和其他私人场合都不允许录制数据，而且只有在所有家庭成员同意的情况下，被试才能在家中录制数据。

　　3.2透明数据采集

　　当在公共场合佩戴研究设备时，每名被试都需要穿戴特定的服饰，从而表明其属于ProjectAria研究的参与被试。相关的服饰同时会包括一个网站地址，以便周遭人员可以从中了解更多关于所述项目及其研究目的信息。随着时间的推移，FacebookRealityLabs将继续评估相关的外部指标，从而确保项目的透明度。被试可以随时关闭设备，停止录制或删除数据段。具体来说，被试可以通过智能手机端的配套应用程序来操作相应的时间戳。但同样，被试无法访问原始数据。配套应用程序同时将包括初始培训课程的说明，比方说如何删除录制数据，于何时何地及如何以合适的方式采集数据和其他技术信息。

　　3.3数据隐私保护

　　与任何地图数据一样，数据的安全性至关重要。Facebook将通过一个加密的安全系统将数据从设备上传到Facebook后端存储系统，从而保证ProjectAria数据的安全。Facebook将安全地将数据和数据衍生地图存储在一个单独的指定存储空间中，并且只有获得批准的研究人员能够访问。一旦上传，数据将隔离三天，这意味着研究人员在所述时间段内无法访问数据。在隔离期内，被试可以查看低分辨率的缩略图，并从系统中删除录制的数据段。在提供给研究人员之前，于公共场所收集到的任何数据数据都将自动模糊脸部和车牌。设备不使用面部识别技术，Facebook同时不会使用所述数据来驱动Facebook产品的广告。

　　所有隐私和数据保护控制措施都是在隐私专家的参与下制定，所述专家包括犹他州立大学发展与机遇中心（CenterforGrowthandOpportunity）的高级研究院士伊莱·杜拉多（EliDourado），以及美国信息技术与创新基金会（InformationTechnologyandInnovationFoundation）的数据创新中心主任丹尼尔·卡斯特罗（DanielCastro）。

　　在继续探索增强现实的可能性时，Facebook承诺将继续与隐私专家接触并完善相关的条款。对这项技术了解得越多，团队就越能预见问题并提前解决它们。FacebookRealityLabs今天收集的任何数据都是为了在未来允许沉浸式硬件以最少的干扰性进行数据捕获，并确保收集的任何数据都能提供尽可能多的用户价值。

　　团队表示：“我们将继续坚持负责任的创新原则，而最重要的是：始终以人为本。”

　　4.技术亮点

　　团队一开始面临的最大挑战是，寻找一种能够利用现有传感器，并将它们嵌入至被试可以实际佩戴的眼镜之中的方法。ProjectAria眼镜的独特之处在于，它们不仅拥有常见于vr头显的空间感知传感器，同时可以通过GPS计算位置，拍摄高分辨率图片，并捕捉多声道音频和眼动图像。

　　作为一种研究设备，当前的传感器配置并不是一成不变。团队特别感兴趣的是，是否能够以一种高能效的方式来将一组传感器应用于多个任务。在理想情况下，这样的产品能够同时使用所有的传感器来更好地理解你的意图，并在需要时提供信息。如果你在一家杂货店，前置摄像头可能会扫描整个房间并识别出店里的物品，而眼动追踪摄像头则会识别你的目光落在何种水果之上，然后显示功能将弹出与所述水果相关的标识、价格、营养价值和潜在配方等。

　　这只是一个例子，但我们很容易想象这样的产品将如何帮助存在精神障碍或身体残疾的人士，患有记忆问题的人士，存在语言障碍或技能障碍的人士，又或者只是尝试在一个陌生城市中导航的人员。只要在适当的时候提供一点背景和信息，世界就会变得不同。

　　FacebookRealityLabs同时在探索如何使用设备的头部追踪传感器，并将虚拟对象添加到物理环境中。所以，与其购买一台实体电视，我们倒不如利用AR魔法创造出一台数字电视，并将它放到任何位置。从长远来看，为了降低未来眼镜的整体功率和热需求，并减少对图像传感的需求，FacebookRealityLabs将使用ProjectAria的数据，并探索是否能够利用诸如严格TightLearnedInertialOdometry等技术。

　　5.构建一种全新的地图

　　所有这些在技术都非常具有挑战性，但当你添加一个虚拟对象并希望它在你离开后保持固定不变时，研究课题会变得更加有趣。这是因为团队需要一个框架来存储和索引你的虚拟对象。如果你希望和其他人共享虚拟对象，你将需要一个共同的坐标系。如果你希望和一个住在另一个城市的朋友的虚拟化身共享空间，你不仅需要精确的位置和方位，而且需要理解周围空间的真实世界对象，这样虚拟化身就不会被一张桌子切成两半，而你可以摆出自然的姿势，比如坐在椅子之上。

　　为了支持AR眼镜确定自己在空间中的位置，有效地看到和理解你周围的环境，它们需要一个虚拟的三维地图来描绘周遭的一切。但从零开始实时扫描和重建一个空间的功耗太高，所以AR眼镜需要依赖于现有的地图，然后实时进行更新。

　　Facebook在OculusConnect6分享了解决所述问题的方法：LiveMaps。通过使用计算机视觉来构建一个与你周遭世界相关的虚拟三维地图，LiveMaps能够支持未来的眼镜有效地混合虚拟世界和现实世界。AR眼镜届时可以从3D地图中下载最新数据，然后只需检测变化（如新的街道名称或新停车场的外观），并用这些变化来更新3D地图。ProjectAria设备正在测试这个流程。

　　6.展望未来

　　将AR设备和LiveMaps的愿景转化为现实是FRLResearch最具雄心和具有深远意义的目标之一。团队设想了这样一个世界：LiveMaps能够支持Facebook的AR产品能以各种有意义的方式来帮助人们彼此，及与世界建立联结。

　　从为残疾人提供直观的导航支持，到与居住在另一个国家的姐妹或父母的逼真化身共享空间，再到加强工人培训并帮助人们在嘈杂的环境中提高听感（特别是因为年龄增长而造成的听力衰退），未来各行各业的人们将能够以意义深远的方式使用增强现实。

　　这是一个设备越发消融于幕后，我们能够花更多时间与家人和朋友共度美好时光的时代，机会将由本人的兴趣决定，而不再受地理位置或环境的制约。在这个未来世界里，先进的临场感将允许人们能够以今天不可能的方式一起工作，并在娱乐、教育和其他领域迸发出一系列不同的创新。

　　这是一个我们所有人都期待的世界。