苹果MR头戴产品与人形机器人有什么关联

今年消费电子行业最显著的创新来自于苹果的MR头戴产AppleVisionPro，作为极高集成度的产品，VisionPro配备了4K显示屏、空间音频、虹膜扫描等功能，在显示、交互、主芯片等环节具有突出创新，要求的技术工艺复杂程度极高。

AppleVisionPro造型类似滑雪镜，采用铝合金框架，配备一整块以3D方式成型与层压的OLED显示面板，并集成了一系列摄像头和传感器。

而行业中另外一个重大的重新产品则是特斯拉的Optimus人形机器人。随着特斯拉Dojo智算芯片的量产，以及特斯拉对一些微电机的材料与工艺突破，Optimus人形机器人已经能完成部分仿人类的动作，在定量操作如敲鸡蛋，与一些矢量操作，如浇花，冲咖啡等，基本上能完成合格的效果。

从2021年特斯拉宣布开发人形机器人，到翌年展示Optimus原型机，再到今年宣布预计11月开展行走测试，再到明年正式上岗新能源汽车制造生产线，特斯拉人形机器人产业化“脚步渐近”。

在普通人眼里，两家公司的两个产品好象毫不搭界，但在一些敏感的科技公司里面，已经在对两个产品之间产生十分紧密的联想，两个产品的结合，极有可能改变未来人们生活的工作与生活方式。

其中Apple Vision Pro 搭载了全球首个空间操作系统visionOS，全三维用户界面，而控制这个界面，仅需要用户的眼睛、双手和语音——最自然、最直观的输入工具，让用户能够以一种绝妙的方式与数字化内容互动，可实现数字化内容与真实世界的无缝融合，让用户在沉浸于当下的同时还能与他人沟通交流，如同它们真的存在于现实世界之中。

Vision Pro 通过 VST（video see through）实现MR（数字与现实的混合）。Vision Pro 通过传感器实时感知现实环境，将数字化的现实运算后发给显示屏幕，通过光机系统真实的发送给佩戴者。通过调节VisionPro旋钮，用户可获得不同的沉浸度体验。该设备强调自然的交互，用户与设备的交互通过眼睛、手势和声音；用户与环境的交互通过EyeSight 技术，用户在完全沉浸时，走近的同伴也会出现在视野中。Vision Pro是一款真正意义上实现了虚拟和显示融合的革命性设备。

苹果暂时研发出了Vision Pro头显可以使用的6种交互手势。

Tap：同时点击拇指和食指会向头戴显示设备发出信号，表示您要点击显示屏上的虚拟元素。用户也将这描述为一种捏合，相当于点击iPhone的屏幕。Double Tap：启用双击手势。Pinch and Hold：类似于点击并按住手势，执行突出显示文本等操作。Pinch and Drag：可用于滚动和移动窗口。您可以水平或垂直滚动，如果用户加快手势速度，交互界面也会相应地调整速度。Zoom：双手手势之一，可以把手指捏在一起，通过拉开手势进行放大，窗口大小也可以通过在角落拖动来调整。Rotate：另一个双手手势之一，它将涉及将手指捏在一起并旋转双手以操纵虚拟对象。

手势将与眼球运动协同工作，Vision Pro中的许多摄像头将非常准确地跟踪您的视线。眼睛位置将是使用手势定位您想要与之交互的关键因素。

苹果还为Vision Pro提供了两种文字输入方式，分别为蓝牙连接外部键盘与头显提供的虚拟键盘。而苹果Vision Pro提供的虚拟键盘看去是有体积的，而不是只有一个平面。通过光线与阴影变化，用户能够分辨是否按下，空间音效还能给予反馈，以此来弥补缺少的触觉信息。

对于虚拟键盘来说，距离信息相当重要。在用户指尖靠近按键时，键盘会提供一个高亮效果，这样就能够帮助用户更好感受与键盘的距离感，按键的状态变化配合空间音效，或能让虚拟键盘提供更真实地输入体验。

Vision Pro拥有6颗SLAM+手势摄像头，其中有两颗向下的摄像头专门捕捉手垂放在腿上的视角。另外，还有两颗斜向下的摄像头同时兼顾SLAM和手势。甚至为了弱光环境下手势识别准确性，苹果还加入了两颗红外LED进行辅助。

Vision Pro专门为摄像头、传感器准备的R1芯片，是为了低延迟处理这些视觉数据，从而实现更精准交互方案，可以说Vision Pro的交互逻辑从软件、硬件、芯片、算法等多方位于一体，是一个鸿沟式的差异。

这种垂直视角的摄像头，专门用于捕捉大部分时间、不抬手的时候的手势，因为很多时候双手应该自然垂放在腿或桌子上，符合人体工学逻辑。

眼球追踪方面，Vision Pro凝视+手势捏合包括文字选中、菜单选择都可以通过眼球+手势来完成，这其中眼球+手势融合交互就非常重要。

另外在其它科技公司的相关研究中也证明，基于凝视射线+捏合（苹果Vision Pro的方案，只不过它隐藏了凝视射线，但在UI中结合了高光等进行提示）在速度、效率上更高，也最受欢迎。

那么这跟特斯拉的Optimus人形机器人又有什么关系呢？

在特斯拉最新发布的视频中，我们可以发现特斯拉利用一些技术方法改进了人形机器人的动作和控制，包括电机扭矩控制、环境发现与记忆、基于人类演示训练机器人。

研究团队使用电机扭矩控制（motor torque control）操纵人形机器人腿部的运动，让机器人「落脚」力度保持轻缓。

对于一个机器人来说，观察或感知周围环境是非常重要的。特斯拉为人形机器人添加了环境发现与记忆的能力。现在，该人形机器人已经可以对周围环境进行大致建模。

特斯拉的人形机器人具备与人类相似的身体结构。特斯拉的研究团队使用大量人类演示训练了机器人，特别是在手部动作方面，旨在让其具备与人类似的物体抓取能力。

目前特斯拉的Optimus人形机器人除了制造困难外，另外一个就是使用场景的扩展。如果仅凭特斯拉一家企业来研发其每一个具体的应用场景，那么肯定局限性较大。

但如果给特斯拉的Optimus人形机器人加上一个苹果的Vision Pro头显，再通过基于凝视射线+捏合的空间操作系统，并与人们自己佩戴的Vision Pro头显进行实时同步，是不是除了让人形机器人自主完成特斯拉自己定义的简单场景作业外，还能真正的实现人类自己的具身智能分身功能，而不一定要把一个高风险的脑机接口真正的把自己跟机器人连接上。

即便是不跟使用者自己的Vision Pro头显进行实时同步，把Vision Pro头显作为特斯拉人形机器人的另一个主控操作系统，来指挥人形机器人完成日常的一些工作内容与生活动作，是不是也能让人形机器人基本上实现了虚拟现实的生产力融合。事实上，特斯拉在基于人类演示训练机器人时，就已经完成了这一步。

人类的动作在现实生活中，是属于很低级的低速运作，并且所使用的力量相对工业机械来说也极小，定位精度要求也极低，所以特斯拉才会说人形机器人的量产成本会很低。

从某种意义上来说，设计或制造人形机器人，只要搞懂其底层逻辑，把人类基本动作进行相对简单的分类后再分解，找到与之相配的操作力能量转换与控制方式，对于已经生产制造出了各种电子产品的科技企业来讲，困难度并不高。

加上苹果的空间操作系统出现，实现上对于整个科技行业来讲，人形机器人的整个产业思维已经变得十分完整了。

责任编辑：彭菁