苹果VR/MR新专利

8月23日消息，美国专利商标局发布了苹果一项VR/MR头显相关追踪专利，专利中指出了一种采用inside-out方式，可追踪头部、身体和环境的系统。据悉，该专利申请于2018年第三季度，其技术基于苹果在2017年11月收购的AR/VR混合头显开发商Vrvana的一项专利技术。

苹果在专利中写到，若要营造VR的沉浸感，需要考虑多种因素，包括：显示屏画质、刷新率、像素分辨率、高动态范围（HDR）、图像暂留和纱窗效应等等。如果FOV过小，或者追踪功能出现延迟或不准确，也会降低沉浸感。而在MR中，虚拟物体与真实世界表面的实时交互也需要依赖优质的追踪效果。

总之，对于优质的VR/MR体验来讲，各种追踪功能都是必要的，尤其是头部追踪、身体追踪和环境追踪，对于营造沉浸感将起到关键作用。因此，苹果提出了一种集成全部追踪元件且便于移动的紧凑型VR/MR头显。

该头显可采用的多个传感器包括：一对RGB摄像头传感器（配备红外光截止滤光片的透镜）、一对配备近红外带通滤波器和相关透镜的单摄像头传感器、一个惯性测量单元（IMU）、一个配备相关红外线发射器的ToF摄像头传感器、一个斑点图案发射器。

其中RGB摄像头将用于支持头显的MR透视功能，而红外摄像头将用于为追踪功能提供视觉数据。

专利中还详细描述了头显所搭载的各种传感器的追踪方式，其中头部追踪的方法是，通过识别透视功能捕捉到的2D图像特征，识别并匹配每个特征的深度，并生成3D点云，然后通过对3D点云的实时追踪来推断头部方向。此外，IMU传感器也可以提供补充信息。

而追踪用户身体姿态的方法是，显示在密集的深度图上对人体图像进行分割，提取与姿态网格和身体分割图，然后再从网格中提取出骨骼模型，然后通过追踪用户身体活动，并将姿态模型与骨骼模型和身体动作相匹配，来识别人体姿态。

最后，环境追踪的方式是，利用透视立体图和姿态追踪数据生成一个运动模型，然后识别关键节点，利用描述符来提取关键点附近的特征，接着通过将密集深度图与提取的特征相结合，预测出环境表面描述符。