眼动追踪读取用户微表情，用于新的交互方式

眼动追踪一直都是VR和AR头显中比较受关注的技术，这也应该是大家比较熟悉的一个技术。头戴显示器的很多显示效果都对眼动追踪技术有要求，比如建立在眼动追踪基础上的中心渲染，既可以减小处理器渲染的计算量，也可以在某种程度上解决纱窗效应问题。更近一步地说，眼动追踪同样可以用于读取用户微表情，用于新的交互方式。

作为一个大家都知道它在悄悄研发AR头显的公司，苹果的头显计划中当然也少不了眼动追踪方案，最近，苹果的一份专利公开，展示了苹果最近对于眼动追踪的研究。

在这次公布的专利中，并没有特别说明头显的种类，也就是说，无论AR还是VR头显设备, 只要头显具备合适的支撑框架和镜片，专利中说明的眼动追踪系统都是可以使用的。

苹果的专利显示，眼球跟踪系统包括眼球跟踪摄像头 (如红外线摄像头),、照明源以及热镜。其中眼球跟踪摄像头位于用户的脸侧, 并指向两边的镜片, 照明源 (如近红外光源)向用户的眼睛发出近红外光一类的光线, 而热镜位于镜片和用户的眼睛之间，接近镜片表面的地方。

这个眼动追踪系统的原理可以解释为：照明源发出的近红外光照射用户的眼睛，近红外光从用户的眼睛部分反射到热镜表面，而热镜是一种分色滤镜，可以反射近红外光, 同时允许可见光通过。热镜反射的近红外光被用户脸侧的近红外摄像机捕捉到,生成眼球位置的图像，由此可以分析检测用户眼睛的位置和移动。

其中，为了使眼睛跟踪摄像头可以接收到眼球位置的图像, 可以采用两种不同的相机位置。第一种就是前面提到的，将摄像头放在脸侧，通过热镜的反射接收图像方案。第二种方案则是用摄像头直接在镜片的位置。由于第二种方案对用户体验有妨碍，最终的方案选用了将摄像头置于脸侧的方案，因此，光传播路线变得更加复杂。

文中所提到的热镜可以是镜片，也可以由具有分光特性的涂层代替，后者可以直接涂在显示镜片的表面。而近红外摄像机无论是在鼻侧还是在脸外侧都是可以的。

另外，专利中也提到了设计中眼球跟踪系统提供的功能，最基础的是可以用来跟踪用户眼睛的位置和移动；在进一步的设计中, 眼睛跟踪系统也可以用于跟踪用户的瞳孔膨胀,或其他特征。专利中已经实现的功能有：通过眼睛注视点来进行交互，在一个案例中，眼睛注视某一个选项一定时间后，系统会自动选择该选项；此外，系统会根据瞳孔放大的情况自动调整VR或AR图像的亮度。

需要说明的是，这不是苹果第一次提交眼动追踪系统的专利，早在16年，苹果就提交过一份利用MEMS（微机电系统）控制的眼动追踪系统。这个系统主要包括一个追踪摄像头，一个MEMS设备和处理器。相机负责拍摄眼睛的图像，而MEMS装置控制相机的视角方向，处理器接收来自相机的眼睛的图像，确定相机图像内的眼睛的位置，并控制MEMS以保持相机指向眼睛。在另一个案例中，MEMS装置可以用来控制相机的可调焦距，处理器可以确定眼睛图像的聚焦状况，控制MEMS设备以保持相机始终聚焦。

和之前的方案相比，最近通过的专利采用的方案不需要摄像头的移动，同时不会影响用户的视野，处理模块的计算量更小，同时更加节能、高效。

就现有的几份专利来看，最近公开的这个方案的优越性可以说毋庸置疑。但由于苹果对头显研发一贯的保密态度，我们也很难确定它的选择，最终的结果可能还是需要等到2020年才能见分晓。