三维触控技术详解 突破“二向箔”的束缚

触摸屏技术的回顾

触摸屏技术至少可以追溯到上世纪70年代的美国伊利诺伊大学，当时科学家们把这项实验室里的最新成果安装到了PLATO IV计算机上用于课堂辅助教学，触摸屏由此第一次走出实验室正式进入实际应用阶段。不过，触摸屏的技术并不成熟，商用价值在此后的很长时间内也并没有被发掘出来。到了90年代，触摸屏出现在高端PDA（年纪稍长的读者一定还记得快译通和文曲星）中，可惜仍然不温不火。

一方面，PDA的市场规模并不大，另一方面由于触摸屏的精度有限，大多数PDA用户还是更喜欢直接用实体键盘操作。2004年，任天堂的掌上游戏机NDS在全球热卖，其最大的卖点就是NDS拥有两块屏幕并且其中一块是触摸屏，于是触摸屏随着NDS的流行而进入了更多人的视野。

不过，直到那时候，触摸屏的使用还是局限于特定的人群。 真正让触摸屏走进千家万户还是要归功于苹果的乔帮主。2007年，初代iPhone发售，它重新定义了智能手机。在iPhone发售之前，智能手机的定义是“用户能够自主安装软件的手机”，而在iPhone发售之后，智能手机的定义变成了“屏幕可以滑的手机”，触摸屏对于iPhone来说是标志性不可或缺的模块。实际上，在手机上搭载触摸屏苹果并非首创，但是苹果iPhone使用触摸屏完全更新了手机的操作方式，在iPhone中引入了拖曳，缩放等手势操作，极大地改善了用户的操作体验。随着iPhone销量节节攀升，三星、HTC等公司也不甘示弱，纷纷推出了搭载触摸屏且操作方式类似iPhone的智能手机。一夜之间，地铁上再也听不到手机的按键声，因为所有人都开始用触摸屏“滑”手机。

触摸屏首次出现在PLATO IV计算机中（左上，此后陆续出现在快译通（右上），NDS（左下）等设备中，最后苹果推出的iPhone（右下）让触摸屏真正走进千家万户

在iPhone推出之后，触摸屏并没有停止更新。

第一代iPhone使用的是电阻触摸屏，可以支持基本的触控交互。之后，苹果iPhone逐渐开始使用电容屏，极大地提升了操作手感，几乎使滑手机屏幕变成了一种享受。另一方面，为了使手机变得更轻更薄，屏幕制造技术也经历了out-of-cell到on-cell直至最薄的in-cell。相对于十年前的触摸屏，今天的触摸屏更薄，操作手感更好。

| 突破二向箔的束缚：三维触控

然而，人们对触摸屏交互方法的探索并没有到此为止。这里不妨再梳理一下手机与用户交互方式的进化过程。

最初，用户只能通过按手机上若干位置固定的按键来操作手机，这种方式可以称作一维的操作方式。在苹果引入触摸屏以及手势操作后，用户可以在手机触摸屏的二维空间里自由动作，因此可以称作二维的操作方式。如果我们的触摸屏不再进化，那么用户与手机的交互维度将会被限制在二维，就像《三体》中被二向箔击中的文明一样。

很自然地，我们会想到：既然人类生活在三维的空间里，为什么用户与设备的交互只能是在二维空间里呢？有没有可能实现三维的交互方法呢？

要实现三维交互，就必须能够实时捕捉到用户的手在三维空间中的坐标，并且根据用户手的三维坐标（及其变化）做出相应回应。

幸运的是，科学家和工程师们已经开始开发三维触控来实现超越二维的人机交互。在具体地分析技术之前，我们不妨先来展望一下三维人机交互方法都能带来哪些革命性的应用？

1、游戏（含VR）

说到三维触控，大家首先想到的就是在游戏中的应用。确实，游戏是所有应用中对于交互方式要求最高的。使用与游戏相配合的专用交互设备，玩家才能完全体会到游戏的魅力（不信你用键盘玩赛车游戏试试），这也是为什么一些游戏需要开发专用外设（如早年《热舞革命》的跳舞毯，《吉他英雄》的吉他，各类赛车游戏的方向盘等等）。

当触摸屏在手机上刚普及时，《愤怒的小鸟》，《水果忍者》等一批完美利用触摸屏交互特性的游戏也获得了大家的青睐。当触摸屏可以捕捉到人手在三维中的动作时，在游戏中可以实现许多新的玩法。一个非常有潜力的方向就是和VR技术结合，例如类似《水果忍者》的游戏可以在三维空间内通过玩家的手势进行，《街头霸王》等格斗游戏的出招可以由玩家的真实手势触发，从而使玩家的代入感大大增加。

3D触屏结合VR技术可以极大地增加游戏可玩性

2、增强现实（Augmented Reality， AR）

三维触摸屏很有潜力成为AR应用中人机交互的基础技术。

在AR技术中，用户佩戴的专用眼镜作为显示屏，通过计算机视觉技术将AR的图像界面与现实世界有机地结合在一起并投射到用户眼睛的视网膜上。当用户的手做出动作时，AR设备必须能准确地捕捉到手的实时位置并根据用户手的动作做出相应反应。三维触摸屏正是能够捕捉到手的精确位置，从而成为AR人机交互的基础技术。在AR技术普及后，不仅仅手机、电脑会用到三维触摸屏，甚至日常家具（如桌子，橱柜）的表面都可能需要支持三维触摸技术，从而让用户随时随地能使用AR。

增强现实将计算机图像与现实结合在一起（左），AR与用户交互方式需要能精确地捕捉用户手的三维位置（右）