Google Pixel 4 搭载隔空手势操控,引领一波新触摸屏革命?

Google（以下称谷歌）潜心研发数年的手势操控技术Soli，可能会在今年10 月首次搭载到谷歌新手机Pixel 4 上。就在人们已经淡忘了这项在2015 年的I/O 开发者大会上首次亮相的技术时，它来了。

正常来说，谷歌Pixel 系列新机在今年9 月发布，在未公开之前，应该会对自家产品严格保密才对。但是今年有点不一样，由于谷歌开始押注硬件和云服务市场，这一次，谷歌决定采取积极主动的方式提前自曝Pixel 4，宁可自己来爆料，也不让其他第三方赚眼球。谷歌首次宣布，Pixel 4 将是该公司新一代旗舰级智能手机。

首先，谷歌发布了一个预告片，揭示了一个独特的相机阵列和基本设计。在视频中，首先显示Pixel 4 的解锁功能，一位女性的脸部接近手机的正面，意欲面部解锁。不久之后，她退后一步，用手在手机前挥动来控制音乐播放界面。

与此同时，谷歌在其官方博客揭秘，Pixel 4 新机将搭载两大全新功能：

1、人脸识别：支持亚毫秒级的人脸识别解锁，而非屏下指纹解锁。通过新的算法和感应器结合，并没有使用上3D 结构光景深技术。

2、隔空手势操控：Pixel 4 将有一项名为“Motion Sense”的功能，也就是手势识别，使用Project Soli 毫米波雷达传感器，隔空手势控制手机。

如果说人脸识别功能难以让人兴奋，那手势操控绝对是一项噱头十足的黑科技。如今，这个技术概念即将首先在Pixel 4 手机上部署。这对当下所有电子设备厂商和消费者发出的一个重要预警信号：手势操作感应，很可能是近在眼前的一项未来交互科技。

挥挥手就能操控手机

2015 年，谷歌先进科技与计划部门（ATAP）宣布开展一个新项目，代号为Soli，也就是现在所了解的毫米波雷达传感器，当时该项目致力于打造一个基于60GHz 毫米波雷达技术的虚拟操控系统。利用雷达技术捕捉人的手势，对机器进行操作，其精度可达亚毫米级别。当时，它作为一个黑科技概念走入公众视野，人们并未对其有特别长远的期待。

但是经过近五年的研发之后，现在谷歌决定亮出这项技术的真面目。谷歌自家“亲儿子”手机Pixel 4 将成为使用Soli 雷达系统的首个设备。提供全新的体感识别功能，结合传感器和算法，通过雷达检测，让手机可识别手势动作，可以控制手机，用户挥挥手即可切换歌曲，控制闹钟，静音拨入电话。谷歌表示，随着Pixel 的不断优化，这些手势控制也会随之优化。

与市面上的绝大部分手势和动作捕捉技术不同，Soli 使用的是毫米波雷达技术，而非2D、3D 摄像头或者红外光。它的工作原理与大众所熟悉的雷达原理相同：首先向一个区域发射电磁波，再接收物体反射回来的电波，加以处理、计算和分析。

当食指和拇指一张一合时，会模拟出按按钮的动作，向目标发射电波；而雷达接收器将会收到信号，阻拦来自该目标的反射能量，来回摩擦下，模拟出旋转旋钮等执行性动作，而这些动作都会干扰电波返回的时间和速度。在收集电波规律并加以分析和计算后，系统就能够识别出特定的运动模式，进而确定用户所做的动作，发出响应控制指令。

雷达技术不是触摸设备上的屏幕，而是实时跟踪（捕捉）动作，并通过所做的动作来改变其信号。将手放在传感器前方，凭空做出特定动作，比如打个响指，就可以控制带雷达的智能设备。它的操作演示是这样的：

还有这样的：

和这样的：

有一种科幻电影的即视感。

Soli 雷达传感器的作用，其实是从一个雷达信号本身，形成设备对手势识别的闭环链条。其使用的频率极高，波长很短，60GHz 的频率对应5 毫米波长。因此Soli 传感器能量较为集中，方向性强，抗环境干扰，可以集成在封装内，轻易地穿过塑料外壳，捕捉毫米级别的手部动作变化，同时保证回波强度。

2018 年末，美国联邦通信委员会（FCC）批准了谷歌的手势操作感应系统，“Soli 项目” 所申请的频段，允许它的毫米波雷达使用57-64GHz，峰值等效全向辐射功率（EIRP）可达13dBm。

在安全方面，谷歌也表示，Soli 传感器数据也会在用户手机上处理，不保存或与其他Google 服务共享，通过Titan M 安全芯片的加持，保护并储存于手机本地（而不是云端）。另外，手势识别功能只会向部分国家/地区提供，暗指如果雷达频段与谷歌手势不匹配，或者有部分地区监管部门不批准的话，这项技术很可能不会在手机上执行。

类似功能其实在此前的三星Galaxy 手机上就存在，但非常难用，用户需要打开相关设置，识别场景非常少，只能识别一些简单动作，复杂得无法实现。后来由于系统简化，将其功能删除了。

目前，谷歌官方暂未说明这项功能的应用范围，以及是否会在Pixel 4 上预装，还是后续进行软件更新才会搭载，或许这个谜底将在10 月发售时才会揭晓。

手势操控+人脸识别=更快解锁手机

相比手势识别功能，面部识别已经不是什么新鲜事了。前有iPhone X，后有OPPO Find X 3D 结构光识别的移动设备，这一项新技术已逐渐成为了很多用户的日常所需，解锁、支付、下载应用，“一看就成”。

但谷歌表示，Pixel 4 与其他手机的面部识别解锁技术不太相同。首先就是Pixel 4 将结合Soli 传感器执行操作，当用户的手接近到拿手机的距离时，Soli 会主动启动面容识别传感器，并默认解锁手机的界面。随后，当算法识别到用户面部信息后会立即解锁，并支持以任意角度拿着手机，即使手机是反向拿起的。谷歌表示，Pixel 4 的面部解锁也可以用于安全支付和应用程序身份验证中。

比较而言，iPhone 上的苹果Face ID 面容识别功能仅在手机垂直方向对准人脸的时候才有效，而TrueDepth 景深摄像头系统位于手机顶部，遮挡都无法正常识别解锁，将设备完全抬起，以某种方式摆姿势，等待它解锁，然后滑动以进入主屏幕，这一动作略显繁琐。苹果在iPad Pro 中使用了相似的面容识别功能，仅多加了四个方向的解锁方式，并未出现以雷达感应器工作的情况，这对于谷歌来说，是一项独家的“黑科技”。

图｜传感器和相机可在Pixel 4 中实现Motion Sense 和面部解锁（来源：谷歌官网）

除此以外，谷歌还发布了Pixel 4 设备顶部各种传感器和组件的样图，说明如何利用Soli 传感器进行面部解锁的。Pixel 4 手机屏幕上方有两个用于面部解锁红外相机，一个环境光/接近传感器，一个Soli 雷达传感器，一个点投影仪和一个面部解锁照明灯。根据谷歌的说法，用户的面部信息会保留在Pixel 设备的Titan M 安全芯片中，并且永远不会离开用户的手机。

非常有趣的是，科技网站9to5Google 报道，谷歌正在通过外包形式，提供了5 美元的奖励支持，换取街上的人脸的面部数据，以帮助训练Pixel 4 面部识别系统的模型。街上的人被要求从口袋中取出“修改后的Pixel 3 XL”，这台手机是谷歌外包人员递给他的，既能看到通知，同时还能获取面部数据。当询问这是什么时，谷歌方面的员工只简单说明，它是一款“未来”的谷歌产品。

而谷歌公司发言人在今天证实，换取面部数据的目的是确保Pixel 4 可以使用多种面孔。包括生物特征、面部识别等，减少具有性别和种族偏见的相关数据。此前亚马逊推出的匹配面部算法Rekognition，因其存在种族偏见而受到抨击。ACLU（美国公民自由联盟）去年进行的一项测试发现，在扫描国会议员的照片时，Rekognition 错误地将28 个人与警察的照片进行了对比。亚马逊将结果归咎于算法校准不佳。而最终导致美国很多州政府陆续拒绝这项技术的落地。

Pixel 4 除了使用上Soli 雷达传感器的面部识别，以及众多数据模型处理的识别精准之外，Pixel 4 的面部识别速度和算法是非常关键的。

近日，谷歌发布了一款专为移动GPU 推理量身定制的轻巧且性能卓越的人脸检测算法BlazeFace。能够在设备上以200~1000+ FPS 的速度运行，应用在多个人脸识别的场景中，这个算法主打的是“超实时性能”。

图｜红色代表BlazeFace 输出；绿色代表任务特定的模型输出（来源：谷歌论文）

谷歌在Arxiv 网站上发表了相关论文，介绍了这项算法技术成果。据悉，这套算法将基于AR 技术来进行人脸检测，由于人脸与设备之间拥有不同的焦距，提前通过前置和后置摄像头的AR 拍摄，构建面部模型，及时捕获物体尺寸和大小。BlazeFace 将生成6 个面部关键点坐标，包括眼睛、耳朵、嘴的中心和鼻尖，通过锚点方式进行连接，以便估计人类面容的旋转角度。这样的设置可以使面部识别可以在各种方向上正常运行。

在算法层面，谷歌采用一种混合分辨率策略代替抑制算法，以重叠预测之间的加权平均值估计边界框的回归参数，提高人脸识别的准确度和速度，通过连续输入目标轻微偏移的图像来量化抖动量，提高每次输入识别数据的精准度，缩短整个面部识别时间过程。

虽然谷歌并未在论文中指明，该技术是否会在Pixel 4 上应用，但可以预见的是，这种算法正在被谷歌进行不断测试，可能会在今年的Pixel 产品中首次实现。

谷歌的Made by Google 战略

自Pixel 系列诞生以来，谷歌CEO “劈柴哥”（桑达尔·皮查伊）愈加重视谷歌自研技术和落地效果，从云服务和硬件产品的投入力度可见一斑。在刚刚过去的谷歌母公司Alphabet 第二季度财报中，“劈柴哥”表示，随着Pixel 3A 在5 月的推出，第二季度的Pixel 等硬件产品的销售额，同比增长超过两倍。

相比之前一年一新机的策略，今年这种6 月发布性价比Pixel A 系列新机，9 月发布Pixel 数字旗舰手机的策略得以顺利实施。从市场和宣传反馈上来说，“一年两款新机”的确是谷歌非常不错的战略选择。此前罗永浩在接受罗振宇采访时表示，在手机这个红海市场中，三个月是一款安卓手机的宣传和发售结点。

（来源：谷歌官方）

2015 年，当“劈柴哥”担任谷歌公司CEO 之后，提出了“Made by Google”的口号，通过AI 技术+ 硬件+ 软件操作系统，形成没有代工厂标示的Pixel 手机、Pixel C 平板，并且发布VR、智能家居等多款自主研发的终端设备，开启了自主生产、研发之路。

过去四年，从市场反馈上来看，新的Pixel 系列设备开始有了更多的意义，通过软硬件技术的一体化生产，给手机行业带来更多的发展前景，形成安卓设备的终极标准。比如谷歌Titan 和Titan M 安全芯片，就是一个非常典型的例子。

图｜Titan （左）Titan M （右）（来源：谷歌官网）

Titan M 安全芯片在硬件规格上，使用Arm Cortex-M3 内核，采用自研的算法，其前身Titan 芯片应用在数据中心场景中，而后，通过写入最新版的安卓操作系统，搭载在Pixel 系列手机上，防止受到恶意软件或黑客的硬件攻击，还可以保存用户的密钥，安全可靠。

在今天发布的官方声明中，谷歌强调，“安全和隐私是Pixel 的核心原则”。

为了保护用户隐私和安全，数据都会安全地存储在Pixel 的Titan M 安全芯片中。这一个Google 自主研发的软硬件产品，更灵活地使用在Pixel 手机当中。

从Made by Google 战略中，大众可以明显感知到，谷歌对于技术的不断探索，软硬件结合已经形成了该公司发展的“护城河”。但与此同时，隐私、垄断等词语也伴随着谷歌公司的发展，这实在令人担心啊。

不管怎么说，这次Pixel 4 新机在技术上的亮点颇多，非常值得期待。外媒预计，Pixel 4 将于今年10 月发布。在此之前，Note 10、新iPhone 都将陆续登场。

手势操控功能，能否帮助Pixel 4 虏获更多消费者的心，需要市场检验；但Soli 技术落地，带来的更大猜想就是，它会不会引领一波颠覆式更新，革了触摸屏的命呢？