90后北邮毕业生开发交方便盲人独立读取的互式屏幕阅读器

“最初打算帮助残疾人，是因为我在卡耐基梅隆读博时，结识了一位从 IBM 到我们学校访问的盲人教授。和她一起去朋友家时，发现她的生活非常不方便，这也是我设计盲人屏幕阅读器的起因。”对密歇根大学计算机科学与工程系 90 后华人教授郭安鸿来说，“科技向善”是他身上抹不去的标签。

很多人都曾在课本上学习过海伦·凯勒的《假如给我三天光明》，由于失聪和失明，她只能通过触觉来学习说话，比如把手指放在老师的鼻子、嘴唇和咽喉上，去感受某个单词的发音方式。

一个四肢健全的盲人固然有触觉，但却因为眼盲、而无法操作那些常人可以轻松操作的键盘，比如微波炉和电饭煲的物理操作界面。对他们来说，这些操作界面的按钮，不仅在触觉上难以区分，并且屏幕上还有他们无法阅读的视觉信息。

基于此，郭安鸿研发出一款人机交互系统，来帮助盲人读取、以及使用物理操作界面上的内容。

该系统包含三大块：VizLens、Facade 和 StateLens。其中VizLens 帮助盲人通过音频指示去使用物理操作界面，Facade 使用 3D 打印技术给其提供盲文标签，而 StateLens 则可以帮助他们识别动态操作界面。

VizLens：可给盲人提供实时帮助

VizLens 是用于静态物理操作界面的交互式屏幕阅读器，它结合了按需众包和实时计算机视觉技术。

当盲人遇到某个无法阅读的静态界面如微波炉界面时，使用手机对操作界面进行拍照，之后 VizLens 会把照片发送给网络众包人员。

视频 |VizLens使用说明

众包是一种通过互联网多人协作获得数据资源的方式，比如 Amazon Mechanical Turk 众包网站就是借助遍布在互联网上的自由职业者，通过他们完成一些细小工作，最终汇集在一起解决大型问题。

图 | 用户使用界面的操作过程（来源：受访者）

众包人员收到盲人的信号后，就会标记界面布局、并注释相关元素如按钮或其他控件，随后会描述每个元素，描绘出的图片也会成为参考图像，进而帮助计算机视觉更好地工作。

之后，当盲人要操作微波炉界面时，只需打开 VizLens 应用程序，把手机摄像头对准界面，接着把手指悬停在界面上，这时VizLens 会使用基于 SURF（Speeded Up Robust Features，加速稳健特征）的对象匹配技术，将众包标记的参考图像、与实时捕获的图像进行匹配，并跟踪用户的手指，进而去做检索、提供音频反馈和指导用户。

有了这种即时反馈，VizLens 就能实时地把界面内容告诉给盲人。此外，VizLens 还权衡了众包人类智能和计算机视觉的优势，因此它对物理界面的解释能力，几乎和人工一样准确，并且它和计算机视觉系统一样快捷且低成本。

Facade：方便盲人独立读取的 3D 打印触觉覆盖层

一般来说，盲人经常在家电上贴盲文标签。基于 VizLens，郭安鸿进一步开发出 Facade，这是一款可让盲人独立读取的 3D 打印触觉覆盖层。

盲人拍摄操作界面照片时，照片中需要包含绝对尺寸的标记（fiducial marker），比如钱币或者信用卡。拍摄以后，Facade 可通过照片来恢复按钮标签尺寸信息。

接着，Facade 会用类似 VizLens 的众包方法对图像作出标记。这时，盲人可以使用 Facade 应用程序，来自定义触觉覆盖层，随后 Facade 可据此生成 3D 模型，这时使用家用 3D 打印机，即可制造出触觉覆盖层。

研究中，郭安鸿经历几次设计迭代，最终确定了最有效的覆层设计、材料配置和打印机设置，以使 3D 打印的覆层易于附着、读取和按压。

概括来说，VizLens 和 Facade 使盲人用户可以访问许多静态界面。郭安鸿又在此基础上，开发了StateLens，这是一种用于公众信息显示屏和支付终端等动态触摸屏。

StateLens：解决误触难题

盲人一旦触碰屏幕，就很容易带来误操作，为解决此类触摸难题，针对使用过程中的意外触发因素，郭安鸿又设计出一套 3D 打印附件，即指帽和手写笔。

使用中，盲人通过手势激活所需的触摸位置，无需直接触摸屏幕即可浏览。据悉，StateLens 可在不修改触摸屏基础硬件或软件的情况下，为公共触摸屏带来 “无风险使用”，这也是可访问触摸屏交互的核心。

图 | 触摸交互设计（来源：受访者）

在对 StateLens 进行评估的过程中，他们首先通过 12 个触摸屏设备和 70K 多帧的实验视频，证明出 StateLens 可从固定视频、手持视频和网络视频中准确地重建界面。随后，再对 14 位盲人参与者做用户研究。这时，他们发现这款人机交互系统，可使盲人访问此前无法访问的动态触摸屏。

“你是我的眼”：盲人自己也可使用微波炉

谈及研发过程，郭安鸿表示：“我刚到匹兹堡时，不太熟悉当地用户和组织，但我做的是和盲人有关的项目，想要接触他们就更难。后来参加了一些当地的 meet up 活动，得知在一些图书馆里，有一些盲人在那里工作。通过这样一个滚雪球的方式，我一点点地找到了一系列用户。后面很多类似项目，我都可以去联系他们，看他们是否有时间给到一些反馈意见、试用一下我们做的产品等等。”

他说：“除了和 IBM 盲人教授相处的经历之外，通过观察图书馆盲人工作人员，也让我更加关心盲人的生活，比如说他们在使用微波炉这种物理操作界面或触屏设备的时候，有很多不方便的地方。然后我就想到可以通过计算机视觉、众包以及可穿戴设备等技术，设计一个系统，来帮助盲人用这种物理操作界面。”

系统初步完成后，郭安鸿在用户给产品做测试的过程中，非常有个人成就感。一方面系统可给盲人生活提供实质性帮助，另一方面他自己对人机交互领域的兴趣和热爱，也带来了一定的现实影响。

而在做每个项目之前，郭安鸿都会邀请盲人用户到实验室里，或去他们家里进行访谈，收集他们的痛点后、再和团队进行头脑风暴。研究过程中，也会得到盲人用户的持续反馈，获得新数据后再进行迭代，最终完成系统设计。

比如 Facade，其过程涉及到 3D 打印。那么，它到底该怎么打盲文？怎么让盲人摸到后就能识别？需不需要考虑多种颜色？如何让有一点点视力的盲人得到更好的帮助？针对这些问题，郭安鸿在收集用户反馈后，最终找到了最佳 3D 打印设置。

目前他正计划把该成果放在网上，作为免费应用供盲人使用。另一方面，微软、苹果、谷歌也在做残疾人相关的技术研究，郭安鸿之前曾和他们有过具体的合作，以后他想在这方面做更多拓展。

“毕业即教授”：28 岁拿到博士学位、并成为助理教授

郭安鸿是辽宁沈阳人，1992 年生人，小学毕业后就读于东北育才少儿班，16 岁高中毕业，随后北上并来到北京邮电大学读书，20 岁时本科毕业。

本科毕业后，他来到佐治亚理工学院读硕士，毕业后到卡内基梅隆大学读博，28 岁时博士毕业，2020 年是他博士毕业的年份，也是他在密西根大学获得助理教授教职的年份。来密西根大学教学之前，他还在微软、谷歌等公司参与过项目。

谈及过往，他表示：“我在这个过程中遇到了很多非常好的导师，参与到一些非常开眼界的项目，然后才让我一点点接触到科研，并可以独立开展这些有意思的研究。”

由于他本科是电子信息工程专业，期间曾参与一个用计算机视觉、来进行手势识别和脸部识别的控制游戏项目。后来他逐渐了解到人机交互，并且对此十分感兴趣，于是申请了一些相关项目，并一步步走上研究轨迹。

当问到是否初心不改、延续着一直以来的研究路线时，郭安鸿说：“我觉得研究路线其实一直都在变，因为时间也都在变，并且这些研究的学科也都在发展。不变的是我想要让世界变得更好，希望做的项目实际上可以帮助到残疾人，让他们的生活变得更便利。”

原文标题：90后北邮毕业生开发交互式屏幕阅读器，盲人可独立操作触摸屏，甚至能在无人陪护下使用微波炉 | 专访

文章出处：【微信公众号：DeepTech深科技】欢迎添加关注！文章转载请注明出处。

责任编辑：haq