智能“手环”助力聋人手语发声

一枚小巧的“手环”，通过连接服务器就可以让聋人的手语发声，并且还能把外界语音转化为文字，实现聋哑人和外界的无障碍沟通。

5月17日至18日，2018“未来力大会”大学生社会创新大赛全国赛在上海举行，东北大学的“妙手回声”项目荣获创行中国科创冠军赛全国总冠军。“我们研发的手语双向交互系统为聋人架起一座与世界沟通的桥梁，用一双妙手化无声为有声。”项目指导教师、东北大学机器人科学与工程学院王斐副教授表示。

针对聋人在日常生活中与健全人交流困难问题，东北大学曾振、贺潇、李荣颉等同学在王斐老师的指导下研发出了一套基于多源信息融合的手语双向交互系统。该系统由可同步采集上肢肌电与惯性信息的佩戴式手环、安装有手语双向交流APP的平板电脑和手语识别云服务器构成。当聋哑人与健全人进行交流时，系统对手环采集得到的聋人上肢多源信息进行实时处理，并基于深度学习完成手语关键词在线识别，然后使用语法模型获得手语词句，并通过语音芯片合成，实现手语到语音的转换。同时，健全人的语音可以通过APP转化为文字和手语动图反馈给聋人，从而实现了二者的自然无障碍双向交流。

王斐老师告诉记者，在研发过程中，团队曾遇到了智能硬件核心技术的瓶颈问题，开发到一定程度就受制于国外的技术封锁，无法再进行深层次开发。“聋人手语发声装置最核心的硬件就是肌电手环。实验室进行了技术攻克，现在能够做到从软件到硬件都是我们的自有技术。”他说，这背后是上千遍枯燥重复的实验尝试和难熬的夜晚，团队经历了数不清的“推倒重来”。

与传统基于机器视觉的手势识别方法相比，使用肌电手环可避免光照、遮挡、干扰和手指细微动作无法捕捉等严重缺陷，在便携实用的同时，更增加了手语识别的实时性和准确性。为聋人在日常生活中与健全人进行无障碍交流提供了极大的便捷，也为他们从身心两方面重返社会创造了有利的条件。

据团队成员介绍，在比赛现场进行成果展示之后，评委给出了这样的评价：“我没有想到作为大学生，你们会注意到聋哑人这个群体，而且还为了改善他们的生活做了这么多事情。”

王斐老师表示，残疾人是弱势群体，团队从来没想过产品研发成功之后可以赚钱，所以在技术上他们尽力做到完全的自主化，从而降低成本，这样一来残疾人可以很容易地得到并能使用它。

团队成员曾振说：“有些高水平的东西，在商业角度上看价值不大，但这也是学生团队和实验室的价值所在，企业做1到1万的商业转化，而学生实验室可以不计回报地做从0到1的技术研发。”

该团队将代表中国前往美国硅谷参加2018创行世界杯总决赛。

审核编辑：符乾江