腾讯、百度、软银都在研究，利用AI技术将手语转文字有多重要？

电子发烧友网报道（文/李弯弯）据外媒报道，日本电气大学与软银公司联合，通过人工智能AI技术，能将手语直接翻译成日语，这将使聋哑人士的沟通更顺畅。

目前该系统只能用于柜台设备上，聋哑人士能在摄像头前通过手语沟通，然后系统用图像识别技术，分析手指和手臂等身体几个部位的骨骼运动，将手势翻译成日文，显示在工作人员的电脑屏幕上，随后口头回复以文本的形式出现在听障人士面前的屏幕上，使交流更加顺畅。

该系统的核心技术由ABEJA提供，谷歌2018年投资了它，ABEJA的核心产品是使用机器学习帮助公司从他们的数据堆中开展商业分析。在这个项目中，ABEJA通过让AI学习了5万个手语视频，使其捕捉到手语特征和变化，目前该系统能准确将手势翻译成大约1500个日语单词。

早在2015年就有手语识别研究

人工智能技术的出现和逐渐成熟，不仅有利于产业升级，事实上很早开始，就有研究人员尝试利用AI技术帮助聋哑人士更加顺畅的交流。

2015年9月沙特设计师就专门研发了一款无线智能手套，内置传感器，聋哑人戴上交流的时候，传感器可以根据手指的运动追踪手势，再通过语言软件转换成声音和文字，在初期，这款无线智能手套只会讲法语、英语和阿拉伯语，该研究团队表示，后续会支持更多种语言。

在中国也很早就有相关的研究，2016年有媒体报道，东大自动化专业李师宁等同学研发出了一种最新型的手语识别发声系统，这是一种结合人体生物及姿态信息的便携手语发声器，聋哑人可以通过手语使该机器发声翻译。

2018年东北大学也研制出一款帮助听障人士沟通交流的智能系统，由智能传感手环、前端APP及云端服务组成，智能传感手环可以将听障人士的手语动作捕捉识别，并在云端转换为文字及语音呈现在APP端，传递给非手语使用者，同时又可以将非手语使用者的语音在APP端转换为文字加手语动图的“双语形式”。

百度、腾讯等互联网巨头企业也进行了相关研究，2019年百度在AI开发者大会上提出“Everyone can AI”的理想，意思是让每个人都能有平等接收AI的能力，百度以百度飞桨开源内容为基础建立训练模型，通过采集手势得到数据，借助手机转化成文字信息，听障人士可以使用翻译器，在咖啡馆、餐厅如同正常人一样点餐、交流。

优图AI手语翻译机界面

同是在2019年，腾讯优图实验室也推出了一款基于自研算法的优图AI手语翻译机，以普通摄像头作为手语采集装置，用户正对摄像头完成手语表达，翻译机就能通过后台运算将手语快速翻译成文字。据介绍，优图AI手语翻译机数据集覆盖近千句日常表达，包括900个常用词汇，同时还对数据进行了分析和归纳，是当前最大的中文手语识别数据集。

手语识别技术存在很大挑战

相比于其他AI视觉识别技术，手语识别研发存在更大困难。在2018年东北大学的研究中，就透露出手语识别研究存在的现实问题，即每位听障人士的手语规划不同，同一个词打出的手势有差异，因此智能识别可能就没那么准确。

不过好在2018年中央颁发了国家通用手语标准方案，这很大程度有利于后续手语转文字或语音方面的研究。即使如此可能还是会存在细微差异，百度此前就表示，手语复杂、多样、以及地域性差异给研究带来不少困难。

百度还谈到另外一大困难，即可用于训练模型的数据量小，在上述日本的项目中，一位参与开发的软银工程师也表示，要建立一个将符号准确翻译成日文的模型，需要大量的手语数据。因此他们通过网站等方式，呼吁更多人发送手语图像数据。

小结

AI技术在服务产业升级的同时，也可以极大的帮助聋哑人群更好的实现沟通，这是这个时代的福音。据第二次全国残疾人抽样调查结果显示，我国有2780万听障人士，如果能够利用AI技术实现将手语实时翻译成文字和语音，这将是一项极其有意义的事。

日本聋人联合会认为，要使人工智能成为聋哑人群的有效工具，还需要很长的时间来实现。不过很明显从2015年到现在，手语识别在逐渐取得进步，也有相当多的研究人员和企业投入其中，对于未来逐步突破困难取得更大进步还是值得期待。