自然语言处理的技术难点与挑战_发展现状分析

前言

借助移动互联网技术、机器学习领域深度学习技术的发展，以及大数据语料的积累，自然语言处理技术发生了突飞猛进的变化。越来越多的科技巨头开始看到了这块潜在的“大蛋糕”中蕴藏的价值，通过招兵买马、合作、并购的方式、拓展自己在自然语言处理研究领域的业务范围，进一步提升自然语言处理在整个公司中的主导地位。与此同时，也不断有新兴的科技公司涌现，提出自己的在智能交互、语音识别、机器翻译等方面的解决方案，试图在自然语言处理这片广阔的蓝海上划分自己的领土、树立自己的标杆。

人工智能已经是大部分普通人都耳熟能详的词汇，而人们对自然语言处理技术的了解程度却大部分还停留在表面阶段。本文通过回顾自然语言处理的发展历史，解读2015年整个自然语言处理行业的重大变化，进而提出新的时代下自然语言处理技术的发展瓶颈、以及对于自然语言处理所提出的挑战、自然语言处理未来的发展方向。

一、追本溯源——自然语言处理技术发展历程

自人工智能在1956年达特茅斯会议上首次提出，让机器完成更多的智力工作成为科学家努力的方向。其中一个重要的目标就是希望机器能够与人类进行更加自然高效的交流，希望机器读懂人类深奥的语言，同时以一种我们习惯的方式进行交互，而解决这个问题的关键技术就是自然语言处理。

尤其是近20年来，随着互联网的发展引发了对这一技术的强劲需求，这一技术在得到长足发展的同时，也在有力地促进互联网核心能力的增强。比如，目前互联网提供的一个基础性能力是信息检索。人们在搜索引擎中输入关键词，就可以获得相关信息。在20年前，互联网刚开始发展的初期，给搜索引擎输入“和服”，返回的结果中很可能包含不少生产、销售“鞋子和服装”的公司的信息。现在这种错误已经比较少了，而促进其质量不断提升的一个核心就是采用了不断改进的自然语言理解技术。“互联网”自然语言理解已经成为互联网发展的一个共识，并在不断深化。

最近几年，众多科技巨头正在这方面进行布局。2013年谷歌以超过3000万美元收购了新闻阅读应用开发商Wavii。Wavii擅长自然语言处理技术，可以通过扫描互联网发现新闻，并给出一句话摘要；微软将自然语言处理技术应用在了智能助手小冰、Cortana上，取得了不错的效果，通过机器翻译使Skype具备了实时翻译功能；自然语言处理技术是Facebook智能助手M背后的核心技术之一，其产品负责人称“我们对M做的事情可以让我们更好地理解自然语言处理。”国内的科大讯飞在去年年底发布了自然语言处理云平台，很早推出语音合成产品，在中文领域的自然语言处理和语音合成方面有着深厚积累。可见，早在前几年，众多科技巨头和国内IT厂商就已对自然语言处理这篇潜在的广阔市场觊觎已久，纷纷开始摩拳擦掌，准备将自然语言处理技术向公司的核心业务方向进行转移，针对业务线转型、新产品提出来酝酿更大的动作。

 

二、自然语言处理技术发展历程——持续探索 稳中前行

2015年是自然语言处理技术进一步发展的一年。由于自然语言处理的主流技术主要是以统计机器学习为基础的，因此这些技术的性能就依赖两个因素：一是针对不同任务的统计模型和优化算法，二是相应的大规模语料库。2015年得益于深度学习算法的快速进展和大规模社交文本数据以及语料数据的不断积累，自然语言处理技术有了飞跃式的发展。在这一年，各大厂商致力于解决语音识别、语义理解、智能交互、搜索优化等领域更加复杂、困难的问题，持续不断地对原有产品的算法、模型进行优化与革新。

在新产品方面，2015年带给了我们太多的惊喜。高考期间，百度推出了小度机器人，无独有偶，十月底，Rokid团队推出的Rokid机器人也与公众见面。这些实体机器人不仅能用拟人的思维识别语义，尝试与用户建立起更深层、连续的沟通，还能模仿人的“思考”，先从海量互联网内容中提取信息，然后按人的思维逻辑对信息进行推理分析和筛选，再得到答案。不仅如此，优秀的实体机器人还能与智能家居设备深度融合，并接入音乐、新闻等内容，还能给予摄像头进行手势唤醒与远场识别。

2015年，远场语音识别技术突破了5米的瓶颈，大幅度改进了语音交互的自由度，再次刷新业界期待。利用麦克风阵列、回声消除等技术将目标说话人的声音增强，并抑制/消除噪声和回声，由此进行语音前端处理；在语音识别引擎，则针对麦克风阵列处理后的数据进行收集、训练，以使远场效果最优化。目前国内集成全新的4麦克风阵列方案，利用麦克风阵列的空域滤波特性——在目标说话人方向形成拾音波束（BeamForming），抑制波束之外的噪声；结合独特的去混响算法，最大程度的吸收反射声，达到去除混响的目的。其中，汉语语音识别技术也取得了重大突破：识别相对错误率比现有技术降低15%以上，使汉语安静环境普通话语音识别的识别率接近97%。通过基于多层单向LSTM的汉语声韵母整体建模技术，成功地把连接时序分类（CTC）训练技术嵌入到传统的语音识别建模框架中，再结合语音识别领域的决策树聚类、跨词解码和区分度训练等技术，大幅度提升线上语音识别产品性能，是一次框架式的创新。2015年，“字根嵌入”的提出，将“字根作为中文语言处置惩罚的最小单位进行研究”，机器在处置惩罚中文分词、短文本分类及网页排序方面的效果大幅提升，可以有效促进机器对用户中文表意进行深度学习，让搜索引擎更加智慧、更“懂“用户。随着大数据技术和深度学习算法的不断发展，2015年，基于数据驱动的自然语言对话系统也为我们打开了新的思路：通过提出Deep Match CNN和Deep Match Tree两种匹配模型以及Neural Responding Machine（NRM）对话生成模型，并深入挖掘大规模对话数据，很容易地构建一个自动生成对话系统，其准确率相比传统的机器翻译模型由26%提高到76%，而且对话十分自然流畅。

2015年，许多厂商也纷纷开源了自己用于自然语言处理、机器学习的工具包和技术专利。Facebook人工智能研究院（FAIR）宣布开源了一组深度学习工具，这些工具主要是针对Torch机器学习框架的插件，包括iTorch、fbcunn、fbnn、fbcuda和fblualib。这些插件能够在很大程度上提升深度学习的速度，并可用于计算机视觉和自然语言处理等场景。Torch已被Google、Twitter、Intel、AMD、NVIDIA等公司采用。Google、Microsoft和IBM分别发布并开源了自己的机器学习工具包TensorFlow、DMTK和SystemML。Google已将TensorFlow用于GMail（SmartReply）、搜索（RankBrain）、图片（生成图像分类模型--Inception Image Classification Model）、翻译器（字符识别）等产品。DMTK其功能特点以及定位更倾向于自然语言处理方面，例如文本分类与聚类、话题识别以及情感分析等。SystemML则是IBM研发了超过十年的机器学习技术，沃森（Watson）在几年前的大型活动里就整合了很多SystemML的机器学习功能。语音识别知名厂商SoundHound.inc年底也开放了自己的“Houndify”平台，通过与各大传统行业厂商深入合作，集成各个方面的行业数据：如与Expedia.com合作，集成酒店、航班方面的语料数据；与Xignite合作，集成金融市场语料数据，意在通过语音“识别一切”，构建更广阔的识别平台。