诺亚关于深度学习的研究进展及发展趋势

本文来自华为诺亚方舟实验室资深专家刘晓华在携程技术中心主办的深度学习Meetup中的主题演讲，介绍了华为诺亚面向语音语义的深度学习进展。
　　本次演讲简要回顾了深度学习近十年进展，重点介绍华为诺亚方舟实验室最近两年内和深度学习相关的研究成果，并探讨了深度学习的未来趋势。
　　深度学习的近十年进展
　　深度学习为什么现在这么火？大数据、算法突破和计算能力。算法上有什么样的突破？第一点，对多层神经网络做预训练。第二点，大量标注数据驱动的监督学习和防过拟合技术的结合，例如dropout。第三点，注意力模型。特别是2012年来，深度学习在语音、图片、视频识别，包括自然语言处理方面取得重大突破等。
　　


　　语音识别方面：基于深度神经网络的声音模型替隐马尔可夫框架下的基于混合高斯分布的升学模型，使语音识别取得了突破性进展。目前完全融合了声学模型、语言模型和声学词典的基于深度学习的端到端的语音识别系统也开始出现，并有可能演进为下一代的语音识别系统。
　　图像识别：2011年，基于深度卷积神经网络的图像识别系统在ImageNet数据集上取得极大成功，并开始有成功的商业化应用。
　　自然语言处理：自2014年始，深度学习在语法分析、机器翻译、对话等领域都取得了一系列重要成果。
　　符号人工智能：深度学习开始进入知识表达和推理等传统人工智能的领域，并取得了初步成功。
　　控制/强化学习：深度学习和强化学习结合催生了深度强化学习技术，该技术在控制领域，如游戏操作和机器人的控制的端到端学习（end-to-end learning），都有了令人瞩目的成功。
　　诺亚语音语义方面深度学习相关研究
　　华为诺亚方舟实验室已经成为中国在深度自然语言处理研究（deep learning for NLP）领域最好的实验室之一。