模型驱动深度学习的标准流程与学习方法解析

概要：近年来，深度学习在人工智能领域一系列困难问题上取得了突破性成功应用。

模型驱动的深度学习方法

近年来，深度学习在人工智能领域一系列困难问题上取得了突破性成功应用。例如用于人脸识别已高于人的正确识别率、用于语音识别与机器翻译已接近达到同声翻译和‵讲完稿出＇的水平、用于围棋竞赛已达到完胜人类世界冠军的水平、用于一些疾病的诊断巳能与中、高级专业医师水平匹敌。现在，深度学习技术在信息科学各领域已无处不在、并正成为各自领域的标准方法。

尽管深度学习取得重大进展，但人们对人工神经网络拓扑与性能的对应关系仍然缺少理论上的认知，网络拓扑选择目前还是一项工程技术而并没有成为科学。这直接导致了现有深度学习多半是缺少理论基础的启发式方法。设计难、解释难、结果不可预知已成为深度学习公认的缺撼。

《国家科学评论》最近发表了西安交通大学数学与统计学院徐宗本院士、孙剑教授撰写的“Model-driven deep learning”的观点文章（National Science Review, 2017,https://doi.org/10.1093/nsr/nwx099）。这篇文章尝试解决深度学习的网络拓扑选择问题，目的是实现可设计、可解释以及结果可预期的深度学习方法。文章提出一种模型驱动与数据驱动相结合深度学习方法。众所周知，深度学习是一种标准的数据驱动型方法，它将深度网络作为黑箱依赖于大量数据解决现实问题；而模型驱动方法则是从目标、机理、先验出发首先形成学习的一个代价函数，然后通过极小化代价函数来解决问题。模型驱动方法的最大优点是只要模型足够精确，解的质量可预期甚至能达到最优，而且求解方法是确定的，但模型驱动方法的缺陷是在应用中难能精确建模，而且对建模的精确性追求通常只能是一种奢望。

模型驱动深度学习方法有效结合了模型驱动和数据驱动方法的优势，文章中给出了模型驱动深度学习的标准流程:(1)根据问题，建立模型族(Family of Models);(2)根据模型族，设计算法族(Family of Algorithms)并建立算法族的收敛性理论;(3)将算法族展开(unfold)成深度网络并实施深度学习。文中还介绍了课题组研究并实践的一系列模型驱动与数据驱动结合的深度等习方法，展现了该方法在解决实际问题上的有效性。