机器学习 | autoML自动化深度学习网络设计可行吗?

摘要：机器学习（深度学习为其中一分支）技术成为各产业智慧化的核心能力，但是算法的设计复杂，需要专业知识与经验，对于好的人才，需求远大于供给。

机器学习（深度学习为其中一分支）技术成为各产业智慧化的核心能力，但是算法的设计复杂，需要专业知识与经验，对于好的人才，需求远大于供给。为了弥补这个空缺，这几年自动化机器学习工具（autoML）新研究兴起，希望有自动化的系统，在给定问题（通常是标记的数据）之后可以自动生成机器（深度）学习算法。在信息论上，这是非常复杂的问题，需要大量运算资源，所以极具挑战。

autoML研究已经发展一段时间。例如开源软件auto-sklearn，可以自动找出各种（传统、较简易）算法的组合，试着优化整体预测能力，但目前仅局限于参数量较少的简易模型。目前最受瞩目的应该是「神经网络结构搜寻」（Neural Architecture Search； NAS），希望自动设计出解决特定问题的类神经网络，原因是深度学习网络的效能优异，而且有机会在各平台实现，商业机会庞大。

NAS做为热门的研究领域，其原则是在可能的神经网络设计架构中找出最佳的组合。主要的结构（参考附图）包括3部分——可能网络构成空间、候选网络生成（搜寻）策略、网络效能评估策略等。

「可能的网络构成空间」是影响NAS能否收敛的关键因素。试想一下，目前常用的网络参数量都是百万、千万等级，要组合出这些可能性，不可能在有限的时间、运算资源内完成。所以目前的组合考虑大多限缩在某些特定、常用的网络架构（卷积层大小、normalization方式、pooling方法等），压缩整体搜寻的空间。

另一个需要大量运算时间的是对每个找出的候选网络进行「效能评估」，进而修正网络生成的方向。开始时大家对这些候选网络做最完整的参数训练，可以想象需要大量的时间资源，所以较早的研究曾经使用到800个GPU、28天的时间。近来大家采用的策略都是减低训练数据、降低训练次数、共享网络参数，甚至是用推估的方式直接猜测效能，完全省略耗时的网络训练。目前已经可以大大降低所需的运算量。

「候选网络生成」是为了搜寻出可能具有潜力的候选网络，还必须利用之前生成过的网络效能来修正网络生成（搜寻）的方式。所以传统的演化式算法在这些优化过程又需被大量使用，不过一般认为最有效的方式是使用强化学习（reinforcement learning），按照之前生成网络的评量，修正候选网络的生成策略。 在实际的发展上，目前自动生成的网络，在某些实验数据集上已可超越资深研究人员的手工设计。但这也不令人意外，因其是利用大量运算资源来更优化设计效能。此外，NAS算法只能在研究人员认为有效以及给定的网络组件组合中搜寻，尚未有「创造」新组件的能力。

以企业的角度，我认为autoML该视为辅助性的工具来加速深度学习网络的设计。但是主要架构的独特性、竞争性，或是能否在垂直领域中胜出，还是需要了解该领域的资深研究人员给出适合的基本结构，让autoML算法找出最神经网络。

目前应用上，除了优化正确率之外，基于许多场域的实际考虑，我们也会将速度、参数量、耗电量、平台目标（行动、工作站、嵌入系统等）、内存大小等当作多个优化的标准。所以autoML可以加速智慧技术的落地。

autoML的兴起，对产业界（或个人职涯）传递怎样的讯息呢？相关自动化技术绝对会优化、缩短智慧算法研发，但是顶尖的智慧研发人员依旧无法取代。他们与autoML相互搭配，会是最有效率的研发程序。但是对于补习式教育训练出的的机器学习工程师，很可能会被autoML取代。此外，这些工具也会被其他竞争公司使用，能让公司产生差异的还是对前瞻技术的提早投入，以及对于机器学习领域的通盘（或是特殊领域的深度）了解，或是将深度学习技术结合跨领域（如医学、金融、安全等）应用。浅碟型的技术投资，对公司（或职业生涯）长期的发展性都不大！