腾讯成功研发面向移动端AI开发者的自动模型压缩框架

9月17日，腾讯AI Lab机器学习中心宣布PocketFlow，并将在今年10-11月发布开源代码。

据悉，这是一款面向移动端AI开发者的自动模型压缩框架，通过集成多种深度学习模型压缩算法与训练算法，并创新性地引入腾讯自主研发的超参数优化组件，实现了全程自动化托管式的深度学习模型压缩与加速，极大地提升了模型压缩技术的自动化程度。开发者无需介入具体的模型压缩算法及其超参数取值的选取，仅需设定期望的性能指标，即可通过PocketFlow得到符合需求的压缩模型，并将AI技术快速部署到移动端产品上，实现用户数据的本地高效处理。

PocketFlow框架主要由模型压缩/加速算法组件和超参数优化组件两部分构成，在模型压缩算法方面，该团队提出一种基于判别力最大化准则的通道剪枝算法，在性能基本无损的前提下可以大幅度降低CNN网络模型的计算复杂度。该算法在训练过程中引入多个额外的损失项，以提升CNN网络中各层的判别力，然后逐层地基于分类误差与重构误差最小化的优化目标进行通道剪枝，去除判别力相对较小的冗余通道，从而实现模型的无损压缩。

在超参数优化算法方面，该团队研发出AutoML自动超参数优化框架，集成了包括高斯过程（Gaussian Processes, GP）和树形结构Parzen估计器（Tree-structured Parzen Estimator, TPE）等在内的多种超参数优化算法，通过全程自动化托管解决了人工调参耗时耗力的问题，大幅度提升了算法人员的开发效率。

考虑到深度学习模型的训练周期普遍较长，该团队对基于TensorFlow的多机多卡训练过程进行优化，降低分布式优化过程中的梯度通信耗时，研发了名为TF-Plus的分布式优化框架，仅需十几行的代码修改即可将针对单个GPU的训练代码扩展为多机多卡版本，并取得接近线性的加速比。

此外，团队还提出了一种误差补偿的量化随机梯度下降算法，通过引入量化误差的补偿机制加快模型训练的收敛速度，能够在没有性能损失的前提下实现一到两个数量级的梯度压缩，降低分布式优化中的梯度通信量，从而加快训练速度。

目前，该框架在多款手机APP中得到应用，为腾讯的多项移动端业务提供模型压缩与加速技术支持。