Golang在Momenta大数据平台当中的应用

目前人工智能非常火，大家所熟知的人脸识别、智能安防、自动驾驶等领域都在应用人工智能技术。但在自动驾驶这个行业中我们能用Go语言做什么事情？今天分享的主要是人工智能数据流的流转方式，也是Golang在Momenta大数据平台当中的应用。

Momenta 大数据平台

Momenta的目标是打造自动驾驶大脑，基于深度学习和海量数据，Momenta已经形成服务多个场景的自动驾驶解决方案，解决了逆光、桥、隧道、雨天、夜间、匝道等复杂道路场景。

在实现自动驾驶的过程中，深度学习的算法在训练模型时得有基础数据作支撑，需要大量的图像数据。借助团队极强的研究能力与工程能力，Momenta已经建立起大数据平台、大计算平台、大测试平台三大基础平台，从而实现大数据与AI算法的反馈闭环——以强大的计算资源处理丰富的海量数据，得到更精准、更可靠的算法模型。

其中，大数据平台能够完美处理自动驾驶领域的数据流，具体而言，便是处理收集数据、筛选数据、数据标注、训练模型、模型测试、封装发布的整个过程。

人工智能数据流

数据筛选       

上图是车辆识别的一个典型，富有中国特色和北京特色——电动车，Momenta目前对电动车、自行车、人力三轮车、三轮电动车等，都能进行识别，并且达到很高的准确度。在人工智能数据流中，数据筛选这一步骤主要有以下作用：

降低成本：无需重复标注已经可以很好识别的素材，降低标注成本，模型运行结果可用于辅助标注；

提高模型训练效率：去除无效素材，提取包含识别目标的素材，提高训练效率；

提高模型训练边际效用：通过对极端情况（corner case）的数据进行针对性训练，可以有效的提高模型性能。

数据标注

经过筛选之后，会有部分图片需要人工标注。基于极强的工程能力，Momenta开发了在线远程众包数据标注系统，实习可视化操作，即便标注人员不懂代码也能远程完成各类标注任务。数据标注的作用主要是提高模型训练精度， 获得更多标注图片，提取包含识别目标的素材，提高训练精度。

模型训练

上图是模型训练的流程图，其中，在数据导入、模型训练和模型验证Momenta都做出了极大的创新。

数据导入：支持多种数据类型，支持多批次数据合并，支持多种组合规则；

模型训练：多机多卡并发训练，共享式集群、支持多人多任务同时进行，支持多种主流训练框架，所有任务由 Kubernetes 自动调度完成；

模型验证：训练所得模型自动在验证集上进行验证，通过验证的模型将进入模型仓库供后续流程使用。

与传统方式相比，Momenta采用的共享集群调度让用户（内部的算法研发人员）可以编写任务描述和训练脚本，而管理员通过网页界面进行集群管理和工作调度。极大地节省人工成本，提高资源利用率，实现集中性管理，提高安全性。

Golang 在人工智能数据流中的应用

Golang在人工智能数据流中主要应用在筛选系统、标注系统和训练系统。

筛选 系统

Momenta每天可能需要处理几千万张图片，数据量巨大，如果逐一进行标注将给存储带来很大的挑战。解决这个问题的方法就是筛选系统，通过筛选系统，我们将大的数据集拆分为小的单元，每个单元中包含小的任务，而每个单元对应一个 GPU，使用 GPU进行智能筛选。最终只有约10%的图片时需要进行标注的，大大减少了数据标注的成本。

标注系统

Momenta为内部算法研发人员服务的标注系统，可以实现用户管理、任务分发、计费、结算和自动审核。自动审核是比较特殊的，在一般场景和服务中用得比较少，自动审核是指用Momenta的模型来证实用户（在平台上兼职标注的人员）的标注结果是否符合需求或预期，主要是应付较大的用户访问，特别是节假日的时候。（节假日期间平台的用户比较闲，会希望在平台上赚点零花钱。）

训练系统