极链科技Video++张奕: 人工智能在消费级视频分析中的应用

2018年极光开发者大会于11月17日在深圳召开，极链科技Video++AI实验室负责人张奕博士受邀参加17日下午的人工智能论坛，分享人工智能在消费级视频分析中的应用。同时与重量级嘉宾为大家分享行业前沿动态和技术干货，共同探讨近年来的行业趋势，共同构建良好的开发者生态。

入局消费级视频

近几年，大数据、AI技术和机器学习等相关技术的快速发展，证明了互联网对各行各业的影响力在不断的增强和扩大。大数据与人工智能的结合不断的驱动着时代的发展，也在不断的提升各行各业的效能。

中国拥有数量最庞大的互联网网民，互联网网民每天花在上网上面的时间，绝大多数被观看视频所占据，据统计，当前中国互联网网民每天观看视频上花的时间已经达到了两个小时。这么多的用户观看时间时间，用户就需要得到一个更好的用户体验。受众观看视频的过程中，能够体现出互动性，可以根据观看的感受反馈互动，不同的观众观看同一视频的情况下，可以进行互相之间的交流，这就需要有一个比较好的互动工具提供给普通的视频观众，让他们观看视频过程中能够进行互动操作，极链科技Video++就是在这样的大环境下诞生。

2014年于上海创立的极链科技Video++是一家致力于视频AI商业应用的公司，将人工智能与直播短视频相结合，给视频用户一种不同的体验，为直播视频行业带来了新的商业模式。形成了以视频AI广告、视频电商、互动娱乐的业务矩阵。旗下业务为视频AI广告、视频电商和互动娱乐，与优酷、爱奇艺、芒果、抖音、斗鱼、熊猫等占国内65%的流量平台合作，月服务UV4.2亿用户，在AI+文娱领域已实现大批量商用。

消费级视频与工业级视频

会上张奕博士首先为我们简单的介绍了工业级视频消费级视频的区别，消费级视频区别于工业级视频是利用固定设备在固定条件、固定场景下拍摄的视频，例如安防视频，但是很显然，消费级视频相对于工业级视频更加复杂。消费级视频的第一个特点就是数据量大。随着互联网的发展壮大，很多产品的数据都是通过互联网和云端进行传输和存储。与此同时这也给人工智能算法处理提出了更高的要求。算法运行时必须考虑到计算的速度，且要在合理的时间里对大量的数据进行分析和处理。

其二就是消费级视频的类别多样，如电影、综艺、体育、短视频等。这些子类的消费级视频的内容形式之间又存在着很大的差异，所以也给不同子类的通用算法提出了巨大的挑战。

其三，消费级视频场景复杂，从工业级视频的条件里就可以看出，场景非常的单一，而消费级视频则来源多样，后期还有很多加工，从而场景更加复杂，如场景内的特效、切换、淡入淡出和字幕，泽泻都会对整体或局部产生模糊。以上因素都会对人工智能分析视频内容产生一定程度的干扰，这就对人工智能算法提出了更高的要求，以减少这些因素带来的干扰。

深度学习技术给消费级视频带来的希望

从深度学习技术出发，张奕博士认为人工智能在消费级视频领域巨有巨大的商业价值，但是要实现以上的应用设计，还必须依赖于技术的发展。在深度学习技术应用之前，人工智能识别技术也在不断发展，但在实际应用中，算法准确率与产品商业化要求之间还存在较大的差距，深度学习技术的出现，极大的提升了算法的准确率，拉低了其与产品商业化要求的差距，使得人们看到了人工智能技术近年来在消费级视频等相关领域应用的希望。

如何构建深度学习的消费视频分析系统

基于以上，张奕博士还以Video++在消费级视频运用人工智能相关的实例和心得为大家讲述如何构建基于深度学习的消费级视频分析系统。首先是深度学习，样本的选择、识别和标注，模型的设计以及训练测量。其次是计算机视觉和图像处理，这里设计消费级视频领域，所以必须借助这一算法对视频进行必要的预处理，从而为深度学习做储备，这其中就包括目标检测、跟踪和图像变换。

而视频识别过程中的技术难点也是存在的，张奕博士解释到，基于视频内容的识别和图片的识别是有较大区别，由于视频的辨识环境问题，辨识目标的遮挡情况、屏幕占比、运动状态都会使视频识别的难度增大，而Video++独创的全序列采样识别，在数据收集和标注上积累了大量的数据，数据的收集由专业的团队进行离线的数据收集和标注，作为初始模型的训练数据，或是由离线收集的训练数据得到初始模型，然后在线上测试得到反馈数据，从中挑选错分的样本，再经过人工的标注后，将其加入训练数据集里，对模型进行持续的训练和分析。以此可以看出在不久的将来，待标注的数据将成为一项技术壁垒，因为它直接决定了训练模型得到的数据的准确率。在准确率与抓取率上都具有创新性的提升。

极链科技Video++将AI+文娱产业的商业化逐步加强，在运用AI技术赋能视频的过程中，不断让视频变得更有趣、更有价值，通过对视频数据进行结构化处理，实现人脸、场景、物体、品牌等内容的动态追踪识别，进而将视频解构成为更有价值的场景活动单元，以此应用到如广告、电商、互动娱乐等各种商业化场景中去。

本次极光开发者大会，集结众多人工智能领域的专家学者，分享最新最前沿的技术。吸引来自各行各业的人工智能爱好者与行业精英近千人到场参与。张奕博士在本场人工智能论坛，除了为我们分享最前沿的人工智能与消费级视频结构化数据的商用实践，还与所有参会者共同讨论怎样高效训练数据、如何进行常规数据操作和如何获取“高效”的数据等热点问题。

目前，人工智能的确非常火爆，但是通过本次极光开发者大会的交流分享，我们看到，人工智能与消费级视频领域还存在一些短板和瓶颈，但技术的发展是永无止境的，我们相信未来AI+文娱的产业一定会更加成熟。