大数据的未来何去何从?大数据蹒跚前行迈进下半场

近日，两家大数据领域的代表性企业Cloudera和Hortonworks宣布了它们相对平等的合并，宣称新公司将创建世界领先的下一代数据平台并提供业界首个企业数据云，这令很多人感到意外，大数据的未来何去何从，一时成为大数据产业从业人员关心的话题。

大数据蹒跚前行，迈进下半场

随着2012年维克托·迈尔-舍恩伯格《大数据时代》一书的出版，“大数据”这一概念乘着互联网的浪潮在各行各业中扮演了举足轻重的角色，得大数据者得天下，业界纷纷用大数据这个词来描述和定义信息爆炸时代产生的海量数据，并命名与之相关的技术发展与创新。

2013年被称为中国的“大数据元年”，大数据开始在我国流行，以势不可挡的姿态进入人们的思想意识，并在社会的各个领域探索与落地实践。涂子沛的《大数据》一时成为畅销读物，大数据的概念风行大江南北，阿里巴巴成为最早提出通过数据进行企业数据化运营的企业。2015年，我国政府通过了《关于促进大数据发展的行动纲要》，大数据更是上升为国家战略。

同美国市场一样，以Hadoop为代表的大数据技术，在中国的大数据产业中也经历了一段狂热期，在很长一段时期内，Hadoop几乎成了大数据的代名词。在这个数据大爆炸的时代，企业需要对海量数据存储、快速处理和分析，Hadoop正是为此而生。但目前看来，这股浪潮正渐渐退去，Hadoop正在逐渐变成一项传统技术。

从诞生到现在，Hadoop已经走过十多年的历史，但近年来，以Hadoop为代表的大数据产业生态，在实际落地中却面临着尴尬的局面。首先，大数据的价值被夸大，在投入产出比上差强人意。其次，中小企业对大数据的应用极为有限。目前看来，需求主要来源于一些大型企业，数据量过大，数据分析需求旺盛，但中小企业自身数据量并不大，需求度较低，同时也缺少相应的大数据技术人才。最后，大数据管理难度大，数据开放共享、数据质量、数据安全、个人隐私信息保护等已经成为管理大数据最头疼的问题。今年5月，欧盟数据保护法规《通用数据保护条例》发布，对大数据企业采集的个人隐私数据管理工作产生极大的挑战。

2018年10月底，IBM宣布以高达340亿美元的价格收购RedHat，IBM宣称其将成为全球的头号混合云提供商，而亚马逊、微软、阿里巴巴等云计算巨头早已将计算、存储、网络资源和应用软件(大多来自开源社区)作为在线云服务来提供，Anaconda产品和营销高级副总裁MathewLodge指出，大数据的中心已经从Hadoop转移到了云端，在云环境下的对象存储系统(如亚马逊 S3、微软Azure BlobStorage和Google Cloud Storage)中存储数据比在HDFS中便宜了5倍。

尽管现在就谈Hadoop已死为时尚早，但大数据产业面临的以上问题已经累积很久，也没有被很好地解决，能否解决以上问题将直接关乎大数据的未来发展。

人工智能方兴未艾，取得新突破

人工智能(AI)是研究用于模拟与延伸扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学，目前在商业和生活中已有大量应用场景，被产业界寄望为下一轮技术革命，对它的关注热度已经超过大数据。

AI的发展历程一波三折，呈螺旋式发展，在历史上共经历三个时期。首先是1956年达特茅斯会议提出了AI的概念，但当时的计算机处理性能和数据容量制约了AI技术的发展。然后在20世纪80年代，专家系统兴起，AI算法模型有了重大发明，包括多层神经网络和BP反向传播算法的提出，出现了能与人类下象棋的高度智能机器，但随着台式机的出现，使得AI专家系统走向没落。再往后就是2006年，Hinton论文开启了深度学习时代，特别是2016年，AIphaGo大败李世石，将AI从后台推到了科技界的聚光灯下，一时间万众瞩目。

AI已经替代了早些年的大数据，成为新的商业科技风口。2017年全球AI融资超150亿美元，谷歌、亚马逊、苹果、微软以及阿里、百度、腾讯等中美科技巨头纷纷布局。以深度学习为代表的AI算法，PC/移动互联网上海量、多维度、高价值大数据，以及以GPU、FPGA、ASIC为代表的AI计算芯片，成为本轮AI发展的核心驱动力。

AI技术体系一般分为基础层、技术层和应用层，在AI大发展的浪潮中，AI技术体系中的各模块发展特点各不相同。

基础层对应着算法(包括回归、分类、聚类、深度学习算法等)、算力(即AI芯片)和软件框架(实现对AI算法的封装)。

算法部分，深度学习带动了本轮AI的大跃进，深度学习已经在语音识别、图像识别等领域取得突破，而海量的数据和高效的算力支撑是深度学习算法实现的基础，同时还有很多新的算法理论成果正在被提出和应用，如强化学习、迁移学习、胶囊网络、生成对抗网络等。

算力部分，由各种AI芯片来提供基础计算能力。AI芯片除了传统的CPU及 GPU外，还包括为特定场景应用而定制的计算芯片。深度学习既要求计算芯片支持对存储介质中海量数据的高效存取，还要能支持一些特定AI计算需求，因此GPU成为目前深度学习算法应用中的首要选择。FPGA(现场可编程门阵列)可以实现应用场景的高度定制，属于一种半定制化芯片。ASIC(专用集成电路)是不可配置的高度定制专用计算芯片，其性能也是最优的。TPU(张量处理单元)是谷歌公司设计的处理器，非常适合运行TensorFlow软件，还有寒武纪的NPU，都是ASIC的典型代表。另外，还涌现出各类定制化的高性能AI计算服务器，或称之为GPU一体机，一站式提供AI所需的算力。

软件框架部分，目前AI软件框架百花齐放，软件框架是整个技术体系的核心，实现对AI算法的封装、数据的调用以及计算资源的调度使用。软件框架好比是AI应用开发的操作系统，为开发者提供编程环境和算法库，并按需分配AI芯片等硬件资源，目的是构建AI系统开发和运行的软件环境。目前主流的AI软件框架主要有TensorFlow、MXNet、Caffe、Torch、CNTK、Theano、SciKit-Learn等，软件框架的用户包括了AI服务的开发者和使用者。

技术层负责解决具体类别的AI技术问题。其中语音识别技术负责将语音转换为文本或命令，自然语言处理技术实现人和机器之间的自然语言通信，计算机视觉技术用于处理图形图像和视频内容的识别。

应用层立足于解决各行业领域实际场景问题，如安防场景下，用于警讯发现、人脸识别、道路监控等;金融场景下，可用于资产异动监测、征信风控和智能投顾等;医疗场景下，可应用于对医学影像、电子病例处理来辅助诊疗;还有目前最为火热的自动驾驶场景，谷歌、特斯拉和百度三巨头的无人驾驶汽车已经上路试运行。

以云服务方式提供AI服务已成为当前的趋势，AI云服务一般分为平台类服务和软件类服务。平台类服务包含GPU云服务，深度学习平台等，GPU云服务是以虚拟机的形式，为用户提供GPU计算资源。深度学习平台则是以TensorFlow、Caffe、MXNet等主流深度学习软件框架为基础，提供相应的常用深度学习算法和模型，组合各种数据源、组件模块，让用户可以基于该平台对语音、文本、图片、视频等海量数据进行离线模型训练、在线模型预测及可视化模型评估。软件类服务包括提供API程序接口、SDK包、消息服务接口的形式提供AI相关的在线网络服务，可包括语音识别、文字处理、图像检测、智能推荐等应用方式。

掘金数据资产，探索数据智能

大数据为人工智能发展提供了基础资源，人工智能技术的核心就在于通过计算找寻大数据中的规律，对具体场景问题进行预测和判断。想要训练出成功的人工智能算法，需要运算力和大量的数据，其中最重要的就是数据量要足够大。除了数据量足够大，大数据还需要通过采集、清洗、标注等处理工作后才能够作为人工智能算法模型训练的输入，但目前在实际应用中，数据流通不畅、数据质量不高和数据安全风险等问题仍然极大制约着人工智能的发展和应用。

大数据的未来何去何从，与人工智能技术如何完美结合，共同驱动数字经济发展，数据智能或将成为新的热点和大趋势。

“数据智能”是百度公司在2014年提出的概念，百度对数据智能的定义，指基于大数据引擎，通过大规模机器学习和深度学习等技术，对海量数据进行处理、分析和挖掘，提取数据中所包含的有价值的信息和知识，使数据具有“智能”，并通过建立模型寻求现有问题的解决方案以及实现预测等。

2018年10月，第五届中国国际大数据大会上发布的《2018年数据智能生态报告》中提出，在机器学习、分布式计算等技术发展的基础上，数据逐渐呈现出高维度、高阶态、异构性的形式，把能够对海量数据进行分析、处理和挖掘，并且通过建模、工程等方式来解决实际预测问题，最终实现决策的行动，称之为数据智能。

对数据智能的信息化落地，业界一般称之为数据智能平台或数据中台。

据阿里巴巴公共数据平台负责人介绍，阿里巴巴数据中台战略在2015年首次提出，旨在对内提供数据基础建设和统一的数据服务，对外提供服务商家的统一化数据产品。阿里数据中台基于OneData体系建立的集团数据公共层，从设计、开发、部署和使用上保障了数据口径的规范和统一，实现数据资产全链路管理，并提供标准数据输出。基于阿里数据中台输出的生意参谋产品，是阿里巴巴首个统一的商家数据产品平台，为中小企业商家提供数据披露、分析、诊断、建议、优化、预测等多项数据服务。

另外，据百度公司的百度数智平台官网介绍，该平台定位为提供大规模机器学习、深度学习、数据分析及展现、数据应用等产品与服务，包括了大数据基础产品和大数据应用产品两大类，大数据基础产品包括大数据传输Minos、数据工厂Pingo、数据治理Dayu、数据分析与开发Jarvis、大数据可视化Habo等产品，大数据应用产品包括百度智客、百度觅客、百度汇客、百度客情、百度商情等产品，百度公司将其数智平台定位为AI时代的企业数据管家，服务于公司内部和各行业合作伙伴。

在2018年10月由中国联通大数据公司主办的加速-U10大数据价值峰会上，中国联通大数据公司负责人以“数智”为主题发表演讲，她认为当前大数据产业已经进入“数智”时代，联通大数据的数智升级，在于更大规模的数据、更深度的智能，打造数智新架构体系，做值得信赖的数据智能服务运营商，同时介绍了中国联通UBD数智中台的建设思路。

可以看出，以上代表性企业建设数据智能平台或数据中台的意义主要在于，一是帮助企业管理好内部现有的数据资产，即数据资产管理;二是为企业提供基于大数据的预测分析产品，即人工智能服务。数据资产管理的目的是为了准备和提供高质量的数据给人工智能应用，对数据的规范化和标准化是企业实现基于大数据提供智能化服务的关键，也是决定大数据价值实现的基础。

大数据进入下半场，人工智能已然崛起，现有的大数据技术亟须和人工智能技术结合，孕育新的产业生态，从百度、阿里和中国联通的做法可以看出，向数据智能型企业转型正在成为大型科技企业新的行动方向，阿里巴巴提出的“大中台、小前台”的做法已经成为业界主流数字化转型思路，企业通过建设数据智能平台或数据中台，打破内部数据壁垒、盘活数据资产、提升数据价值，对外提供统一的智能化数据服务，有望再次重构大数据产业生态环境，进一步深挖和释放大数据的价值红利。