数据存储在大数据时代的思维转变和应对

大数据这个概念早在1980年就由美国的Alvin Toffler提出，因为作为一个未来学家，所提出的仅仅是概念性的理论，所以在信息资源并不是那么丰富的当时没有受到很大的关注。麦肯锡公司于 2011 年发布了一份大数据调研报告，题目是《大数据：下一个创新、竞争和生产力的前沿》。这份大数据调研报告显示出大数据慢慢受到人们的关注，其将大数据定义为一种超出传统数据库软件采集、储存、管理和分析能力的数据集。之后在 2012 年出版的《大数据时代》中给出大数据的一种特性，指出大数据注重全面性和整体性，而不是在小规模数据上分析利用。

大数据的产生具有天时地利人和的有利条件。天时：大数据的产生具有时间上的连续性。以往的数据都是与一定的运营活动相伴出现的，并且需要进行专门的存储阶段。这个时期的数据是被动产生的，这些数据是运营式的传统数据。但是在大数据时代，随着计算机技术、云计算存储技术和自媒体技术的迅猛发展，大量的数据会通过移动终端和网络终端即时存储，这个阶段的数据呈现出自发性和主动性。数据的这个发展过程中慢慢脱离了人类主动存储的活动，打破了以往的时间限制，可以自发地、不中断地产生数据。

人和：在人物方面，大数据的产生是人、机、物协同作用的结果。在数据不断发展过程中，数据的主体从以往的具有主体性的人慢慢演变为人机物三者以及三者的统一体。首先，人类的生产活动和生存活动都会产生大量的数据。其次，信息系统本身也产生大量的数据，这些数据以文件、图片、视频等形式存在，比如文件的复制和数据备份都属于这类数据，这部分系统本身的数据基数很大，不应该被我们忽视。

最后，我们生活中的各类物品也会产生数据，比如各种地理信息采集设备、传感器和摄像头等数据采集设备，这些物品虽然是由人类生产制造出来的，但是一经成型便成为世界中的独立存在物。这人机物三者的相互作用是大数据产生的根本原因。大数据产生后，我们必须了解大数据与大数据技术定义辨析。

然后我们来了解大数据技术的定义：大数据技术是指在大数据的采集、传输、处理、和应用过程中所使用的一系列技术，其本质是利用大数据的各种方法和工具。（陈健 2017）大数据技术可以处理海量数据，是新兴的数据服务模式与组织架构，包括对数据的获取、传递、处理、再生、再利用等功能，但是与传统数据处理技术不同在于数据的采集和处理速度的要求越来越快，数据量庞大，数据结构也越来越复杂。

除了在大数据采集、传输、处理和应用中所使用的技术外，国家政策、企业政策及公共项目规划都会影响大数据技术的发展。大数据技术不仅是国家宏观层面的通用技术，同时是产业层面的行业共性技术，还是企业及项目涉及的专有技术。大数据到来了，我们人也要思维转变。下面我们分3个部分详细说明大数据时代如何转变我们思维。

然而，在大数据时代，如果我们继续用传统的思维模式来思考的话，就可能会错过更重要信息。大数据技术的高扩展性的数据存储能力，成本更低，能够存储所有基础信息，我们拥有的数据库更全面，几乎囊括与该现象相关的全部数据。因此，我们不必担心数据点会对整个数据分析产生不利影响。我们应该拥抱这些混杂的数据，并从中受益。在大数据技术高速发展时代，我们需要通过数据的普遍性来追求更精确的数据分析结果。

大数据思维方式与传统思维逻辑大不相同。大数据技术是针对大规模数据进行聚类、搜索、分类以及比较等统计性的归纳分析，它的分析结果与使用的分析工具和分析过程之间都存在着相关关系，这在一定程度上继承了统计科学的一些特点。实际上，在大数据技术产生之前，就己经有人证明了相关关系有大作用，但是对它的应用却相对较少。一方面，数据量相对较少，另一方面对数据的收集与储存也相当费时费力。

因此，统计学家就找到一个关联物，采集与这个关联物相关的数据作相关关系处理，进而检测该关联物的优劣。然而这个关联物有时也只是专家的抽象物，一种假想，这种假想需要进行反复试验。一方面这个过程过于繁琐，另一方面也可能会带来一种偏见蒙蔽我们的双眼，造成我们在构想假设以及选定关联物的过程中出现偏差。

在大数据技术高速发展时代，我们拥有海量数据，依靠大数据技术进行数据挖掘和计算分析，人们可以瞬间处理成千上万结构复杂的数据。我们己经不再依赖人工挑选部分相似的数据或关联物进行逐个分析。先前人类对世界的认识必须建立在对其的假设之上，而现在我们己经不那么需要了。大数据相关关系分析的这种方法有助于我们对某事物的分析不再要求一定揭示其内在的运行机制。通过对事物相关性分析，我们能最大程度地做到降低主观因素对分析结果的影响。

总之，从上面大数据的产生和定义我们不难发现身边的大数据技术在很多领域都起着重要作用，尤其在电商、金融、临床等领域有着难以替代的作用。