进行海量数据处理与存储调研的详细资料说明

　　1 Hadoop发展现状

　　Apache Nutch 是 Hadoop 的源头，该项目始于 2002年， 是Apache Lucene的子项目之一。 至 2004年，Google在OSDI上公开发表了题为 “MapReduce： simplified data processing on large clusters”的论文，受到启发的 Doug C 等人 开 始 实 现 MapReduce 计 算 框 架 并 与 NDFS （Nutch distributed file system） 结合支持 Nutch 的主要算法 。 至2006 年逐渐成为一套完整而独立的软件 ，起名为 Hadoop。2008 年初，Hadoop 成为 Apache 的顶级项目，应用到除Yahoo！ 以外的很多互联网公司。

　　Hadoop 技术已经在互联网领域得以广泛的应用 ， 同时也得到研究界的普遍关注。 如 Yahoo！ 使用 4 000 节点的机群运行 Hadoop， 支持广告系统和 Web 搜索的研究；Facebook 使用 1 000 节点的机群运行 Hadoop，存储日志数据，支持其上的数据分析和机器学习；IBM 的蓝云产品也直接将 Hadoop 软件集成到自己本身的云计算平台上；百度用 Hadoop 处理每周 200 TB 的数据，进行搜索日志分析和网页数据挖掘工作； 中移动研究院基于 Hadoop 开发了“大云 ”（big cloud）系统 ，不但用于相关数据分析，还对外提供服务；淘宝的 Hadoop 系统用于存储并处理的交易相关数据。 国内的高校和科研院所基于 Hadoop 在数据存储、资源管理、作业调度、性能优化、系统高可用性和安全性方面进行研究， 相关研究成果多以开源形式贡献给 Hadoop 社区。Cloudera 公司推出了首个 Hadoop 商业版本，一个能够存储千兆位容量信息的服务器产品。公司发言人表示“hadoop 应用于 Google、Yahoo、Facebook 等公司 ， 已经是一个成功的产品，发布该产品的商业版本，几乎是理所当然的事情 ”。 Cloudera 的 Hadoop 是 免 费 的 ， 并 将 分 配 在Apache 2 软件许可下 。

　　2 淘宝网-集群存储架构

　　淘宝网部署了一个1.5PB的华为赛门铁克Oceanspace N8000 Cluster NAS存储系统，以及一个包含赛门铁克FileStore软件的解决方案，该集群NAS存储系统方案能够对备份和恢复、动态存储分层（DST）和数据快照进行整合管理。第二台华为赛门铁克Oceanspace N8000部署在一个“active-active”系统中，从而让淘宝网的服务器能够访问复制的常用数据库，以便进行故障切换。

　　该团队还部署了Veritas NetBackup，以进行集中的数据保护。通过将NetBackup与N8000和FileStore相集成，可以实现更快速、更便捷的备份。

　　组合的解决方案具有高度可伸缩性，这是部署过程中的主要考虑因素之一。冯江解释说：“对于淘宝网来说，很难制定一个超过一年的完善计划，因为业务发展的速度太快了。因此集中管理和出色的可伸缩性对我们来说至关重要。内置了赛门铁克FileStore的华为赛门铁克N8000可以扩展到15PB，完全能够满足淘宝网一段时间内的需求。”

　　赛门铁克FileStore中的一项重要功能是动态存储分层 （DST），动态存储分层能够将数据动态移动到不同的存储层，以快速响应淘宝网不断变化的业务需求。经常使用的数据可以存储在第一层存储上，而不常用的数据则可以驻留在第二层或第三层存储上。