IBM ESS产品满足长期数据保护 实现高效开发迭代和系统管理

IBM的公益项目，从来不是简单地捐钱捐物，而是通过自己百年积累的技术优势服务社会。记得2008年初到 IBM，发生了汶川地震，IBM不仅组织员工捐钱捐物，还派出志愿者前往灾区协助救援。在工作中IBM志愿者发现当时大量物资进川，缺乏有效地IT系统对物资进行管理，于是发挥技术优势，迅速帮助当地政府搭建好了IT平台，大大提高了物资运输和管理的效率。也是在同年，IBM成立了企业全球志愿者服务队，简称CSC，和 “捐款捐物”的公益活动有所不同，IBM CSC是一个特别的企业公益项目：服务队成员来自不同的国家，具备不同的文化背景和技能，带来全球的经验；项目着眼于当地社会发展大局，在经济、环境、健康、教育等领域寻找课题，无偿提供商业领域的优秀人才和技能。

2019年开始，IBM组织了AI公益启蒙季，旨在为青少年提供领先系统化的STEM兴趣课程。我也有幸参与其中，为云南沧源小同学进行了线上授课，讲解了地球科学部分。当时为了能给小同学讲的更清晰、更生动，翻阅了很多科学科普读物，比如：《时间的形状》、《枪炮、病菌与钢铁》等等，慢慢地也开始关心天文，人类学，量子理论。

另外，值得一提的是，疫情期间，AI启蒙季提供了Open P-TECH网络平台，提供免费的线上课程，已经有几十万的中小学生受益于这个项目，更为荣幸的是，目前这个项目的系统维护就是由我所在部门的小伙伴负责的，而这个系统的背后采用了最新的容器云平台Openshift构建，底层存储使用了支持容器原生存储的 IBM Spectrum Scale。

IBM Spectrum Scale是针对云计算、大数据分析、对象等的高级非结构化数据存储管理解决方案。Spectrum Scale 可为所有这些数据提供全局命名空间，并提供统一管理。然后，数据可在不同类别的存储中进行分层，并可在全球范围内进行访问，确保始终可以在正确的时间在正确的位置提供数据。Spectrum Scale 基于IBM General Parallel File System （GPFS） 而设计，可降低高达90% 的存储成本，同时还可为云、大数据和分析以及高性能计算数据提供世界级的可靠性、可扩展性和可用性，从而轻松应对数据增长。最近IBM发布的ESS3500产品，正是基于 Spectrum Scale 的硬件一体机产品。

简单来说，Spectrum Scale的三大特点：一是加速性能，二是简化多云管理，三是降低成本。这里我们介绍三个对应的案例故事。

加速性能

第一个是加速科学计算的故事。前几天我看到科学家公布了一张银河系人马座的黑洞的照片，这张照片实际是5年前由分布在全球的8台射电望远镜拍摄的，那为什么这张照片需要“冲洗”5年之久呢？主要是数据量巨大，8台望远镜采集了将近8PB的数据，然后由美国和德国大学的HPC服务器进行计算，这一算就是5年。可见硬件性能对科学计算的作用是相当关键的。

类似科学研究的案例，是复旦大学的冷冻电镜项目，它借助IBM ESS产品加速了生命科学研究的进程。冷冻电镜是结构生物学的分支学科，其应用会产生大量的二维图像数据，需要通过高性能的集群设备对这些数据进行分析处理才能够变成可用的大分子三维结构的数据。之所以选择IBM ESS的解决方案，主要是因为

首先，IBM ESS 聚合带宽整体的 IO 可以达到上百个 GB， 本身就能满足冷冻电镜项目并发的高吞吐量的读写要求。

第二，ESS 接口协议很丰富，用户可以在不同的操作系统上、不同的体系上、不同的设备上挂载一个存储池，方便管理和运维。

第三， ESS 本身有比较强的横向扩展的能力。ESS 大容量、灵活扩展和部署的属性更符合于冷冻电镜项目的需求。

第四，该项目还有更大量的数据长期保存和转储的需求，ESS可以方便的把一些冷数据保存到磁带上， 满足长期数据保护，同时降低归档成本。

简化多云管理

另一个故事是帮助AI自动驾驶领域的独角兽企业，简化他们的数据管理。地平线是一家 AI 领域的独角兽公司，面向智能驾驶以及 AIoT 领域提供全面开放的赋能服务，在 AI 芯片和算法方面独树一帜。地平线在 AI 模型训练中所累积的数据量超过数十PB，并且以每年以若干PB 的增量继续高速增长，这些数据分散在多中心、多云环境里。起初，地平线使用基于开源 GlusterFS、Ceph、以及 HDFS 所构建的数据存储基础架构，面临着竖井林立，存取性能下降，数据调度困难，管理复杂、数据存放成本高等难题，因此亟需改造和升级，以满足业务发展的要求。基于 IBM Spectrum Scale，地平线构建了高性能海量数据分布式存储架构，统一数据平台，消除竖井，更好地利用资源，让业务迭代更加快速。具体而言：

第一，统一数据平台，提升开发效率。利用 IBM Spectrum Scale 在多云之间形成统一的全局命名空间，将不同数据访问接口的数据方便地接入进来统一管理，消除竖井，实现高效开发迭代和系统管理。

第二，数据随需调度，快速响应需求。Spectrum Scale 让数据得以统一调度，数据可以自动透明地在多云间自由流动，大大节省了人工成本、降低了误操作的风险，访问速度达到毫秒级，加速训练任务日程。

第三，运维自动完成，提升数据安全。Spectrum Scale 自带管理功能，提供简单易用的图形界面、操作简便，原有的很多需要人工干预的操作变为自动完成，在降低管理难度的同时，提升了数据安全性。

最后，数据自动分层，降低存储成本。依托 IBM Spectrum Scale 统一管理磁盘和磁带，实现多样的扩容方式和数据自动分层，把冷数据如访问量不高的大文件自动地归档到磁带系统中，形成低成本的长期存储池，且磁带数据实时随机读取，冷数据存储降低了大约 80% 的成本，同时满足合规需求。

降本增效

最后一个故事是为头部的互联网企业降低成本。百度是国内一家著名的互联网高科技企业，提供百度搜索等诸多服务。作为全球领先的AI公司，百度拥有大量的数据，有的来自百度智能云的对象数据，有的来自搜索，还有的来自自动驾驶等。这些数据大都是非结构化数据，有些数据已经被加工使用过，数据的价值密度不高，如何安全存储这些低价值的海量数据，降低数据存储的成本，是百度面临的一个挑战。百度智能云冷数据存储项目为百度提供分布式磁带数据湖、YB级存储容量、数据分层存储的能力。项目无缝对接百度现有框架，统一上层应用数据访问接口，对内满足百度搜索、无人车等部门的需求，对外满足客户在大数据、物联网、智能家居、石油勘探等场景下的需求。该项目的价值主要包括：

第一，它提供了超大的EB级数据规模，并且规模还在以每年10万盘磁带的速度增长

第二，是提供了便捷高速安全的海量数据湖，通过IBM的软件定义磁带技术，可以统一的为前端不同业务提供各种存储访问接口，简化了使用；并结合高性能闪存、磁盘和磁带实现透明的数据分层存储，提高了数据访问性能；结合磁带天然的空气隔离技术，有效的隔离了黑客入侵。

第三，为企业节能减排，整个数据中心功耗减低90%，存储成本降低84%。

此外，三个故事中除了为企业解决了各种挑战，都无一例外的都为他们降低了碳排放，推动了商业和社会的双重进步，践行了“科技向善”的初心。“科技向善”一直是IBM遵循的价值观之一。疫情爆发以来，IBM开放资源、携手同盟并部署新兴技术，致力于遏制新冠病毒的传播。这包括免费开放 8万项专利、贡献 IBM Summit全球最强超级计算机、通过“代码集结号”寻找最优解决方案、发起“全球网格大同盟”倡议等9项实质行动。而IBM Summit背后存储，正是基于ESS和Spectrum Scale的强大支持。

科技是一种能力，向善是一种选择。IBM 愿用有温度的科技力成为你最坚实的后盾，走过艰难的今天，迎来美好的明天！

审核编辑：彭静