0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

以浪潮分布式并行文件存储筑基,中国科学技术大学为科研平台注入新动力

浪潮存储 来源:浪潮存储 作者:浪潮存储 2022-12-16 11:39 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

伴随牛顿力学体系建立而诞生的近代科学,开辟了一个改变人类生产生活和思维方式,对人类社会发展进程产生深远的、革命性影响的全新时代。时至今日,科技创新依然是影响和改变经济、社会的关键变量。不断向科学技术广度和深度进军,探索当前世界科技发展的最前沿,推动事关人类生存与发展的科技进步是每个科研机构的目标。

中国科学技术大学(以下简称中国科大)致力于科学前沿探索和高新技术创新,为了更好支撑生命科学、天文、材料、人工智能等各学科领域研究,校网络信息中心负责学校的计算平台,以计算和存储为平台融合新技术应用,推进重大科研创新平台建设,提升创新体系效能,加速科技创新。

中国科大是中国科学院所属的以前沿科学和高新技术为主、兼有医学和特色文科的综合性全国重点大学,于1958年在北京创建,重点培养新兴、边缘、交叉学科的尖端科技人才,其中包括一批国际知名的科学家,在单分子科学、高温超导、纳米科学、地球环境、生命与健康等前沿领域取得了世界水平领先的科研成果。

现有的计算中心整体资源使用率接近极限

近年来天文、力学、生命科学、材料科学、人工智能等学科的项目随着新技术和新仪器的应用取得了显著科研成果,但同时,科研创新平台在计算、存储性能和容量上也遇到了新的挑战。生物工程、生态环境、新材料、天文观测等科研项目的实验数据采集具有周期长、采集复杂、环境要求较高、不可复杂再生(气候数据)等特点。此外由于科研项目涉及的众多研究员来自不同高校及科研单位,在采集、分析实验数据等环节需严格按照时间节点进行推进,因此在数据安全可靠方面必须得到保障,不容任何丢失。

例如生命科学领域的研究:冷冻电镜设备,通过“样品冷冻—低剂量电子断层扫描—三维重构”技术,开展生命科学基础研究。在其整个流程中,图像处理和三维重构作为核心步骤,对计算和存储的需求非常高,平均每分钟就能产生5-6张Image Stack图像数据,按照24小时不间断地工作计算,每天会产生超过数TB的数据,每年可达数PB,并且采集的海量文件数据要进行高并发的模型重构。处理后的数据还需要及时归档存储,一方面释放占用的性能资源,另一方面更好地保存宝贵的原始科研数据以备后续计划使用。全校多领域持续新增的科研项目需求,对计算存储平台整体方案的性能、容量、安全稳定都提出了新挑战。

百万IOPS、百GB带宽

为科研平台注入新动力

聚焦前沿科学研究,致力尖端科技突破,注重学科交叉融合,努力实现创新和科技成果转化的重大突破,为保障各类学科课题项目顺利、高效开展,中国科大深入分析科研项目对计算中心的需求,以“计算+存储”为核心的整体方案升级集群系统,整体筹划部署了25个浪潮GPU服务器节点以及一套浪潮分布式并行文件存储AS13000系列,为科研平台提供计算及数据基础设施强力支撑。

为了满足不同学科领域项目采集的数据在研究不同时期数据对存储性能、容量的需求特点,数据层采用了浪潮分布式并行文件存储AS13000系列数据分层存储方案,通过配置NVMe SSD高性能硬盘的全闪存节点构建了高速性能层,通过30个4U60盘位高密节点搭建了11PB可用空间的容量层。集群中所有分布式节点参与并发读写,基于聚合的小文件优化技术,减少了数据写入硬盘次数,提高小文件读写性能,实现了集群聚合读带宽160GB/s以上,写带宽100GB/s以上,同时随机读IOPS达205万,保证科研项目顺利进行。存储集群采用统一目录命名空间,可以自动根据数据访问在高速存储层及普通容量层中迁移,确保发挥更大性能。此外浪潮分布式并行文件存储AS13000可提供块、文件、对象、大数据等多种存储服务,通过灵活的存储协议选择以及多种存储协议之间的互通性满足多领域科研项目课题的负载多样性。

2ebacc14-7c6b-11ed-8abf-dac502259ad0.png

聚合读写带宽性能

数据存储集群具有高冗余模式,即当某节点出现故障时,可以自动切换至备用节点,设备类故障频率降低,科研平台数据不丢失,保证了数据安全性和项目课题运行的持续性。此外,中国科大考虑到科研平台未来研究方向的增多及规模的增大,浪潮分布式并行文件存储AS13000可以根据后期业务的增长,在线扩展新的节点,系统的性能和容量会随着节点数量的增加线性增长,保护了科研项目的持续性研究。

2ee46380-7c6b-11ed-8abf-dac502259ad0.png

中国科大校级计算平台逻辑拓扑图

2003年正式建成的中国科大校级计算平台是学校六大公共实验中心之一,也是国内高校最早的平台之一。目前投入设备采购费用已超1.2亿元,1300台在使用中的服务器,提供总双精度浮点5409万亿次/秒的计算能力,利用率超80%。在2022年支持发表SCI论文464篇(包括Nature系列、Science系列、PRL、JACS、Cell等顶级期刊论文38篇),为前沿领域的科技创新提供数据与计算平台,为用户取得显著项目成果起到显著支撑。

科技创新作为引领发展的第一动力,深刻应用和影响着人类的工作、生产、生活各个方面,从而提升生命健康水平,推动经济繁荣、造福人类。作为具有较强知识创新和技术创新能力的教育与科研基地,中国科大致力于推动中国科技文化的发展。通过对新技术、新设备的应用,为每一位师生提供优质的计算和数据资源,为加速前沿科技研究打下坚实的基础,帮助全人类更好地认识自然、理解自然、改造自然,推动人类社会和文明不断向前迈进。

审核编辑:汤梓红

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 存储
    +关注

    关注

    13

    文章

    4886

    浏览量

    90279
  • gpu
    gpu
    +关注

    关注

    28

    文章

    5271

    浏览量

    136060
  • 服务器
    +关注

    关注

    14

    文章

    10353

    浏览量

    91742
  • 浪潮
    +关注

    关注

    1

    文章

    490

    浏览量

    25481

原文标题:以浪潮分布式并行文件存储筑基,中国科学技术大学为科研平台注入新动力

文章出处:【微信号:inspurstorage,微信公众号:浪潮存储】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    简仪科技JY-9824数字化仪助力中国科学技术大学暗物质探索

    中国科学技术大学研究团队使用简仪科技JY-9824 数字化仪,实现了国际首个毫米波频段暗物质搜寻实验,成果发表于国际顶级物理学期刊《物理评论快报》(Physical Review Letters)。
    的头像 发表于 03-23 10:56 377次阅读
    简仪科技JY-9824数字化仪助力<b class='flag-5'>中国科学技术大学</b>暗物质探索

    分布式储能柜即将出货

    3月18日,隆分布式首批储能柜供货合同正式签署,并即将启动出货。自2025年11月隆宣布控股苏州精控能源,到此次分布式储能业务的首单落地,历时仅一百余天。自此,隆
    的头像 发表于 03-19 17:16 1046次阅读

    中国科学技术大学:实现纠缠增强纳米尺度单自旋量子传感

    中国科学技术大学与浙江大学合作,在纳米尺度量子精密测量领域取得进展,首次实现了噪声环境下纠缠增强的纳米尺度单自旋探测。 01 测量最基础的磁性单元 探测单个自旋,测量物质世界最基础的磁性单元,能够
    的头像 发表于 12-01 18:42 2056次阅读
    <b class='flag-5'>中国科学技术大学</b>:实现纠缠增强纳米尺度单自旋量子传感

    见合八方亮相第二届分布式光纤传感技术及应用大会

    2025年11月22日至23日,第二届分布式光纤传感技术及应用大会(DOFS2025)在珠海圆满举办,大会“学术引领·技术破壁”使命,聚
    的头像 发表于 11-30 14:17 698次阅读

    革新科研智造,引领材料未来——高通量智能科研制备工作站

    技术、智能硬件、测试仪器及自动化实验平台,致力于能源科学与材料科学提供领先的解决方案。 携手共创,
    发表于 09-27 14:17

    【节能学院】Acrel-1000DP分布式光伏监控系统在奉贤平高食品 4.4MW 分布式光伏中应用

    摘要:在“双碳”和新型电力系统建设背景下,分布式光伏接入比例不断提高,对配电网电压、调度运行及调峰等环节造成强烈冲击。本文设计包含平台层、设备层二层架构体系的分布式光伏管控平台,以及小
    的头像 发表于 08-23 08:04 3655次阅读
    【节能学院】Acrel-1000DP<b class='flag-5'>分布式</b>光伏监控系统在奉贤平高食品 4.4MW <b class='flag-5'>分布式</b>光伏中应用

    分布式光伏发电监测系统技术方案

    分布式光伏发电监测系统技术方案 柏峰【BF-GFQX】一、系统目标 :分布式光伏发电监测系统旨在通过智能化的监测手段,实现对分布式光伏电站的全方位、高精度、实时化管理。该系统能
    的头像 发表于 08-22 10:51 3463次阅读
    <b class='flag-5'>分布式</b>光伏发电监测系统<b class='flag-5'>技术</b>方案

    光学3D表面轮廓仪助力中国科学技术大学液晶聚合物领域研究

    ,加速信息传输,并拓展微透镜、偏光片等光学器件边界,持续推动智能光学与柔性显示的创新突破。近日,中国科学技术大学冯伟在《Small Structures》上发表了题为
    发表于 08-15 14:01 0次下载

    光学3D表面轮廓仪助力中国科学技术大学液晶聚合物领域研究

    ,加速信息传输,并拓展微透镜、偏光片等光学器件边界,持续推动智能光学与柔性显示的创新突破。近日,中国科学技术大学冯伟在《SmallStructures》上发表了题为“
    的头像 发表于 07-22 13:35 1737次阅读
    光学3D表面轮廓仪助力<b class='flag-5'>中国科学技术大学</b>液晶聚合物领域研究

    Ceph分布式存储系统解析

    在当今数据爆炸的时代,企业对存储系统的需求日益增长,传统的集中式存储已经无法满足大规模数据处理的要求。分布式存储系统应运而生,而Ceph作为开源分布
    的头像 发表于 07-14 11:15 1207次阅读

    分布式设备管理平台有哪些功能?哪个好用?

    在数字化浪潮中,分布式设备管理平台成为各行业提升设备管理效率、优化运维流程的关键工具。这类平台不仅能够对分布广泛、类型多样的设备进行集中管控
    的头像 发表于 07-07 17:07 934次阅读
    <b class='flag-5'>分布式</b>设备管理<b class='flag-5'>平台</b>有哪些功能?哪个好用?

    双电机分布式驱动汽车高速稳定性机电耦合控制

    摘要:为了利用所设计的双电机防滑差速驱动系统来提高分布式驱动汽车的动力学性能,在前期同轴耦合驱动控制理论研究的基础上,开展该车的高速稳定性机电耦合控制研究。建立并验证包含所设计驱动系统在内的分布式
    发表于 06-18 16:37

    华为分布式存储荣膺2025年Gartner“客户之选”

    近日,全球权威咨询与分析机构Gartner发布《2025年Gartner Peer Insights文件与对象存储平台“客户之声”》报告,华为OceanStor分布式
    的头像 发表于 06-07 09:13 1594次阅读

    曙光存储领跑中国分布式存储市场

    近日,赛迪顾问发布《中国分布式存储市场研究报告(2025)》,指出2024 年中国分布式存储市场
    的头像 发表于 05-19 16:50 1453次阅读

    Vsan数据恢复——Vsan分布式文件系统上虚拟机不可用的数据恢复

    一台采用VsSAN分布式文件系统的存储设备由于未知原因关机重启。管理员发现上层的虚拟机不可用,存储内的数据丢失。
    的头像 发表于 05-15 17:42 691次阅读
    Vsan数据恢复——Vsan<b class='flag-5'>分布式</b><b class='flag-5'>文件</b>系统上虚拟机不可用的数据恢复