0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

华中科大冯丹教授:加速数据中心向Diskless架构演进,近数据处理新型盘框技术创新发力

章鹰观察 来源:电子发烧友原创 作者:章鹰 2023-04-23 17:41 次阅读
电子发烧友网报道 文/章鹰)“我们把计算中心分为三大块,计算、传输和存储。但是当前数据中心存算分离不彻底,导致计算和存储分别还有大量的冗余空间。比如计算器、存储服务器都有配置相应的硬盘,通过计算服务器的硬盘做缓存,将存储域的数据拉到计算这块进行处理,导致我们配备最大容量的配置,导致存储资源的浪费;另外一方面,采用通用的算力进行处理,使得IO的处理在计算域这一侧采用CPU来做网络和读写的操作,需要消耗30%的算力,而在存储域采用通用CPU做控制器,使得性能降低20%。”华中科技大学计算机科学与技术学院院长冯丹表示点出当前数据中心存储领域的痛点问题。


图:华中科技大学计算机科学与技术学院院长 冯丹

4月20日,在中国深圳举办的华为分析师大会分论坛上,长江学者特聘教授、华中科技大学计算机科学与技术学院院长冯丹对数据中心Diskless架构及近数据处理发展趋势做出了权威解读。

冯丹指出,传统存算融合架构下,企业通常采用应用与本地盘耦合的服务器一体化架构,存在存力效率低、无效数据迁移、资源浪费等典型问题。表现为:一、数据从盘到计算域CPU,需要8次以上数据搬迁,无效搬迁带来了网络和算力资源的浪费;二、在存算融合的上千节点大规模集群中,算力、容量空间配比无法均衡,扩容时需要额外迁移数据,不仅带来现有业务风险,还会浪费投资;三、数据爆发增长,面向结构化数据的数据缩减策略不完全适用于非结构化场景。

国际调研机构IDC的数据显示,2025年数据量将达到175ZB,积累的数据量90%主要来自于近两年,大部分数据来自金融、基因、分子、动力、IoT等等,从结构化到非结构化大量数据的产生,使得对容量、成本的压力越来越大。但是传统的面向结构化数据的数据压缩方法,可以使压缩比达到3:1,但是对于非结构化数据,压缩比小于2,甚至是无效的。如何在存储域实现对于用户来说,透明的、高效、自适应的数据缩减算法也成为一个难题。

随着算力多样化、高性能网络和存储介质的发展,数据中心架构从以CPU中心朝着以数据为中心的Diskless架构演进。Diskless架构下,单一CPU算力发展到GPU、DPU、XPU等多样算力,算力效率得以充分发挥;网络从IP、NOF发展到高通量的CXL,为算力和存力等硬件解耦奠定了基础;存力也从传统HDD到SSD,性能、功耗实现全面提升。Intel、华为、KIOXIA、阿里云等业界芯片、存储、云和互联网厂商的积极推进下,Diskless架构借助专用DPU/IPU等数据处理芯片和OceanDisk等专用存储模块,进一步提升数据处理和存储的效能,充分调动数据中心资源。

冯丹教授表示,资源池化共享的Diskless架构应具备以下关键技术:

1、网存协同,DPU硬件卸载加速,数据高效协同处理。通过DPU等专有数据处理模块,使服务器CPU全为应用服务,基础设施与应用任务解耦,将VirtIO、NVMe-oF等CPU计算效率低任务转移到DPU的专用加速器执行,实现资源弹性扩展。

2、数控分离+IO直通,实现控制流与IO流分离,IO直通到存储介质,进一步提升存储效率。通过数控分离,可达到极致IO访问时延,通过存储域IO读写数据流与IO控制处理的分离,使得读写IO直通到存储介质中,减少IO处理路径,降低处理复杂度,极大提升存储域访问性能。计算域则可以借助DPUbypassCPU,减少数据拷贝开销,提升IO访问性能。

3、盘控协同,盘芯片与控制器芯片配合,提升集成度,达到最佳成本和能耗。盘控协同技术的关键是要实现高性能、低成本的大盘,通过硬件对盘控系统内的算法进行加速,比如利用FPGA实现FTL/DIF/在线压缩/加密/EC/GC等硬化,提升性能;盘内和框内的各类驱动和缓存层合一,实现盘框一体,构建极致成本和能耗的大盘存储。

4、算子卸载,EC、数据缩减等算法通过硬件卸载到存储端,实现近数据处理。通过计算语义的卸载,存储直出语义接口,主机侧软件栈打薄,减少80%的IO交互次数,实现对整系统

的CPU和网络带宽节省。同时,在大数据/数据仓库场景,可以利用引擎的下推接口,下推谓词和投影等运算操作到存储资源池,减少无效数据的搬移。

华为去年发布的OceanDisk智能盘框产品,是一个标准的大存力新型盘框产品。OceanDisk通过NoF+高速网络连接Diskless服务器,实现计算和存储独立弹性扩展,帮助客户提高资源利用率,机柜空间和设备功耗分别降低40%;内置FlashLink®智能盘框协同算法等软硬结合技术,带来最大250万IOPS,50GB/s带宽的高性能;依托华为多年存储研发实力,OceanDisk智能盘框提供硬盘亚健康管理、智能慢盘优化等技术,保持大规模数据中心10万级硬盘的性能稳定,大幅降低运维难度。OceanDisk作为业界首个面向Diskless架构的新型盘框,将以高性能、高可靠、绿色集约重新定义下一代云和互联网数据中心存储架构。

冯丹教授表示:“从技术趋势来看,高性能异构算力、高速网络、大存力新型盘框、算子卸载等技术的发展,带来了数据中心架构的变革,加速了以CPU为中心的耦合架构走向彻底存算分离、资源池化共享的以数据为中心的Diskless架构,这种架构进一步简化了数据中心基础设施构建,能够实现存力和算力资源的集约高效发展,已经成为大规模数据中心发展的重要技术趋势。”

本文由电子发烧友原创,转载请注明以上来源。微信号zy1052625525。需入群交流,请添加微信elecfans999,投稿爆料采访需求,请发邮箱zhangying@elecfans.com。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 华为
    +关注

    关注

    215

    文章

    33610

    浏览量

    247132
  • intel
    +关注

    关注

    19

    文章

    3451

    浏览量

    184770
  • 数据中心
    +关注

    关注

    15

    文章

    4184

    浏览量

    69959
收藏 人收藏

    评论

    相关推荐

    智慧医疗的绿色大脑 中科曙光风改液数据中心

    中科曙光及旗下子公司曙光数创积极探索,推出液冷数据中心解决方案。该方案在华中科技大学协和深圳医院(以下简称南山医院)成功应用。 不仅为智慧医疗的发展提供了强有力的支撑,也为实现“双碳”目标作出了积极贡献。    
    发表于 04-08 09:53 107次阅读

    华中科大在近场光学成像方向取得重要进展

    近日,《自然·纳米技术》(Nature Nanotechnology)在线刊发华中科技大学李培宁教授团队题目为“Van der Waals quaternary oxides for tunable low-loss aniso
    的头像 发表于 03-19 09:17 297次阅读
    <b class='flag-5'>华中科大</b>在近场光学成像方向取得重要进展

    华为发布2024数据中心能源十大趋势

    今日,华为举办2024数据中心能源十大趋势发布会并发布《白皮书》。发布会上,华为数据中心能源领域总裁尧权定义未来数据中心的三大特征:安全可靠、融合极简、低碳绿色,并分享数据中心在部件、
    的头像 发表于 01-15 17:29 523次阅读

    数据处理器:DPU编程入门》读书笔记

    。以DPU为技术代表的新算架构,正在重新定义数据中心和云原生技术的基础架构。 DPU的出现,是
    发表于 12-21 10:47

    数据处理器:DPU编程入门》+初步熟悉这本书的结构和主要内容

    之一。随着人们对云计算和大数据处理需求的增加,数据中心的计算负载也不断增加。传统的中央处理器(CPU)在处理这些工作负载时可能会遇到瓶颈,难以提供足够的性能和效率。DPU通过提供专门的
    发表于 12-08 18:03

    施耐德电气基于创新技术驱动数据中心革新

    据施耐德电气估算,到2028年,人工智能电力消耗将占数据中心总电力消耗的15%-20%。AI需要愈加澎湃的算力助其不断演进,也为数据中心的设计和运营带来颠覆性的变革。
    的头像 发表于 12-01 11:38 633次阅读
    施耐德电气基于<b class='flag-5'>创新技术</b>驱动<b class='flag-5'>数据中心</b>革新

    中科驭数受邀出席2023 ODCC冬季全会,共谋开放数据中心创新发展!

    数据中心委员会是在中国通信标准化 协会指导下,由百度、腾讯、阿里巴巴、中国电信、中国移动、中国信息通信研究院等单位联合发起成立,以开放、合作、创新、共赢为宗旨,围绕服务器、数据中心设施、网络、新
    的头像 发表于 11-24 19:00 292次阅读
    <b class='flag-5'>中科</b>驭数受邀出席2023 ODCC冬季全会,共谋开放<b class='flag-5'>数据中心</b><b class='flag-5'>创新发</b>展!

    【书籍评测活动NO.23】数据处理器:DPU编程入门

    资格! “DPU将是未来计算的三大支柱之一。CPU用于通用计算,GPU用于加速计算,而DPU在数据中心移动数据,进行数据处理。” ——NVIDIA 创始人兼首席执行官黄仁勋于 GT
    发表于 10-24 15:21

    华为发布《数据中心2030》报告,引领新型数据中心创新与发展

    [中国,上海,2023年9月20日] 在华为全联接大会2023期间,华为发布《数据中心2030》报告,与产业界共同展望数据中心未来发展前景,定义未来数据中心关键技术特征,提出
    的头像 发表于 09-20 23:30 467次阅读
    华为发布《<b class='flag-5'>数据中心</b>2030》报告,引领<b class='flag-5'>新型</b><b class='flag-5'>数据中心</b><b class='flag-5'>创新</b>与发展

    一个数据中心需要多少光模块?

    数据中心有多种架构,在数据中心架构演进的过程中,对光模块的需求产生新的变化。光模块作为实现光电转换的核心器件,在
    发表于 08-08 10:52 342次阅读

    如何实现数据中心低PUE下的高密度部署

    的节能设计、建设,以及设施与设备验收等“全周期”维度给出了详实理念与标准范例。 白皮书由国家互联网数据中心产业技术创新战略联盟、中科曙光和其子公司曙光数创联合主编。据赛迪顾问《2023中国液冷应用市场研究报告》显示,2021年至
    的头像 发表于 08-08 10:25 535次阅读

    一个数据中心大概需要用到多少光模块?

    数据中心有多种架构,在数据中心架构演进的过程中,对光模块的需求产生新的变化。光模块作为实现光电转换的核心器件,在
    的头像 发表于 08-04 09:49 736次阅读

    现代数据中心SmartNIC/DPU的演变过程

    随着传统IDC向云数据中心转型,数据中心网络架构开始不断演进,三层架构正过渡到Spine - Leaf
    的头像 发表于 07-19 16:11 552次阅读
    现代<b class='flag-5'>数据中心</b>SmartNIC/DPU的演变过程

    HNS 2023 | Easy CloudFabric 数据中心网络,加速企业数字化云化转型

    哈萨克斯坦、乌兹别克斯坦、沙特、阿联酋、卡塔尔、巴基斯坦等多个国家的200多位客户和伙伴共聚一堂,共同讨论未来数据中心网络的发展和技术创新。在会上,华为全面升级Easy CloudFabric解决方案,提供部署简、运维简、演进
    的头像 发表于 06-08 17:55 275次阅读
    HNS 2023 | Easy CloudFabric <b class='flag-5'>数据中心</b>网络,<b class='flag-5'>加速</b>企业数字化云化转型

    数据中心加速芯片需求大爆发,FPGA正领跑市场

    在传统数据中心部署方案中,计算和数据处理都是由CPU完成,存储和网络资源也是围绕CPU进行部署。然而,由于人工智能和物联网市场的爆发,云端数据量呈指数级增长,CPU便成为系统规模和效率提升的瓶颈,GPU、FPGA、ASIC等高性
    的头像 发表于 05-20 11:37 1389次阅读
    <b class='flag-5'>数据中心</b><b class='flag-5'>加速</b>芯片需求大爆发,FPGA正领跑市场