0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

华中科大冯丹教授:加速数据中心向Diskless架构演进,近数据处理新型盘框技术创新发力

章鹰观察 来源:电子发烧友原创 作者:章鹰 2023-04-23 17:41 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

(电子发烧友网报道 文/章鹰)“我们把计算中心分为三大块,计算、传输和存储。但是当前数据中心存算分离不彻底,导致计算和存储分别还有大量的冗余空间。比如计算器、存储服务器都有配置相应的硬盘,通过计算服务器的硬盘做缓存,将存储域的数据拉到计算这块进行处理,导致我们配备最大容量的配置,导致存储资源的浪费;另外一方面,采用通用的算力进行处理,使得IO的处理在计算域这一侧采用CPU来做网络和读写的操作,需要消耗30%的算力,而在存储域采用通用CPU做控制器,使得性能降低20%。”华中科技大学计算机科学与技术学院院长冯丹表示点出当前数据中心存储领域的痛点问题。


图:华中科技大学计算机科学与技术学院院长 冯丹

4月20日,在中国深圳举办的华为分析师大会分论坛上,长江学者特聘教授、华中科技大学计算机科学与技术学院院长冯丹对数据中心Diskless架构及近数据处理发展趋势做出了权威解读。

冯丹指出,传统存算融合架构下,企业通常采用应用与本地盘耦合的服务器一体化架构,存在存力效率低、无效数据迁移、资源浪费等典型问题。表现为:一、数据从盘到计算域CPU,需要8次以上数据搬迁,无效搬迁带来了网络和算力资源的浪费;二、在存算融合的上千节点大规模集群中,算力、容量空间配比无法均衡,扩容时需要额外迁移数据,不仅带来现有业务风险,还会浪费投资;三、数据爆发增长,面向结构化数据的数据缩减策略不完全适用于非结构化场景。

国际调研机构IDC的数据显示,2025年数据量将达到175ZB,积累的数据量90%主要来自于近两年,大部分数据来自金融、基因、分子、动力、IoT等等,从结构化到非结构化大量数据的产生,使得对容量、成本的压力越来越大。但是传统的面向结构化数据的数据压缩方法,可以使压缩比达到3:1,但是对于非结构化数据,压缩比小于2,甚至是无效的。如何在存储域实现对于用户来说,透明的、高效、自适应的数据缩减算法也成为一个难题。

随着算力多样化、高性能网络和存储介质的发展,数据中心架构从以CPU中心朝着以数据为中心的Diskless架构演进。Diskless架构下,单一CPU算力发展到GPU、DPU、XPU等多样算力,算力效率得以充分发挥;网络从IP、NOF发展到高通量的CXL,为算力和存力等硬件解耦奠定了基础;存力也从传统HDD到SSD,性能、功耗实现全面提升。Intel、华为、KIOXIA、阿里云等业界芯片、存储、云和互联网厂商的积极推进下,Diskless架构借助专用DPU/IPU等数据处理芯片和OceanDisk等专用存储模块,进一步提升数据处理和存储的效能,充分调动数据中心资源。

冯丹教授表示,资源池化共享的Diskless架构应具备以下关键技术:

1、网存协同,DPU硬件卸载加速,数据高效协同处理。通过DPU等专有数据处理模块,使服务器CPU全为应用服务,基础设施与应用任务解耦,将VirtIO、NVMe-oF等CPU计算效率低任务转移到DPU的专用加速器执行,实现资源弹性扩展。

2、数控分离+IO直通,实现控制流与IO流分离,IO直通到存储介质,进一步提升存储效率。通过数控分离,可达到极致IO访问时延,通过存储域IO读写数据流与IO控制处理的分离,使得读写IO直通到存储介质中,减少IO处理路径,降低处理复杂度,极大提升存储域访问性能。计算域则可以借助DPUbypassCPU,减少数据拷贝开销,提升IO访问性能。

3、盘控协同,盘芯片与控制器芯片配合,提升集成度,达到最佳成本和能耗。盘控协同技术的关键是要实现高性能、低成本的大盘,通过硬件对盘控系统内的算法进行加速,比如利用FPGA实现FTL/DIF/在线压缩/加密/EC/GC等硬化,提升性能;盘内和框内的各类驱动和缓存层合一,实现盘框一体,构建极致成本和能耗的大盘存储。

4、算子卸载,EC、数据缩减等算法通过硬件卸载到存储端,实现近数据处理。通过计算语义的卸载,存储直出语义接口,主机侧软件栈打薄,减少80%的IO交互次数,实现对整系统

的CPU和网络带宽节省。同时,在大数据/数据仓库场景,可以利用引擎的下推接口,下推谓词和投影等运算操作到存储资源池,减少无效数据的搬移。

华为去年发布的OceanDisk智能盘框产品,是一个标准的大存力新型盘框产品。OceanDisk通过NoF+高速网络连接Diskless服务器,实现计算和存储独立弹性扩展,帮助客户提高资源利用率,机柜空间和设备功耗分别降低40%;内置FlashLink®智能盘框协同算法等软硬结合技术,带来最大250万IOPS,50GB/s带宽的高性能;依托华为多年存储研发实力,OceanDisk智能盘框提供硬盘亚健康管理、智能慢盘优化等技术,保持大规模数据中心10万级硬盘的性能稳定,大幅降低运维难度。OceanDisk作为业界首个面向Diskless架构的新型盘框,将以高性能、高可靠、绿色集约重新定义下一代云和互联网数据中心存储架构。

冯丹教授表示:“从技术趋势来看,高性能异构算力、高速网络、大存力新型盘框、算子卸载等技术的发展,带来了数据中心架构的变革,加速了以CPU为中心的耦合架构走向彻底存算分离、资源池化共享的以数据为中心的Diskless架构,这种架构进一步简化了数据中心基础设施构建,能够实现存力和算力资源的集约高效发展,已经成为大规模数据中心发展的重要技术趋势。”

本文由电子发烧友原创,转载请注明以上来源。微信号zy1052625525。需入群交流,请添加微信elecfans999,投稿爆料采访需求,请发邮箱zhangying@elecfans.com。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 华为
    +关注

    关注

    217

    文章

    35783

    浏览量

    260701
  • intel
    +关注

    关注

    19

    文章

    3506

    浏览量

    190552
  • 数据中心
    +关注

    关注

    16

    文章

    5515

    浏览量

    74645
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    中科曙光入选2025年度国家绿色数据中心名单

    近日,工业和信息化部公布了《2025年度国家绿色数据中心名单》,由中科曙光与重庆两山产业投资有限公司联合建设的西部(重庆)科学城先进数据中心成功入选,成为重庆首批上榜项目之一。这标志着曙光在绿色算
    的头像 发表于 11-07 15:47 185次阅读

    物联网数据中心是什么?有什么功能?

    物联网数据中心是集成和管理物联网设备数据的核心平台,具备数据采集、处理、存储、分析、可视化及安全管控等功能,其本质是通过技术融合实现物理世界
    的头像 发表于 09-22 17:14 691次阅读

    村田中国亮相2025开放数据中心大会:技术创新赋能数据中心发展

    居先的综合电子元器件制造商村田中国(以下简称“村田”)也将携多款高效节能产品及解决方案亮相大会,以创新技术和高品质产品支撑数据中心高质量发展,展位号:2楼B13。   数字经济时代背景下,随着云服务、AI、物联网等技术的迅速发展
    的头像 发表于 09-04 14:48 825次阅读

    睿海光电:400G光模块技术创新与AI数据中心变革

    睿海光电:400G光模块技术创新与AI数据中心变革 一、400G光模块:新一代数据中心的核心引擎 在AI大模型训练、边缘计算和云服务快速发展的推动下,全球数据中心正经历网络
    的头像 发表于 08-18 13:52 754次阅读

    睿海光电以高效交付与广泛兼容助力AI数据中心800G光模块升级

    引领AI时代网络变革:睿海光电的核心竞争 在AI时代,数据中心正经历从传统架构向AI工厂与AI云的转型。AI工厂依赖超大规模GPU集群驱动大模型训练,要求网络具备超高带宽与超低延迟;AI云则为多
    发表于 08-13 19:01

    伟创高效电源模块在超大规模数据中心的应用

    受云端存储和数据处理需求持续增长的推动,数据中心正以前所未有的速度扩张。当前全球超大规模数据中心,即规模最大的那些数据中心,总容量在过去四年内翻了一番,并仍在不断增长。
    的头像 发表于 07-07 15:41 898次阅读

    立讯技术解读ETH-X超节点高速互连技术的现状与未来

    当前,人工智能技术驱动全球数据中心向智算中心加速演进,传统架构在承载AI大模型训练时暴露出显著瓶
    的头像 发表于 07-03 09:44 1982次阅读
    立讯<b class='flag-5'>技术</b>解读ETH-X超节点高速互连<b class='flag-5'>技术</b>的现状与未来

    中型数据中心中的差分晶体振荡器应用与匹配方案

    关键业务平台,需高IO能力、低时延响应与高并发处理,具备容灾与跨区域同步能力。 使用设备: 数据中心级交换机、光模块、RAID控制器、企业级SSD阵列、PCIe HBA/NIC、高精度差分振荡器、时间
    发表于 07-01 16:33

    适用于数据中心和AI时代的800G网络

    随着人工智能(AI)技术的迅猛发展,数据中心面临着前所未有的计算和网络压力。从大语言模型(LLM)训练到生成式AI应用,海量数据处理需求推动了网络带宽的快速增长。在此背景下,800G网络技术
    发表于 03-25 17:35

    华为全新升级星河AI数据中心网络

    在华为中国合作伙伴大会2025期间,以 “星河AI数据中心网络,赋AI时代新动能”为主题的数据中心网络分论坛圆满落幕。本次论坛汇聚了来自全国的300多位客户和伙伴,共同探讨数据中心网络的发展趋势与
    的头像 发表于 03-24 14:46 850次阅读

    优化800G数据中心:高速线缆、有源光缆和光纤跳线解决方案

    随着技术的飞速发展,数据中心正在从100G和400G演进到800G时代,对高速数据传输的需求与日俱增。因此,选择高效且可靠的布线解决方案对于800G
    发表于 03-24 14:20

    施耐德电气即将亮相2025中国数据中心液冷技术大会

    以“液冷深融合”为主题,由CDCC与益企研究院共同主办的第三届中国数据中心液冷技术大会即将召开。会上将汇集多方数据中心行业的资深专家、研究学者与技术大咖,就
    的头像 发表于 03-21 16:47 2216次阅读

    Solidigm高密度方案解决数据中心存储难题,赋能AI创新发

    QLC在内的丰富产品组合,打破从数据中心到边缘应用面临的存储瓶颈,提升人工智能效率,释放人工智能潜能。 当AI的发展突破界限,算与存的天平被重新校准。在AI 浪潮下,传统HDD存储方案的局限性开始凸显:性能瓶颈制约
    的头像 发表于 03-13 15:36 920次阅读

    维谛技术:如何让贵州医科大数据中心迁移0业务影响?

    搬家是什么感觉?麻烦,累,折腾……而且稍不留神就会丢三落四。普通人搬家尚且如此,那数据中心“搬家”会更让人崩溃,过程会涉及大量设备、重要数据和核心资产的转移。贵州医科大学就经历了这样的大场面
    的头像 发表于 12-18 15:20 695次阅读
    维谛<b class='flag-5'>技术</b>:如何让贵州医<b class='flag-5'>科大</b>学<b class='flag-5'>数据中心</b>迁移0业务影响?

    华为数据中心能源荣膺W.Media 2024技术领袖奖

    近日,W.Media 2024亚太云和数据中心颁奖晚宴在新加坡举办,华为数据中心能源凭借卓越的技术领导和广泛的市场影响,荣获“
    的头像 发表于 12-09 09:51 953次阅读