0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

打造大规模共享闪存基础架构

存储D1net 来源:lp 2019-04-16 17:18 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

从概念上讲,RSI为不同的架构整合服务器部件(CPUGPU、存储系统、内存和网络),使每个部件都能够在标准机架设备中进行调整和升级,通过高容量/低延迟PCIe链路进行连接。在这上面安装虚拟服务器软件,可以利用一个个机架级部件构建虚拟服务器,并且你拥有了一种意义重大的配置,使企业基础架构能够与云服务相竞争。

不过,在网络上使用非易失性内存和存储系统通常意味着不可接受的延迟。斯坦福大学团队的ReFlex(软件存储服务器 )这时就有了用武之地。

ReFlex

使远程闪存访问可以接受面临几个难题,最大的难题是实现低延迟。

管理共享闪存池中的多租户需要隔离机制,那样应用程序不会干扰对方。共享闪存方面最好具有高度灵活性,预计还会遇到其他部署问题,比如规模和网络协议。

斯坦福大学的团队在测试中发现,ReFlex获得的远程闪存性能相当于使用TCP/IP基于10Gb以太网的本地闪存访问。他们解释道:“ReFlex使用一种紧密集成网络和存储的新型数据平面内核,在计算要求有限的情况下实现了高性能。这种数据平面设计避免了中断和数据拷贝的开销,针对局部性进行了优化,并兼顾了高吞吐量(IOPS)和低尾延迟。”

多租户

闪存设备上多租户的一大问题是,读取性能和写入性能之间存在巨大的差异。写入可能需要几毫秒,而读取是亚毫秒级事务。这意味着执行大量写入操作的应用(比如元数据更新或流视频)耗用NVMe设备的大量资源。

斯坦福大学的团队实施了QoS调度程序,它可以全面了解所有租户的整个工作负载。最大的IOPS取决于所有请求的读取/写入比。调度程序查看每个工作负载的服务级别目标(SLO),优先考虑注重延迟的应用而不是尽力的应用,并确保应用的SLO得到实现。

由于诸如此类的优化,ReFlex能够做到每个核心提供高达850K的IOPS,同时仅比直接访问本地闪存增加21µs的延迟。这非常好。

英特尔的远见卓识者多年来一直在倡导RSI概念,但看起来正是在2018年,所有必要部分(尤其是PCIe v4)汇集起来,使这个概念在技术上和经济上都切实可行。随着闪存价格暴跌,塞满闪存的机架比以往任何时候都更经济实惠,哪怕是数百TB的闪存。

这对我们数据密集型的未来来说是好消息。是否有任何企业存储供应商使类似ReFlex的技术实现产品化值得拭目以待。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 闪存
    +关注

    关注

    16

    文章

    1917

    浏览量

    117471
  • 网络协议
    +关注

    关注

    3

    文章

    276

    浏览量

    22844
  • 存储系统
    +关注

    关注

    2

    文章

    439

    浏览量

    41949

原文标题:打造大规模共享闪存基础架构

文章出处:【微信号:D1Net11,微信公众号:存储D1net】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    泰瑞达推出Photon 100全面型自动测试平台,加速大规模硅光子和共封装光学量产

    今天Teradyne(泰瑞达)宣布,推出全面型光电自动测试平台——Photon 100,该平台专为加速大规模硅光子(SiPh)和共封装光学(CPO)量产打造
    的头像 发表于 04-10 15:20 223次阅读

    意法半导体为超大规模AI数据中心破解供电难题

    的高密度电力传输解决方案》白皮书,深度解析ST适配NVIDIA 800V DC架构的高密功率传输方案,为超大规模AI数据中心破解供电难题!
    的头像 发表于 04-07 15:46 265次阅读
    意法半导体为超<b class='flag-5'>大规模</b>AI数据中心破解供电难题

    登临科技以创新GPU+架构打造规模化智慧养殖场景解决方案

    在新质生产力加速推进的背景下,农业数字化转型已从 “探索期” 进入 “攻坚期”。面对超大规模视频接入与标准化管理的双重压力,传统养殖模式正面临效率瓶颈。如何以自主可控的技术方案,实现全场景精准感知与高效管控,成为行业升级的关键命题。
    的头像 发表于 03-23 13:42 376次阅读
    登临科技以创新GPU+<b class='flag-5'>架构</b><b class='flag-5'>打造</b><b class='flag-5'>规模</b>化智慧养殖场景解决方案

    中科曙光scaleX万卡超集群重塑超大规模算力基础设施

    在“人工智能+”行动深入推进的当下,算力基础设施已成为国家战略竞争力的核心,而超大规模集群的运维管控难题却日益凸显。中科曙光scaleX万卡超集群打造的智能管理体系,正以“能管住-管得稳-用得好”的进阶逻辑,重塑超大规模算力基础
    的头像 发表于 01-30 15:43 969次阅读

    ALVA纯视觉系统如何破解具身智能大规模落地的核心瓶颈

    在 2025 中国信通院深度观察报告会上,许志远副总工程师指出,具身智能正经历认知与物理智能的“双螺旋”突破,但模型、数据、形态路线三大争议未决,大规模落地尚处早期。若想突破现存瓶颈,亟需完成技术架构、数据体系、商业化形态的三重跃升。
    的头像 发表于 12-28 15:34 1281次阅读
    ALVA纯视觉系统如何破解具身智能<b class='flag-5'>大规模</b>落地的核心瓶颈

    看点:全球首颗!中国研发全新架构闪存芯片 OpenAI拉上巨头豪赌AI基建

    给大家带来一些业界消息: 全球首颗!中国研发全新架构闪存芯片 日前,复旦大学团队在《自然》发表成果,成功研制全球首颗二维—硅基混合架构闪存芯片“长缨(CY-01)”。相关成果率先实现全
    的头像 发表于 10-10 18:20 2025次阅读

    TensorRT-LLM的大规模专家并行架构设计

    之前文章已介绍引入大规模 EP 的初衷,本篇将继续深入介绍 TensorRT-LLM 的大规模专家并行架构设计与创新实现。
    的头像 发表于 09-23 14:42 1376次阅读
    TensorRT-LLM的<b class='flag-5'>大规模</b>专家并行<b class='flag-5'>架构</b>设计

    大规模物联网供电:考虑因素与微能量采集技术解决方案

    5G 技术推广促使工业 4.0 等大规模物联网应用爆发式增长,但为数十亿无线节点提供可扩展可靠电源挑战巨大,不解决将阻碍其普及。仅靠增加电池不可行,需采用能量采集(EH)技术。确定大规模物联网节点
    的头像 发表于 09-22 16:05 744次阅读

    大规模专家并行模型在TensorRT-LLM的设计

    DeepSeek-V3 / R1 等模型采用大规模细粒度混合专家模型 (MoE) 架构,大幅提升了开源模型的质量。Llama 4 和 Qwen3 等新发布的开源模型的设计原则也采用了类似的大规模细粒度 MoE
    的头像 发表于 09-06 15:21 1423次阅读
    <b class='flag-5'>大规模</b>专家并行模型在TensorRT-LLM的设计

    使用Ansible实现大规模集群自动化部署

    当你面对1000+服务器需要部署时,你还在一台台手工操作吗?本文将揭秘如何用Ansible实现大规模集群的自动化部署,让运维效率提升10倍!
    的头像 发表于 08-27 14:41 985次阅读

    大规模芯片验证:基于AMD VP1902的S8-100原型验证系统实测性能翻倍

    引言随着AI、HPC及超大规模芯片设计需求呈指数级增长原型验证平台已成为芯片设计流程中验证复杂架构、缩短迭代周期的核心工具。然而,传统原型验证系统受限于单芯片容量(通常
    的头像 发表于 06-06 13:13 1654次阅读
    超<b class='flag-5'>大规模</b>芯片验证:基于AMD VP1902的S8-100原型验证系统实测性能翻倍

    Flash闪存技术是什么?创世SD NAND Flash又有何独特之处?#嵌入式开发 #存储芯片 #闪存

    闪存
    深圳市雷龙发展有限公司
    发布于 :2025年06月05日 17:58:25

    三维高斯泼溅大规模视觉SLAM系统解析

    近期兴起的神经辐射场(NeRF)与三维高斯泼溅(3DGS)技术在视觉SLAM中展现出令人鼓舞的突破性成果。然而,当前主流方法多依赖RGBD传感器,并且仅适用于室内环境。在大规模室外场景中的重建鲁棒性
    的头像 发表于 05-27 14:13 1817次阅读
    三维高斯泼溅<b class='flag-5'>大规模</b>视觉SLAM系统解析

    薄型、多频段、大规模物联网前端模块 skyworksinc

    电子发烧友网为你提供()薄型、多频段、大规模物联网前端模块相关产品参数、数据手册,更有薄型、多频段、大规模物联网前端模块的引脚图、接线图、封装手册、中文资料、英文资料,薄型、多频段、大规模物联网前端模块真值表,薄型、多频段、
    发表于 05-15 18:32
    薄型、多频段、<b class='flag-5'>大规模</b>物联网前端模块 skyworksinc

    带耦合器的大规模物联网半双工前端模块 skyworksinc

    电子发烧友网为你提供()带耦合器的大规模物联网半双工前端模块相关产品参数、数据手册,更有带耦合器的大规模物联网半双工前端模块的引脚图、接线图、封装手册、中文资料、英文资料,带耦合器的大规模物联网半双工前端模块真值表,带耦合器的
    发表于 05-09 18:35
    带耦合器的<b class='flag-5'>大规模</b>物联网半双工前端模块 skyworksinc