0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

分布式云存储基础架构借助x86架构取得进步

星星科技指导员 来源:嵌入式计算设计 作者:Kahlye Lee 2022-06-14 10:27 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

随着云计算的出现,企业和 SMB 存储基础架构变得越来越分散,以便在提高 I/O 性能、数据恢复时间和每 GB 成本的同时实现最大可能的管理灵活性。这部分是由虚拟化技术的并行发展推动的,这有助于创建可根据不断变化的业务需求动态管理的网络 IT 资源的弹性池。

这种向云基础架构的加速转变促使 IT 系统架构师重新评估迄今为止支撑存储平台的传统存储硬件,这种重新评估自然会延伸到构成这些系统的嵌入式组件,尤其是处理器平台。

传统的存储阵列和服务器通常围绕集中式控制器或板进行架构,这些控制器或板通过按一对多 CPU 到磁盘驱动器配置分组的通用 x86 CPU 处理聚合存储 I/O。处理器是系统内数据流进出系统磁盘驱动器的主要瓶颈,因此系统供应商设计了性能最高的 CPU 以加快 I/O 速度,这会增加过程中的大量费用和功耗。

然而,随着为云提供动力的硬件基础设施越来越分散,需要一种新的云存储网络方法——一种不再强调整合存储模型的方法,而是提供以构建块方式增量部署存储资源的灵活性,无论何时需要这些资源分布式网络。这为新的云存储架构战略打开了大门,该战略利用分布式智能磁盘驱动器(闪存和机械)而不是昂贵的集中式存储阵列或服务器。通过为这些驱动器中的每一个配备高性能、节能的 x86 多核处理器,存储网络中的处理器内核总数可以超过传统存储系统中的内核数量,

图 1:具有内置管理程序的虚拟驱动器。

pYYBAGKn8lOAIbXLAAE_TEL7Wis320.png

低功耗、高性能并行处理

这种云优化的存储架构由加速处理单元 (APU) 和片上系统 (SoC) 处理器架构实现,它们将通用 CPU 和离散级 GPU 结合在一个两芯片或单芯片芯片组上,分别。这通过利用 GPU 对数据块并行处理计算任务来促进高速并行处理,从而在网络中的每个单独的磁盘驱动器节点上实现企业级存储吞吐量(图 1)。

与性能类似的异构 CPU+GPU 芯片组相比,这些高度集成的处理器架构还最大限度地降低了设计复杂性和系统尺寸,因为它们在硅片上进行了密集集成,从而减少了板层和尺寸。支持 APU/SoC 的计算优势最终使得可以在标准 3.5 英寸驱动器外壳内利用并行处理性能,该驱动器外壳还包含必要的嵌入式存储和网络硬件元素。

也许最重要的是,APU 和 SoC 处理器可以支持热设计功率 (TDP) 配置文件,从而显着降低系统级热量产生,更重要的是,允许使用以太网供电 (PoE) 为驱动器供电。PoE 是这种新网络存储架构的关键促成因素,与当今高耗电的存储阵列和服务器相比,它提供了显着的每瓦性能效率优势,后者依赖于在不同负载条件下具有不同效率的高功率电源。相比之下,使用 PoE 为每个驱动器供电允许在固定负载条件下调整和最大化效率。

备用电源和电池电源

在这些智能驱动器中使用低功耗 APU 和 SoC 处理器带来了额外的好处,它超越了主存储,进入了不间断存储和容错文件系统领域。在这里,超分布式云存储架构也有内在的好处,包括能够在整个网络中执行驱动器到驱动器的数据镜像,以实现数据冗余和保护目的。大多数企业阵列和服务器系统通过限制在单个系统/机柜内的独立磁盘冗余阵列 (RAID) 实现这种冗余能力,跨磁盘驱动器复制数据。这增加了多驱动器故障导致不可挽回的数据丢失的风险,而在由分布式磁盘驱动器组成的基于云的分散存储架构中,

涉及数据保护的另一个关键考虑因素是备用电源。对于传统的存储阵列和服务器系统,备用电源是通过大型、昂贵的 UPS 系统和柴油发电机提供的。然而,在分布式云网络中,电力备份是在单个驱动器级别启用的。由于嵌入式 APU 和 SoC 处理器实现的低功耗,磁盘电池备份现在已成为使用消费级电池的现实。与传统的电池备份方法相比,这可以减少数据中心的占地面积和机架空间。

闪存是这种电池备份模式的关键促进技术——事实上,这种能力即使不是不可能,也很难用传统的硬盘驱动器实现。另一方面,闪存采用先进的缓存算法实现时,可加快读/写速度并最大限度地减少数据写入周期期间的 NAND 退化,提供最高水平的存储性能和可靠性,无需移动部件。在长时间停电的情况下,这些驱动器可以支持正常关机操作,从而最大限度地降低数据丢失和/或驱动器电气损坏的风险。

从硬件到软件

为了让这种基于磁盘驱动器的云存储模型在实际功能上与传统的集中式存储方法相媲美,需要提供一些必备的软件功能。虚拟化是其中最主要的,它允许在磁盘驱动器级别本地运行虚拟机 (VM),从而为不同的工作负载和/或多租户使用提供精细的资源配置。

对流行的横向扩展计算架构的原生支持也很关键。Apache Hadoop 和 OpenStack 等开源软件框架对于大数据和云存储应用程序尤为重要,并且必须在驱动器上本地运行,以最大限度地减少添加或更换节点时计算集群的性能下降。

纠错码 (ECC) 支持是另一个关键因素。传统上,ECC 支持仅限于耗电的处理器平台,但超节能、计算密集型 x86 云基础架构的发展使得 ECC 支持在低功耗处理器领域成为越来越重要的要求。ECC 有助于确保最高级别的数据完整性,同时通过使用高级加密算法提高数据安全性。

底层 x86 处理平台有助于确保与 Internet 骨干基础设施的紧密集成,并支持丰富的行业标准软件和工具生态系统,这些软件和工具用于构建当今的公共和私有存储云。

一种新的云存储模式

从昂贵的单片存储阵列到商品服务器,传统存储系统会给云存储基础架构增加显着的成本、管理复杂性和功耗,同时带来大量以备份和恢复为中心的挑战。

另一方面,利用 x86 APU 和 SoC 的高度可扩展、基于磁盘驱动器(闪存和机械)的云存储模型可以产生前所未有的功率效率,提供突破性的并行处理性能,并支持企业级存储和管理功能。在单个磁盘驱动器上支持电池供电备份的附加功能确保了最高水平的业务连续性和数据保护。

审核编辑:郭婷

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 处理器
    +关注

    关注

    68

    文章

    20150

    浏览量

    247290
  • 驱动器
    +关注

    关注

    54

    文章

    9020

    浏览量

    153390
  • 服务器
    +关注

    关注

    13

    文章

    10095

    浏览量

    90901
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    基于蜂鸟E203架构的指令集K扩展

    向量操作指令,例如向量加法、向量乘法等。 在蜂鸟E203架构中,可以添加K扩展指令集,以处理大规模的数据集,可以添加以下指令: 1.VADD:向量加法指令,将两个向量相加并存储结果到一个向量寄存器中
    发表于 10-21 09:38

    分布式光伏环境监测站的技术架构与应用实践

    分布式光伏环境监测站的技术架构与应用实践 柏峰【BF-GFQX】一、系统技术架构解析 分布式光伏环境监测站采用“感知层-传输层-应用层”三层架构
    的头像 发表于 10-13 10:05 259次阅读
    <b class='flag-5'>分布式</b>光伏环境监测站的技术<b class='flag-5'>架构</b>与应用实践

    宏集分享 | 集中式架构还是分布式架构?SCADA架构选型的新趋势

    HongraxIIoT在工业数字化不断推进的今天,SCADA系统早已不仅是简单的数据监控工具,它正在成为保障企业运行效率、安全性和业务连续性的战略核心。而“选择集中式、分布式还是混合式架构?”也正
    的头像 发表于 08-08 18:15 477次阅读
    宏集分享 | 集中式<b class='flag-5'>架构</b>还是<b class='flag-5'>分布式</b><b class='flag-5'>架构</b>?SCADA<b class='flag-5'>架构</b>选型的新趋势

    Ceph分布式存储系统解析

    在当今数据爆炸的时代,企业对存储系统的需求日益增长,传统的集中式存储已经无法满足大规模数据处理的要求。分布式存储系统应运而生,而Ceph作为开源分布
    的头像 发表于 07-14 11:15 721次阅读

    聚徽厂家视角——X86 架构 vs. ARM 架构:工控一体机的算力、功耗与成本差异解析

    在工业自动化不断发展的当下,工控一体机作为核心设备,其架构选择至关重要。X86 架构与 ARM 架构在工控领域各领风骚,它们在算力、功耗与成本上的显著差异,决定了其适用场景的不同。深入
    的头像 发表于 06-07 14:56 658次阅读

    RISC-V架构CPU的RAS解决方案

    RISC-V架构以追赶者的姿态在多个应用领域与X86架构和ARM架构展开竞争。在服务器应用领域,RISC-V架构正在重新定义服务器芯片领域必
    的头像 发表于 06-06 17:03 1574次阅读
    RISC-V<b class='flag-5'>架构</b>CPU的RAS解决方案

    曙光存储领跑中国分布式存储市场

    近日,赛迪顾问发布《中国分布式存储市场研究报告(2025)》,指出2024 年中国分布式存储市场首次超过集中式存储,规模达 198.2 亿元
    的头像 发表于 05-19 16:50 1011次阅读

    兆芯+图创智—可信分布式存储系统解决方案

    创智分布式存储系统采用全分布式设计与先进的存储虚拟化技术相结合,由多个独立的兆芯 x86
    的头像 发表于 04-23 10:29 657次阅读
    兆芯+图<b class='flag-5'>云</b>创智—可信<b class='flag-5'>分布式</b><b class='flag-5'>存储</b>系统解决方案

    科力锐分布式架构灾备入选中国电子技术标准化研究院典型案例

    的突出表现,成功入选《领航计划2024建典型案例》(以下称“典型案例”)。这一荣誉不仅彰显了科力锐在计算领域的技术实力,也体现了其在推动灾备系统分布式
    的头像 发表于 03-03 16:44 717次阅读
    科力锐<b class='flag-5'>分布式</b><b class='flag-5'>架构</b>灾备<b class='flag-5'>云</b>入选中国电子技术标准化研究院典型案例

    分布式存储和集中式存储有何区别

    存储产品千千万,选来选去怎么办? 戴小编来献妙策,匹配需求不为难!分布式存储和集中式储是存储系统中十分重要的两种架构类型,但这两者有何区别?
    的头像 发表于 02-28 10:56 2270次阅读

    分布式存储有哪几种类型?

    接口类型有POSIX、NFS、S3等;还可根据应用场景分为通用和专用存储。根据不同的分类标准,UU小编认为分布式存储系统可以划分为以下几种主要类型:
    的头像 发表于 02-20 11:00 1127次阅读

    ARM与x86架构对比及其应用

    典型的服务器架构x86采用模块化方法,基于带有可更换组件的主板。CPU和其他组件(如显卡和GPU、内存控制器、存储或处理核心)针对特定功能进行了优化,可以轻松更换或扩展。然而,这种便利是有代价
    的头像 发表于 01-15 15:43 2012次阅读
    ARM与<b class='flag-5'>x86</b>:<b class='flag-5'>架构</b>对比及其应用

    分布式化数据库有哪些类型

    分布式化数据库有哪些类型?分布式化数据库主要类型包括:关系型分布式数据库、非关系型分布式数据
    的头像 发表于 01-15 09:43 879次阅读

    Arm主板与x86主板的区别

    在当今数字化迅猛发展的时代,计算机硬件的架构选择对于系统的性能、能效以及适用性具有至关重要的影响。Arm架构x86架构是目前主流的两种计算机体系结构,各自在个人计算机、服务器、嵌入
    的头像 发表于 01-07 12:21 1440次阅读
    Arm主板与<b class='flag-5'>x86</b>主板的区别

    分布式、域控及SOA架构车身功能测试方案

    北汇信息推出分布式、域控以及SOA架构的车身功能测试解决方案,支持在实验室环境下完成车身单部件、系统级功能自动化测试,可以极大地提升车身功能的可靠性和稳定性。
    的头像 发表于 12-27 09:05 3390次阅读
    <b class='flag-5'>分布式</b>、域控及SOA<b class='flag-5'>架构</b>车身功能测试方案