0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

分布式云存储基础架构借助x86架构取得进步

星星科技指导员 来源:嵌入式计算设计 作者:Kahlye Lee 2022-06-14 10:27 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

随着云计算的出现,企业和 SMB 存储基础架构变得越来越分散,以便在提高 I/O 性能、数据恢复时间和每 GB 成本的同时实现最大可能的管理灵活性。这部分是由虚拟化技术的并行发展推动的,这有助于创建可根据不断变化的业务需求动态管理的网络 IT 资源的弹性池。

这种向云基础架构的加速转变促使 IT 系统架构师重新评估迄今为止支撑存储平台的传统存储硬件,这种重新评估自然会延伸到构成这些系统的嵌入式组件,尤其是处理器平台。

传统的存储阵列和服务器通常围绕集中式控制器或板进行架构,这些控制器或板通过按一对多 CPU 到磁盘驱动器配置分组的通用 x86 CPU 处理聚合存储 I/O。处理器是系统内数据流进出系统磁盘驱动器的主要瓶颈,因此系统供应商设计了性能最高的 CPU 以加快 I/O 速度,这会增加过程中的大量费用和功耗。

然而,随着为云提供动力的硬件基础设施越来越分散,需要一种新的云存储网络方法——一种不再强调整合存储模型的方法,而是提供以构建块方式增量部署存储资源的灵活性,无论何时需要这些资源分布式网络。这为新的云存储架构战略打开了大门,该战略利用分布式智能磁盘驱动器(闪存和机械)而不是昂贵的集中式存储阵列或服务器。通过为这些驱动器中的每一个配备高性能、节能的 x86 多核处理器,存储网络中的处理器内核总数可以超过传统存储系统中的内核数量,

图 1:具有内置管理程序的虚拟驱动器。

pYYBAGKn8lOAIbXLAAE_TEL7Wis320.png

低功耗、高性能并行处理

这种云优化的存储架构由加速处理单元 (APU) 和片上系统 (SoC) 处理器架构实现,它们将通用 CPU 和离散级 GPU 结合在一个两芯片或单芯片芯片组上,分别。这通过利用 GPU 对数据块并行处理计算任务来促进高速并行处理,从而在网络中的每个单独的磁盘驱动器节点上实现企业级存储吞吐量(图 1)。

与性能类似的异构 CPU+GPU 芯片组相比,这些高度集成的处理器架构还最大限度地降低了设计复杂性和系统尺寸,因为它们在硅片上进行了密集集成,从而减少了板层和尺寸。支持 APU/SoC 的计算优势最终使得可以在标准 3.5 英寸驱动器外壳内利用并行处理性能,该驱动器外壳还包含必要的嵌入式存储和网络硬件元素。

也许最重要的是,APU 和 SoC 处理器可以支持热设计功率 (TDP) 配置文件,从而显着降低系统级热量产生,更重要的是,允许使用以太网供电 (PoE) 为驱动器供电。PoE 是这种新网络存储架构的关键促成因素,与当今高耗电的存储阵列和服务器相比,它提供了显着的每瓦性能效率优势,后者依赖于在不同负载条件下具有不同效率的高功率电源。相比之下,使用 PoE 为每个驱动器供电允许在固定负载条件下调整和最大化效率。

备用电源和电池电源

在这些智能驱动器中使用低功耗 APU 和 SoC 处理器带来了额外的好处,它超越了主存储,进入了不间断存储和容错文件系统领域。在这里,超分布式云存储架构也有内在的好处,包括能够在整个网络中执行驱动器到驱动器的数据镜像,以实现数据冗余和保护目的。大多数企业阵列和服务器系统通过限制在单个系统/机柜内的独立磁盘冗余阵列 (RAID) 实现这种冗余能力,跨磁盘驱动器复制数据。这增加了多驱动器故障导致不可挽回的数据丢失的风险,而在由分布式磁盘驱动器组成的基于云的分散存储架构中,

涉及数据保护的另一个关键考虑因素是备用电源。对于传统的存储阵列和服务器系统,备用电源是通过大型、昂贵的 UPS 系统和柴油发电机提供的。然而,在分布式云网络中,电力备份是在单个驱动器级别启用的。由于嵌入式 APU 和 SoC 处理器实现的低功耗,磁盘电池备份现在已成为使用消费级电池的现实。与传统的电池备份方法相比,这可以减少数据中心的占地面积和机架空间。

闪存是这种电池备份模式的关键促进技术——事实上,这种能力即使不是不可能,也很难用传统的硬盘驱动器实现。另一方面,闪存采用先进的缓存算法实现时,可加快读/写速度并最大限度地减少数据写入周期期间的 NAND 退化,提供最高水平的存储性能和可靠性,无需移动部件。在长时间停电的情况下,这些驱动器可以支持正常关机操作,从而最大限度地降低数据丢失和/或驱动器电气损坏的风险。

从硬件到软件

为了让这种基于磁盘驱动器的云存储模型在实际功能上与传统的集中式存储方法相媲美,需要提供一些必备的软件功能。虚拟化是其中最主要的,它允许在磁盘驱动器级别本地运行虚拟机 (VM),从而为不同的工作负载和/或多租户使用提供精细的资源配置。

对流行的横向扩展计算架构的原生支持也很关键。Apache Hadoop 和 OpenStack 等开源软件框架对于大数据和云存储应用程序尤为重要,并且必须在驱动器上本地运行,以最大限度地减少添加或更换节点时计算集群的性能下降。

纠错码 (ECC) 支持是另一个关键因素。传统上,ECC 支持仅限于耗电的处理器平台,但超节能、计算密集型 x86 云基础架构的发展使得 ECC 支持在低功耗处理器领域成为越来越重要的要求。ECC 有助于确保最高级别的数据完整性,同时通过使用高级加密算法提高数据安全性。

底层 x86 处理平台有助于确保与 Internet 骨干基础设施的紧密集成,并支持丰富的行业标准软件和工具生态系统,这些软件和工具用于构建当今的公共和私有存储云。

一种新的云存储模式

从昂贵的单片存储阵列到商品服务器,传统存储系统会给云存储基础架构增加显着的成本、管理复杂性和功耗,同时带来大量以备份和恢复为中心的挑战。

另一方面,利用 x86 APU 和 SoC 的高度可扩展、基于磁盘驱动器(闪存和机械)的云存储模型可以产生前所未有的功率效率,提供突破性的并行处理性能,并支持企业级存储和管理功能。在单个磁盘驱动器上支持电池供电备份的附加功能确保了最高水平的业务连续性和数据保护。

审核编辑:郭婷

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 处理器
    +关注

    关注

    68

    文章

    20325

    浏览量

    254700
  • 驱动器
    +关注

    关注

    54

    文章

    9111

    浏览量

    156437
  • 服务器
    +关注

    关注

    14

    文章

    10344

    浏览量

    91738
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    微电网主从控制架构:集中式调度与分布式执行的协同机制

    微电网主从控制架构作为一种兼顾“全局优化”与“本地响应”的经典控制模式,核心逻辑是构建“主控制器统筹调度、从控制器分布式执行”的协同体系,打破传统集中式控制响应滞后、分布式控制无序运行的局限,实现微
    的头像 发表于 04-11 09:55 1331次阅读
    微电网主从控制<b class='flag-5'>架构</b>:集中式调度与<b class='flag-5'>分布式</b>执行的协同机制

    微电网集中式架构vs分布式架构:设计差异与选型依据

    微电网作为整合“源、储、荷、网”的新型能源系统,其架构设计直接决定系统的运行效率、可靠性、扩展性与经济性,是微电网规划建设的核心环节。在微电网主流架构中,集中式架构分布式
    的头像 发表于 04-02 11:40 400次阅读
    微电网集中式<b class='flag-5'>架构</b>vs<b class='flag-5'>分布式</b><b class='flag-5'>架构</b>:设计差异与选型依据

    西格电力微电网总体架构设计:分层分布式控制体系构建

    随着分布式新能源规模化渗透、负荷需求多元化升级,微电网作为整合“源、储、荷、网”多单元的新型能源系统,其安全稳定、高效经济运行的核心诉求,对总体架构设计与控制体系提出了更高要求。微电网总体架构是系统
    的头像 发表于 03-31 11:44 449次阅读
    西格电力微电网总体<b class='flag-5'>架构</b>设计:分层<b class='flag-5'>分布式</b>控制体系构建

    Infineon XC2734X微控制器:16/32位架构的强劲之选

    Infineon XC2734X微控制器:16/32位架构的强劲之选 作为电子工程师,在设计过程中,选择合适的微控制器至关重要。今天就来和大家聊聊英飞凌(Infineon)的XC2734X微控制器
    的头像 发表于 03-30 16:35 532次阅读

    2022全新版!Java分布式架构设计与开发实战(完结)

    2022全新版!Java分布式架构设计与开发实战(完结) 分库分表实战:Java海量数据存储架构设计 在现代互联网应用中,随着业务规模的指数级增长,数据库性能瓶颈已成为制约系统发展的
    发表于 03-30 15:20

    德州仪器(TI)解读汽车区域架构中的 TSN:启用以太网环形架构和 AVB 分布式音频

    德州仪器(TI)解读汽车区域架构中的 TSN:启用以太网环形架构和 AVB 分布式音频
    的头像 发表于 12-24 18:10 1.3w次阅读
    德州仪器(TI)解读汽车区域<b class='flag-5'>架构</b>中的 TSN:启用以太网环形<b class='flag-5'>架构</b>和 AVB <b class='flag-5'>分布式</b>音频

    基于蜂鸟E203架构的指令集K扩展

    向量操作指令,例如向量加法、向量乘法等。 在蜂鸟E203架构中,可以添加K扩展指令集,以处理大规模的数据集,可以添加以下指令: 1.VADD:向量加法指令,将两个向量相加并存储结果到一个向量寄存器中
    发表于 10-21 09:38

    分布式光伏环境监测站的技术架构与应用实践

    分布式光伏环境监测站的技术架构与应用实践 柏峰【BF-GFQX】一、系统技术架构解析 分布式光伏环境监测站采用“感知层-传输层-应用层”三层架构
    的头像 发表于 10-13 10:05 730次阅读
    <b class='flag-5'>分布式</b>光伏环境监测站的技术<b class='flag-5'>架构</b>与应用实践

    宏集分享 | 集中式架构还是分布式架构?SCADA架构选型的新趋势

    HongraxIIoT在工业数字化不断推进的今天,SCADA系统早已不仅是简单的数据监控工具,它正在成为保障企业运行效率、安全性和业务连续性的战略核心。而“选择集中式、分布式还是混合式架构?”也正
    的头像 发表于 08-08 18:15 846次阅读
    宏集分享 | 集中式<b class='flag-5'>架构</b>还是<b class='flag-5'>分布式</b><b class='flag-5'>架构</b>?SCADA<b class='flag-5'>架构</b>选型的新趋势

    Ceph分布式存储系统解析

    在当今数据爆炸的时代,企业对存储系统的需求日益增长,传统的集中式存储已经无法满足大规模数据处理的要求。分布式存储系统应运而生,而Ceph作为开源分布
    的头像 发表于 07-14 11:15 1190次阅读

    多节点并行处理架构

    多节点并行处理架构(如MPP架构)通过分布式计算和存储实现高性能数据处理,其核心设计及典型应用如下: 一、核心架构特征 非共享
    的头像 发表于 06-12 08:18 739次阅读
    多节点并行处理<b class='flag-5'>架构</b>

    聚徽厂家视角——X86 架构 vs. ARM 架构:工控一体机的算力、功耗与成本差异解析

    在工业自动化不断发展的当下,工控一体机作为核心设备,其架构选择至关重要。X86 架构与 ARM 架构在工控领域各领风骚,它们在算力、功耗与成本上的显著差异,决定了其适用场景的不同。深入
    的头像 发表于 06-07 14:56 1198次阅读

    RISC-V架构CPU的RAS解决方案

    RISC-V架构以追赶者的姿态在多个应用领域与X86架构和ARM架构展开竞争。在服务器应用领域,RISC-V架构正在重新定义服务器芯片领域必
    的头像 发表于 06-06 17:03 1977次阅读
    RISC-V<b class='flag-5'>架构</b>CPU的RAS解决方案

    曙光存储领跑中国分布式存储市场

    近日,赛迪顾问发布《中国分布式存储市场研究报告(2025)》,指出2024 年中国分布式存储市场首次超过集中式存储,规模达 198.2 亿元
    的头像 发表于 05-19 16:50 1433次阅读

    兆芯+图创智—可信分布式存储系统解决方案

    创智分布式存储系统采用全分布式设计与先进的存储虚拟化技术相结合,由多个独立的兆芯 x86
    的头像 发表于 04-23 10:29 1185次阅读
    兆芯+图<b class='flag-5'>云</b>创智—可信<b class='flag-5'>分布式</b><b class='flag-5'>存储</b>系统解决方案