0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

分布式云存储基础架构借助x86架构取得进步

星星科技指导员 来源:嵌入式计算设计 作者:Kahlye Lee 2022-06-14 10:27 次阅读

随着云计算的出现,企业和 SMB 存储基础架构变得越来越分散,以便在提高 I/O 性能、数据恢复时间和每 GB 成本的同时实现最大可能的管理灵活性。这部分是由虚拟化技术的并行发展推动的,这有助于创建可根据不断变化的业务需求动态管理的网络 IT 资源的弹性池。

这种向云基础架构的加速转变促使 IT 系统架构师重新评估迄今为止支撑存储平台的传统存储硬件,这种重新评估自然会延伸到构成这些系统的嵌入式组件,尤其是处理器平台。

传统的存储阵列和服务器通常围绕集中式控制器或板进行架构,这些控制器或板通过按一对多 CPU 到磁盘驱动器配置分组的通用 x86 CPU 处理聚合存储 I/O。处理器是系统内数据流进出系统磁盘驱动器的主要瓶颈,因此系统供应商设计了性能最高的 CPU 以加快 I/O 速度,这会增加过程中的大量费用和功耗。

然而,随着为云提供动力的硬件基础设施越来越分散,需要一种新的云存储网络方法——一种不再强调整合存储模型的方法,而是提供以构建块方式增量部署存储资源的灵活性,无论何时需要这些资源分布式网络。这为新的云存储架构战略打开了大门,该战略利用分布式智能磁盘驱动器(闪存和机械)而不是昂贵的集中式存储阵列或服务器。通过为这些驱动器中的每一个配备高性能、节能的 x86 多核处理器,存储网络中的处理器内核总数可以超过传统存储系统中的内核数量,

图 1:具有内置管理程序的虚拟驱动器。

pYYBAGKn8lOAIbXLAAE_TEL7Wis320.png

低功耗、高性能并行处理

这种云优化的存储架构由加速处理单元 (APU) 和片上系统 (SoC) 处理器架构实现,它们将通用 CPU 和离散级 GPU 结合在一个两芯片或单芯片芯片组上,分别。这通过利用 GPU 对数据块并行处理计算任务来促进高速并行处理,从而在网络中的每个单独的磁盘驱动器节点上实现企业级存储吞吐量(图 1)。

与性能类似的异构 CPU+GPU 芯片组相比,这些高度集成的处理器架构还最大限度地降低了设计复杂性和系统尺寸,因为它们在硅片上进行了密集集成,从而减少了板层和尺寸。支持 APU/SoC 的计算优势最终使得可以在标准 3.5 英寸驱动器外壳内利用并行处理性能,该驱动器外壳还包含必要的嵌入式存储和网络硬件元素。

也许最重要的是,APU 和 SoC 处理器可以支持热设计功率 (TDP) 配置文件,从而显着降低系统级热量产生,更重要的是,允许使用以太网供电PoE) 为驱动器供电。PoE 是这种新网络存储架构的关键促成因素,与当今高耗电的存储阵列和服务器相比,它提供了显着的每瓦性能效率优势,后者依赖于在不同负载条件下具有不同效率的高功率电源。相比之下,使用 PoE 为每个驱动器供电允许在固定负载条件下调整和最大化效率。

备用电源和电池电源

在这些智能驱动器中使用低功耗 APU 和 SoC 处理器带来了额外的好处,它超越了主存储,进入了不间断存储和容错文件系统领域。在这里,超分布式云存储架构也有内在的好处,包括能够在整个网络中执行驱动器到驱动器的数据镜像,以实现数据冗余和保护目的。大多数企业阵列和服务器系统通过限制在单个系统/机柜内的独立磁盘冗余阵列 (RAID) 实现这种冗余能力,跨磁盘驱动器复制数据。这增加了多驱动器故障导致不可挽回的数据丢失的风险,而在由分布式磁盘驱动器组成的基于云的分散存储架构中,

涉及数据保护的另一个关键考虑因素是备用电源。对于传统的存储阵列和服务器系统,备用电源是通过大型、昂贵的 UPS 系统和柴油发电机提供的。然而,在分布式云网络中,电力备份是在单个驱动器级别启用的。由于嵌入式 APU 和 SoC 处理器实现的低功耗,磁盘电池备份现在已成为使用消费级电池的现实。与传统的电池备份方法相比,这可以减少数据中心的占地面积和机架空间。

闪存是这种电池备份模式的关键促进技术——事实上,这种能力即使不是不可能,也很难用传统的硬盘驱动器实现。另一方面,闪存采用先进的缓存算法实现时,可加快读/写速度并最大限度地减少数据写入周期期间的 NAND 退化,提供最高水平的存储性能和可靠性,无需移动部件。在长时间停电的情况下,这些驱动器可以支持正常关机操作,从而最大限度地降低数据丢失和/或驱动器电气损坏的风险。

从硬件到软件

为了让这种基于磁盘驱动器的云存储模型在实际功能上与传统的集中式存储方法相媲美,需要提供一些必备的软件功能。虚拟化是其中最主要的,它允许在磁盘驱动器级别本地运行虚拟机 (VM),从而为不同的工作负载和/或多租户使用提供精细的资源配置。

对流行的横向扩展计算架构的原生支持也很关键。Apache Hadoop 和 OpenStack 等开源软件框架对于大数据和云存储应用程序尤为重要,并且必须在驱动器上本地运行,以最大限度地减少添加或更换节点时计算集群的性能下降。

纠错码 (ECC) 支持是另一个关键因素。传统上,ECC 支持仅限于耗电的处理器平台,但超节能、计算密集型 x86 云基础架构的发展使得 ECC 支持在低功耗处理器领域成为越来越重要的要求。ECC 有助于确保最高级别的数据完整性,同时通过使用高级加密算法提高数据安全性。

底层 x86 处理平台有助于确保与 Internet 骨干基础设施的紧密集成,并支持丰富的行业标准软件和工具生态系统,这些软件和工具用于构建当今的公共和私有存储云。

一种新的云存储模式

从昂贵的单片存储阵列到商品服务器,传统存储系统会给云存储基础架构增加显着的成本、管理复杂性和功耗,同时带来大量以备份和恢复为中心的挑战。

另一方面,利用 x86 APU 和 SoC 的高度可扩展、基于磁盘驱动器(闪存和机械)的云存储模型可以产生前所未有的功率效率,提供突破性的并行处理性能,并支持企业级存储和管理功能。在单个磁盘驱动器上支持电池供电备份的附加功能确保了最高水平的业务连续性和数据保护。

审核编辑:郭婷

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 处理器
    +关注

    关注

    68

    文章

    18270

    浏览量

    222119
  • 驱动器
    +关注

    关注

    51

    文章

    7307

    浏览量

    142935
  • 服务器
    +关注

    关注

    12

    文章

    8114

    浏览量

    82499
收藏 人收藏

    评论

    相关推荐

    鸿湖万联成功举办基于x86架构的OpenHarmony应用生态挑战赛

    近日,由开放原子开源基金会、央视网、江苏省工业和信息化厅、无锡市人民政府、江苏软件产业人才发展基金会、苏州工业园区、无锡高新区等共同承办,鸿湖万联参与共建的“基于x86架构的OpenHarmony应用生态挑战赛”决赛路演在无锡圆满落幕。
    的头像 发表于 04-23 09:26 82次阅读
    鸿湖万联成功举办基于<b class='flag-5'>x86</b><b class='flag-5'>架构</b>的OpenHarmony应用生态挑战赛

    什么是分布式架构?

    分布式架构是指将一个系统或应用拆分成多个独立的节点,这些节点通过网络连接进行通信和协作,以实现共同完成任务的一种架构模式。这种架构模式旨在提高系统的可扩展性、可靠性和性能表现。 一、
    的头像 发表于 01-12 15:04 503次阅读
    什么是<b class='flag-5'>分布式</b><b class='flag-5'>架构</b>?

    【Vsan数据恢复】Vsan分布式存储虚拟磁盘文件丢失的数据恢复案例

    一套vsan分布式存储架构有数台服务器节点,该vsan分布式存储架构配置了固态硬盘和机械硬盘,固
    的头像 发表于 01-03 16:39 273次阅读

    x86与arm架构区别主板还是cpu

    x86和ARM架构是计算机处理器的两种不同体系结构,涉及到CPU和主板两方面的区别。下面将详细介绍它们的特点和区别。 首先,我们需要先了解x86和ARM是什么。x86
    的头像 发表于 12-21 17:08 814次阅读

    Vsan数据恢复—vSAN逻辑架构故障导致存储关机重启的数据恢复案例

      一台存储采用了VSAN分布式存储架构存储内共有24块硬盘存储数据。
    的头像 发表于 11-27 15:04 313次阅读

    分布式全闪架构的演进之路

    无共享体系结构 (SNA:Shared-Nothing Architecture) 是一种分布式计算体系结构,其中每个更新请求都由计算机群集中的单个节点(处理器/内存/存储单元)满足。目的是消除节点
    的头像 发表于 11-27 10:12 374次阅读
    <b class='flag-5'>分布式</b>全闪<b class='flag-5'>架构</b>的演进之路

    X86架构与ARM架构的主要区别

    X86和ARM是两种主要的CPU架构X86架构的CPU是PC服务器行业的老大,而ARM架构的CPU则是移动端的老大。它们在设计理念、性能、
    的头像 发表于 09-22 08:23 4161次阅读
    <b class='flag-5'>X86</b><b class='flag-5'>架构</b>与ARM<b class='flag-5'>架构</b>的主要区别

    BM1684架构介绍

    一、概述 一图胜千言,先po一张架构图,如下所示: 二、TPU架构 2.1 DTCM DTCM是TPU内部的MCU ARM9的高速缓存空间(512KB),类似于CPU中的L1
    发表于 09-19 08:11

    CPU架构X86和ARM的区别

    随着科技的快速发展,计算机技术已经深入到我们生活的方方面面。作为计算机的核心部件,CPU(中央处理器)的性能和架构对于整个系统的运行起着至关重要的作用。目前,市场上主流的 CPU 架构主要有两种:X86 和 ARM。那么这两种
    发表于 09-18 10:02 1265次阅读

    OpenHarmony 分布式硬件关键技术

    ,华为OpenHarmony技术专家,OpenHarmony分布式硬件技术负责人。主要负责OpenHarmony分布式硬件架构设计以及华为多设备协同方向的研究。 内容来源 第一届开放原子开源基金会
    发表于 08-24 17:25

    Gaudi2架构和软件的全面解释

    Gaudi®2是哈瓦那的第二代深度学习加速器,支持训练和推理。 Gaudi®在DL1实例中首次在AWS EC2上推出,并通过Supermicro X12 Gaudi培训服务器进行内部部署
    发表于 08-04 06:15

    介绍三大主流芯片架构X86、ARM、RISC-V

    我们主要应用的三大芯片架构X86、ARM和RISC-V架构
    发表于 07-25 09:35 2w次阅读
    介绍三大主流芯片<b class='flag-5'>架构</b>:<b class='flag-5'>X86</b>、ARM、RISC-V

    分布式存储架构面临的挑战

      从云和互联网的业务场景来看,其存储域主要采用基于服务器部署分布式存储服务的融合方式,它面临如下挑战 : 1.数据保存周期与服务器更新周期不匹配。大数据、人工智能等新兴业务催生出海量数据,大量数据
    的头像 发表于 07-05 10:44 943次阅读
    <b class='flag-5'>分布式</b><b class='flag-5'>存储</b><b class='flag-5'>架构</b>面临的挑战

    X86架构与Arm架构的区别

    X86架构和ARM架构是主流的两种CPU架构X86架构的CPU是PC服务器行业的老大,ARM
    的头像 发表于 06-16 12:50 7634次阅读
    <b class='flag-5'>X86</b><b class='flag-5'>架构</b>与Arm<b class='flag-5'>架构</b>的区别

    为什么x86和arm的架构不同,但是都能装linux呢?

    为什么x86和arm的架构不同,但是都能装linux呢?他们的编译时如何实现的?
    发表于 05-16 10:21