电子发烧友App

硬声App

0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示
电子发烧友网>电子资料下载>人工智能>数据中心高性能对象存储会碰到什么挑战

数据中心高性能对象存储会碰到什么挑战

2020-05-09 | doc | 0.02 MB | 次下载 | 2积分

资料介绍

  对象存储非常适合长期备份和归档,如何将高性能对象存储扩展到大规模、高容量的工作负载,人们对此需要进行了解。

  对象存储最有趣的方面之一是其用途的多样性。尽管对象存储通常用作归档存储区、原有数据的目的地,以及文件服务器的替代品,但实际上有许多方法可以应用对象存储。随着供应商开始提供性能优化的对象存储,该技术已经为用于一组全新的工作负载准备就绪。

  高性能对象存储不仅仅需要从基于硬盘的对象存储系统切换到全闪存对象存储。向全闪存介质的迁移无疑会有所帮助,但是对象存储系统(很大程度上要归功于其丰富的元数据)通常具有太多延迟,无法有效利用闪存性能。

  创建高性能对象存储系统的另一个挑战是基础设施的横向扩展特性。为了满足容量需求,对象存储将大量节点添加到存储集群中。每个节点的容量都被吸收到集群中,从而创建一个存储池。在大型横向扩展集群中,具有数十个节点都是比较常见的。聚合和管理这些节点的等待时间可能很长。

AL t4518534542394368

  人工智能深度学习的对象存储挑战

  非结构化的大型数据工作负载(例如人工智能和机器学习以及深度学习)是对象存储架构如何成为高性能工作负载的一个很好的例子。理论上,这些工作负载对于对象存储而言应该是理想的。它们拥有数百万甚至数十亿个文件,而存储所有这些数据需要大量的SSD硬盘或HDD硬盘,因此需要许多节点。这些过程也是受吞吐量驱动的。

  所有这些因素的结合使ai服务器和深度学习针对对象存储的高节点数存储集群量身定制。大多数与人工智能通信的框架(例如TensorFlow)用于驱动人工智能服务器和机器学习工作负载,它们都使用Amazon S3协议。大多数对象存储系统也是基于S3存储桶,并且S3存储桶本身是高度并行的。从理论上讲,对象存储基础设施应该能够满足人工智能和机器或深度学习工作负载的需求。

  但是,此方法不仅仅需要创建一个全闪存对象存储系统。该系统必须能够解决这样一个问题,即可能会有数十个(即使不是数百个)节点,而元数据以及集群管理也带来了挑战。

  应对元数据挑战

  元数据是关于数据的数据,它对高性能对象存储带来了挑战,其原因有两个:第一个挑战是,对象存储系统需要更多时间来管理其丰富的元数据。由于大多数对象存储供应商会在集群中指定一定数量的节点来管理和存储元数据,因此管理更加复杂。在人工智能和深度移动学习等工作负载中,专用的元数据控制器通常不堪重负,并成为系统瓶颈。因此,服务器闪存驱动器甚至硬盘无法充分发挥其潜力。

  第二个挑战是集群通信。大多数横向扩展NAS或块存储系统的节点数都比较少。在网络附属存储(NAS)和块用例中,拥有六个节点的存储集群被认为是大型的浪潮服务器存储系统,但在许多对象存储部署中,六个节点只是一个入门级别。而节点间的通信成为一个大问题,尤其是在不涉及性能的归档的用例中。

  要创建高性能的大规模对象存储解决方案,需要解决元数据性能和集群管理问题。下一代对象存储将元数据分布在集群中的每个节点上,而不仅仅是几个控制器。元数据的分布可确保每个节点都具有响应I/O请求所需的所有信息

下载该资料的人也在下载 下载该资料的人还在阅读
更多 >

评论

查看更多

下载排行

本周

  1. 1电子电路原理第七版PDF电子教材免费下载
  2. 0.00 MB  |  1491次下载  |  免费
  3. 2单片机典型实例介绍
  4. 18.19 MB  |  95次下载  |  1 积分
  5. 3S7-200PLC编程实例详细资料
  6. 1.17 MB  |  27次下载  |  1 积分
  7. 4笔记本电脑主板的元件识别和讲解说明
  8. 4.28 MB  |  18次下载  |  4 积分
  9. 5开关电源原理及各功能电路详解
  10. 0.38 MB  |  11次下载  |  免费
  11. 6100W短波放大电路图
  12. 0.05 MB  |  4次下载  |  3 积分
  13. 7基于单片机和 SG3525的程控开关电源设计
  14. 0.23 MB  |  4次下载  |  免费
  15. 8基于AT89C2051/4051单片机编程器的实验
  16. 0.11 MB  |  4次下载  |  免费

本月

  1. 1OrCAD10.5下载OrCAD10.5中文版软件
  2. 0.00 MB  |  234313次下载  |  免费
  3. 2PADS 9.0 2009最新版 -下载
  4. 0.00 MB  |  66304次下载  |  免费
  5. 3protel99下载protel99软件下载(中文版)
  6. 0.00 MB  |  51209次下载  |  免费
  7. 4LabView 8.0 专业版下载 (3CD完整版)
  8. 0.00 MB  |  51043次下载  |  免费
  9. 5555集成电路应用800例(新编版)
  10. 0.00 MB  |  33562次下载  |  免费
  11. 6接口电路图大全
  12. 未知  |  30320次下载  |  免费
  13. 7Multisim 10下载Multisim 10 中文版
  14. 0.00 MB  |  28588次下载  |  免费
  15. 8开关电源设计实例指南
  16. 未知  |  21539次下载  |  免费

总榜

  1. 1matlab软件下载入口
  2. 未知  |  935053次下载  |  免费
  3. 2protel99se软件下载(可英文版转中文版)
  4. 78.1 MB  |  537793次下载  |  免费
  5. 3MATLAB 7.1 下载 (含软件介绍)
  6. 未知  |  420026次下载  |  免费
  7. 4OrCAD10.5下载OrCAD10.5中文版软件
  8. 0.00 MB  |  234313次下载  |  免费
  9. 5Altium DXP2002下载入口
  10. 未知  |  233046次下载  |  免费
  11. 6电路仿真软件multisim 10.0免费下载
  12. 340992  |  191183次下载  |  免费
  13. 7十天学会AVR单片机与C语言视频教程 下载
  14. 158M  |  183277次下载  |  免费
  15. 8proe5.0野火版下载(中文版免费下载)
  16. 未知  |  138039次下载  |  免费