0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

企业正被数据洪流所淹没,存储即将濒临崩溃?

存储D1net 来源:未知 作者:胡薇 2018-09-30 16:40 次阅读

企业正被数据洪流所淹没。而供应商和评论家也在不断提醒企业这一事实。谈论数据的海量规模、多样性和急剧增长已是司空见惯,专家每次都会反复地对企业所产生的庞大数据做出耸人听闻的预测。而他们给出的建议是,如果不采取根本性的措施,那么用于存储和保护所有这些数据的系统会濒临崩溃边缘。

本文却有不同看法。在这篇文章中,我们不仅将数据洪流视为一个存储问题,还将它视为一次数据优化的机遇。之后,我们将重点谈论英特尔® 傲腾™技术,这项技术在充分利用数据优化机遇方面将发挥重大作用。

英特尔® 傲腾™技术是 20 世纪 70 年代以来首个真正意义上的新内存技术(DRAM 起源于 1966 年,是 20 世纪 70 年代早期的固态盘的前身)。这项技术可作为现代企业数据策略的一部分,从根本上改变企业数据性能及与此相关的开销。

对企业数据策略的迫切需求

企业数据存储确实面临诸多挑战。其中不仅包括数量(volume)、多样性(variety)和速度(velocity)方面的挑战。还包含其他同等重要的难题,这些问题综合起来,导致企业迫切需要构建全面的企业数据策略。

除了“三个 V”之外,IT 组织还面临着巨大压力,必须以不同于以往的方式使数据变得更有用。随着数据分析和人工智能AI)应用对业务的重要性与日俱增,这意味着数据必须是可访问和可查询的,且通常要近乎实时的,但当今的存储架构在设计时情况并非如此。高性能计算(HPC)应用需要将庞大的数据集存储在内存中,或者存储在性能尽可能接近内存的存储设备中。实时的流传输应用(例如,金融服务领域中的应用)需要采集数据,并将数据存储在非常靠近计算节点的超快速存储设备中。上述这些需求会直接影响某些数据层的识别和存储方式。

随着企业需要使用更多数据来做更多更重要的事情,存储的数据也开始分布在不同位置上。物联网IoT)应用,无论是自动驾驶汽车、智能城市还是智能零售,都需要在接近数据生成地点的位置存储和处理数据。从某种程度上讲,数据中心正在分解,并且一些类似数据中心的技术出现在了网络边缘,所有这些都需要采集、存储和分析数据。

最后,我们要面对成本挑战。存储的总体拥有成本(TCO)一如既往地重要,但是成本计算难度却在不断增加。这个成本不仅仅是指在类似保险库的冷存储中存储和保护数据的成本,还涉及在需要时访问和分析数据所产生的操作成本。基准测试需要体现不断变化的实际工作负载,而不是简化的理想状态。因此,综合起来,这些因素决定了企业需要一种全面的方法实现现代企业数据策略。

构建企业数据策略

IT 必须创建一个智能数据策略,这个策略不仅要有效地安全地存储数据,而且还要预先定位数据以供应用实时使用或日后使用。了解应用和位置要求(访问速度和连续性,靠近计算节点的位置等)实际上意味着,要了解数据策略所须支持的业务流程和应用。除了数据洪流外,其他老生常谈的 IT 言论为“IT 必须更接近业务”。这一言论在数据策略方面尤为贴切。在了解了围绕数据分析或人工智能构建且有利于实现竞争优势的应用,并对这些应用可能移向网络边缘的方式有所了解后,IT 能构建一个直接决定企业成败的数据策略。

英特尔认为,一个成功的现代数据策略应该是软件定义的策略,以应用要求为基础,并能实现智能分层。本文将重点关注数据分层,以及英特尔® 傲腾™技术在这当中发挥的作用。适用于数据分层的战略性方法如下:

•了解当前的应用数据要求:数据和使用数据的应用之间有怎样的关系?如何使用数据?对于延迟和可用性有哪些要求?谁需要访问数据,以哪种方式访问?哪些应用是业务关键型应用?

•规划未来数据要求:哪些未来应用会产生具有挑战性的数据要求(性能、位置或成本)?长期业务计划对数据要求的影响有哪些?

•创建数据层次结构:数据无处不在,既存在于企业内部,也存在于企业外部。大多数应用策略需要各类数据。务必了解各种结构化数据库和非结构化数据库之间的关系。数据建模可为整个企业提供层次结构,并且通常是数据分析策略执行过程中确保成功的一个重要因素。

•考虑企业层面的影响因素:由业务目标驱动的数据策略需要应对影响存储环境和数据分析策略的各种因素。其中包括数据可用性、数据隐私、数据保留、合规性(企业需要遵守的数据相关法规)、数据搜寻和数据清洁度。

在这个流程的结尾,企业应该创建一张关于当前和未来数据层次结构的 3D 图,并且能够开始对层次结构进行分层。大多数 IT 部门会用温度这个概念来理解数据。“冷”数据几乎不会被访问,但需要安全地存储起来。而与之相对的“热”数据则会被频繁、快速且安全地访问。当然,要能够根据应用和安全需求在各个层级之间移动数据。

许多企业将“冷”数据存储在磁带存储器或云中。“暖”数据可以放心地存储在磁盘上。而问题就在于极暖的数据和“热”数据的存储。现代应用需要以更快的速度获取越来越多的数据。因此,回到本文开头的地方,数据洪流应该有四个矢量:数量、速度、多样性和热度。越来越多的数据会是(或者在理想状态下将是)热数据。这就会给 IT 带来实际的成本问题和技术难题,而这正是英特尔® 傲腾™技术的用武之地。

英特尔® 傲腾™技术:打破传统的数据分层模型

传统意义上,我们一直根据访问需求在介质上进行数据分层和存储,而这些介质的成本和性能正在不断提高:

•磁带价格便宜,但速度慢

•硬盘价格适中,速度适中

•固态盘(SSD)价格较高,速度更快

• DRAM 价格极昂贵,速度也极快

处理器缓存的价格最昂贵,速度也最快(但是在大小方面有严格的限制)。

一些企业使用云存储来存储冷数据,因而这个模型在某种程度上已在低端中断,但是在暖/热数据方面,要实现成本和性能之间的平衡仍是一个棘手的问题。

英特尔® 傲腾™技术是一项全新技术,尽管它的速度没有 DRAM那样快,但也足以用作扩展的内存池,并且它的响应速度甚至比高性能 NAND 固态盘还要快。这意味着,对于许多应用而言,英特尔® 傲腾™技术可以提高媲美内存的性能,从而为暖数据或热数据提供一个更高性能的解决方案,这个解决方案在性能方面优于磁盘,在价格方面低于 DRAM。

英特尔® 傲腾™ 技术为存储基础设施引入全新的存储层

实际上,英特尔® 傲腾™技术将内存和存储的特性与低延迟、高耐久性、高服务质量和高吞吐量结合在一起。它创建了一个新的数据层,并且对于在当今企业环境下能够提升竞争优势的以下应用尤为有用:高级分析、人工智能和高性能计算。

在现今的架构中,存储和内存之间的界限变得很模糊,这意味着会加快实现快速存储并扩展缓存。英特尔® 傲腾™技术增加了每台服务器的规模,并降低了事务处理成本。通过与最新的英特尔® 至强® 可扩展处理器结合使用,英特尔® 傲腾™固态盘支持部署更大且更经济实惠的数据集,以便通过更大的内存池获得新洞察。

将英特尔® 傲腾™固态盘用作快速存储或缓存设备后,许多应用将从中受益。这些固态盘提供了实现新的更高性能缓存或层级所需的性能,并且用作直连存储时,能够为最严苛的应用或服务提供极低的延迟。在这些应用中,英特尔® 傲腾™固态盘将大幅提高性能、打破存储瓶颈、增强工作负载扩展能力,并降低总部署成本。与 DRAM 相比,能够使用更大容量和更低成本的设备让企业有可能通过替换部分 DRAM 组来节省成本;或者通过增加 DRAM 来发展成为更大的内存池,从规模和复杂性日益增长的数据集中获取新的洞察。

英特尔® 傲腾™ 技术支持实现更快的存储和缓存,并帮助扩展内存

英特尔® 3D XPoint™技术 - 英特尔® 傲腾™技术的核心

英特尔® 傲腾™技术的核心是英特尔® 3D XPoint™技术(发音为 cross point),该技术以材料科学的巨大进步为基础,采用了全新的内存方法。

英特尔® 3D XPoint™技术将材料的亚微观层切分为多个列,每列包含一个内存单元和一个选择器。它使用垂直线缆连接各个列,并采用了创新的交叉点结构,可以通过在顶部和底部各选择一根线缆来单独寻址内存单元。可以从三个维度堆叠这些内存网格,以提高存储密度。DRAM 需要为每个内存单元使用一个晶体管,因而在大小和成本方面产生了不良影响;而与之不同的是,每个英特尔® 3D XPoint™内存单元可以通过改变线缆中的电压来实现轻松写入或读取,完全不需要晶体管。

内存单元会保持持久状态,这意味着它们即便被断电,也会保留它们自己的值。这些功能共同提供了快速、密集和非易失特性,使英特尔® 傲腾™技术成为模糊存储和内存之间界限的完美选择。

对于某些工作负载而言,英特尔® 傲腾™固态盘将内存池的大小提高了多达 8 倍1,并将 DRAM 替换为至多 10:12。随着时间的推移,英特尔® 傲腾™技术将在其他产品中提供,这将释放生态系统的创造力,以便根据不断发展的应用和位置需求重塑更高要求的性能计算。

英特尔的存储产品组合

英特尔® 存储解决方案以基于标准的技术为基础构建而成,它可以降低风险,并能在多个供应商或开源解决方案间灵活实施您选择的存储架构。

通过与英特尔® 傲腾™技术结合使用,英特尔® 3D NAND 固态盘改变了存储基础设施的经济性,同时在可扩展性、性能和选择灵活性之间实现了全新的平衡,可加快数据密集型应用的交付,降低延迟敏感型工作负载的事务处理成本,并降低整个数据中心的 TCO。

英特尔® 傲腾™技术的基准测试:真实的基准测试揭示了超凡的企业数据中心性能

人们通常在高队列深度下评估存储性能,这个队列深度实际是指任何时候的存储数据并发请求数。大多数 NAND 固态盘的测量值都是峰值性能,此时的队列深度通常为 128 或更高。此外,测量 NAND 固态盘的性能时通常采用 100% 读取或 100% 写入工作负载。但这些都不是常见的工作负载。企业应用中的大多数典型工作负载混合了读取和写入,队列深度在 8 到 12 之间。

许多企业应用,尤其是操作型数据库、存储缓存、日志文件和类似的性能或任务关键型应用,均要求系统有良好的响应能力。这意味着通常会限制指定给任何一台存储设备的工作规模。事实上,这些类型的工作负载所达到的队列深度高于 4 到 12 之间的情况并不常见。

英特尔使用了极常见的混合工作负载(70% 的读取和 30% 的写入)对英特尔® 傲腾™技术进行了测试,这种混合工作负载常见于数据库的事务处理中。我们还在存储设备上展示了 1 到 16 范围内队列深度的情况 - 出色的 I/O 性能。在这种情况下,NAND 固态盘达到的性能越高越好。英特尔® 傲腾™技术可将关键方面的性能提高 5-15 倍2。

• 对于 70/30 混合工作负载,英特尔® 傲腾™ 技术在 QD1 下实现的性能是高耐久性NAND 固态盘(P3700)所实现性能的 15 倍

• 英特尔® 傲腾™ 技术可在 QD12 下达到最大吞吐量,而大多数基于 NAND 的固态盘需要在队列深度达到 100 或更高的情况下才能实现最高性能

• 英特尔® 傲腾™ 技术将延迟降为以前的十分之一(延迟< 10 微秒)

• 英特尔® 傲腾™ 技术将 QoS 提高了 100 倍(读取/写入 < 200 微秒 99.999th)

• 英特尔® 傲腾™ 技术提高了读取速度(7 微秒对比 70 微秒),这得益于介质的物理特性(每个 IO 的速度提高了 10 倍,因此您能够以更快的速度实现峰值吞吐量)

英特尔® 精选解决方案(Intel® Select Solution)提供针对工作负载经过优化的配置,所包含的现代英特尔® 固态盘已经过验证,可适用于基于英特尔® 至强® 可扩展处理器的平台,并且旨在帮助加速存储现代化举措。当企业选择英特尔® 精选解决方案时,他们可获得超融合基础设施所需的最佳性能,且无需耗费时间和精力去调优堆栈。

英特尔目前正在促进行业范围内的协作和创新,以便为客户提供多个解决方案,利用存储经过优化的平台、组件和软件提供现今企业所需的性能和效率。

英特尔® Storage Builders 提供了一个开放的协作环境,以实现真正的存储创新和进步。该计划汇集了众多具有前瞻性的公司、广泛的英特尔生态系统、关键基础技术和战略资源,使我们的成员能够推动存储向前发展。

实现数据策略现代化

企业需要清楚认知自身的应用和架构需求,了解如何让数据融入其中,以便应对未来的数据挑战。之后,这些企业需要绘制一张清晰的路线图,以实现存储现代化,从而为他们的数据策略提供支持。另一种选择是抑制数据增长,但这会导致成本上升并错失商机。现代化策略的关键在于数据分层,而英特尔® 傲腾™技术通过模糊内存和存储之间的界限,采用全新的分层方法为实时和数据密集型应用提供支持。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 英特尔
    +关注

    关注

    60

    文章

    9412

    浏览量

    168769
  • 存储
    +关注

    关注

    12

    文章

    3854

    浏览量

    84651

原文标题:无处不在的数据是否让存储濒临崩溃边缘?

文章出处:【微信号:D1Net11,微信公众号:存储D1net】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    服务器数据恢复—V7000存储多块硬盘掉线导致存储崩溃数据恢复案例

    掉线,于是使用一块新的硬盘更换掉线硬盘并同步数据数据同步进行还不到50%的时候,该存储中又有一块硬盘掉线,存储崩溃,逻辑盘无法挂载,两块硬
    的头像 发表于 04-08 11:15 91次阅读
    服务器<b class='flag-5'>数据</b>恢复—V7000<b class='flag-5'>存储</b>多块硬盘掉线导致<b class='flag-5'>存储</b><b class='flag-5'>崩溃</b>的<b class='flag-5'>数据</b>恢复案例

    企业数据备份体系化方法论的七大原则:深入理解数据备份的关键原则:应用一致性与崩溃一致性的区别

    在数字化时代,数据备份成为了企业信息安全的核心环节。但在备份过程中,两个关键概念——应用一致性和崩溃一致性,常常被误解或混淆。本文旨在阐明这两个概念的差异,并分析它们在数据备份中的重要
    的头像 发表于 03-11 14:05 114次阅读
    <b class='flag-5'>企业</b><b class='flag-5'>数据</b>备份体系化方法论的七大原则:深入理解<b class='flag-5'>数据</b>备份的关键原则:应用一致性与<b class='flag-5'>崩溃</b>一致性的区别

    深入理解数据备份的关键原则:应用一致性与崩溃一致性的区别

    深入理解数据备份的关键原则:应用一致性与崩溃一致性的区别 在数字化时代,数据备份成为了企业信息安全的核心环节。但在备份过程中,两个关键概念——应用一致性和
    的头像 发表于 03-11 11:29 206次阅读
    深入理解<b class='flag-5'>数据</b>备份的关键原则:应用一致性与<b class='flag-5'>崩溃</b>一致性的区别

    【VSAN数据恢复】数据转移过程中断导致VSAN存储崩溃的恢复案例

    VSAN简介: VSAN存储是一个对象存储,以文件系统呈现给在vSphere主机上。这个对象存储服务会从VSAN集群中的每台主机上加载卷,将卷展现为单一的、在所有节点上都可见的分布式共享数据
    的头像 发表于 01-25 13:26 169次阅读

    服务器数据恢复—华为OceanStor存储raid5数据恢复案例

    服务器数据恢复环境: 华为OceanStor某型号存储存储内有一组由24块硬盘组建的raid5阵列,配置1块热备盘。 服务器故障: 该存储raid5阵列中有一块硬盘离线,热
    的头像 发表于 01-18 11:58 175次阅读
    服务器<b class='flag-5'>数据</b>恢复—华为OceanStor<b class='flag-5'>存储</b>raid5<b class='flag-5'>数据</b>恢复案例

    【服务器数据恢复】raid5崩溃导致同友存储无法启动的数据恢复案例

    服务器数据恢复环境: 一台同友存储存储上有一组raid5磁盘阵列,存储上层有若干台虚拟机,其中有3台linux操作系统虚拟机上存放重要数据
    的头像 发表于 01-02 13:28 120次阅读
    【服务器<b class='flag-5'>数据</b>恢复】raid5<b class='flag-5'>崩溃</b>导致同友<b class='flag-5'>存储</b>无法启动的<b class='flag-5'>数据</b>恢复案例

    什么是电压崩溃?产生电压崩溃的原因

    什么是电压崩溃?产生电压崩溃的原因  电压崩溃是指电源或电路中的电压突然下降或消失的现象。它可能由多种原因引起,包括电源故障、电路过载、电路短路、电缆接触不良、电子元件老化等。在本文中,我们将详细
    的头像 发表于 12-20 17:05 728次阅读

    阿里云崩溃损失大?华为云耀云服务器 L 实例为企业保驾护航

    十分重要。 从阿里云崩溃波及范围看,很多是数字电商、在线教育等中小企业,虽然崩溃时间不长,但是影响到了不少人的正常生活。对于这种中小企业数字化应用和转型升级,传统云服务器并不是最佳的选
    的头像 发表于 11-24 09:37 159次阅读
    阿里云<b class='flag-5'>崩溃</b>损失大?华为云耀云服务器 L 实例为<b class='flag-5'>企业</b>保驾护航

    服务器数据恢复-DS5300存储硬盘坏道导致阵列崩溃数据恢复案例

    服务器数据恢复环境: 某单位一台DS5300存储,1个主机+4个扩展柜,组建了2组RAID5(一组27块硬盘,一组23块盘)。27块盘的那组RAID5阵列存放Oracle数据库文件,存储
    的头像 发表于 10-10 14:33 277次阅读
    服务器<b class='flag-5'>数据</b>恢复-DS5300<b class='flag-5'>存储</b>硬盘坏道导致阵列<b class='flag-5'>崩溃</b>的<b class='flag-5'>数据</b>恢复案例

    存储数据恢复-硬盘故障离线导致存储崩溃数据恢复案例

    某单位一台存储,1个机头+4个扩展柜,有两组分别由27块和23块硬盘组建的RAID5阵列。其中由27块磁盘组建的那一组RAID5阵列崩溃,这组RAID5阵列存放是Oracle数据库文件。存储
    的头像 发表于 09-05 15:52 184次阅读
    <b class='flag-5'>存储</b><b class='flag-5'>数据</b>恢复-硬盘故障离线导致<b class='flag-5'>存储</b><b class='flag-5'>崩溃</b>的<b class='flag-5'>数据</b>恢复案例

    服务器数据恢复-EVA存储硬盘掉线的数据恢复案例

    通过大量磁盘的冗余空间和故障后rss冗余磁盘动态迁移来保护存储中的数据安全,但如果掉线磁盘越来越多,这种保护数据安全的能力会超过阈值,直至存储崩溃
    的头像 发表于 08-22 15:25 297次阅读
    服务器<b class='flag-5'>数据</b>恢复-EVA<b class='flag-5'>存储</b>硬盘掉线的<b class='flag-5'>数据</b>恢复案例

    求分享如何读取崩溃数据和调试异常的指导

    我想要有关如何读取崩溃数据和调试异常的指导。 有没有一种方法可以将崩溃中报告的内存地址与草图中的代码行相关联?有没有办法获得内存加载/链接符号映射? 最近崩溃的例子: 异常(0): e
    发表于 06-12 07:10

    同友存储raid5崩溃数据恢复案例

    同友存储,底层由数块物理硬盘组建的raid5磁盘阵列,存储池划分若干lun,每个lun下有数台虚拟机。
    的头像 发表于 05-05 14:30 421次阅读
    同友<b class='flag-5'>存储</b>raid5<b class='flag-5'>崩溃</b>的<b class='flag-5'>数据</b>恢复案例

    StorageWorks存储RAID5数据恢复案例

    某品牌StorageWorks存储设备,8块磁盘组建一组raid5磁盘阵列。存储中2块磁盘掉线导致阵列崩溃,经过检查发现掉线的2块磁盘均存在物理故障。
    的头像 发表于 05-04 16:51 374次阅读
    StorageWorks<b class='flag-5'>存储</b>RAID5<b class='flag-5'>数据</b>恢复案例

    微流控技术在DNA数据存储中的应用前景

    人类社会已进入信息爆炸时代,传统的数据存储媒介即将无法满足目前指数式增长的数据存储需求,因此亟需探索新一代
    的头像 发表于 04-27 09:50 848次阅读
    微流控技术在DNA<b class='flag-5'>数据</b><b class='flag-5'>存储</b>中的应用前景