0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

HCP的功能采用性能优化可更好地支持新一代非结构化数据工作负载

lhl545545 来源:DOIT 作者:DOIT 2020-09-10 11:00 次阅读

这里的“对象”指的是对象存储,互联网、云服务商应用比较广泛,行业企业用户相对陌生,行业用户普遍习惯使用NAS而不是对象存储。

与NAS相比,对象存储给人的印象应该是便宜,这在海量数据爆炸式增长的今天,对象存储的优势让人心动。但是也并没有想象中的“婚姻”美满,因为行业企业应用习惯架构在NAS平台上,对接对象存储就需要做出改变,这并不容易。

对于行业企业用户来说,NAS也并非长久之计。随着数据积累以及数据爆炸式增长,NAS存储和管理的文件数量指数级增长,当达到一定规模时,如上亿或者几十亿文件,就会出现性能断崖式下跌,因为NAS机头处理能力会成为瓶颈。

有没有更好的解决方案呢?

NAS/对象搭配 干活不累

分布式NAS是最容易想到的方案,但是技术比较复杂,成本也比较高。

Hitachi公司旗下数字基础架构和解决方案公司Hitachi Vantara,以HCP产品为核心,与分布式NAS领先厂商WekaIO(Weka)合作,对外提交端到端DFS和对象存储解决方案,提供了解决问题的新思路。

新的解决方案对数据进行冷热分层,热数据保存在全闪存高性能存储节点,温冷数据可以保存在S11、S31等大容量对象存储节点,实现数据在不同性能的节点间自由流动。数据以对象的方式保存,享有对象存储的价格优势,对于上层应用,可以通过WekaIO(Weka)支持NAS应用。

与市场上常见的对象存储方案相比,专业的HCP产品,容量密度更高,可以在4U机架空间内提供1.7PB存储容量。根据Hitachi Vantara提供的数据,用HCP构建S3对象存储服务,I/O性能(吞吐量)可以提升3.4倍,成本可以降低34%,这还没有计算数据中心机架空间、电力、计算资源节省带来的效益。

Hitachi Vantara对外也支持纯软件方案,实现了软硬件的解耦。

Hitachi Vantara中国区首席技术官吴卫平指出:Hitachi Vantara与Weka的全球OEM合作将会以高性能、NVMe原生、并行的文件系统增强HitachiVantara的产品组合,这一文件系统将会与HCP对象存储紧密耦合。这种高性能的NAS解决方案能广泛适用于各行各业的人工智能机器学习和分析应用程序。

“HCP的此次功能扩展采用性能优化的全闪存HCP节点,可更好地支持新一代非结构化数据工作负载。这些增强的功能可帮助客户在Amazon Simple Storage Service协议上实现与以往相比3.4倍的吞吐率,并降低多达34%的成本。” 吴卫平说。

用对象支撑起新天地

对象存储的价值,也并不依赖分布式NAS。

如今是多云的时代,以AWS S3对象存储服务为代表,为用户提供多种选择已成为主流趋势。Hitachi Vantara HCP这样的专业存储解决方案可以用来构建对象存储平台,构建私有云对象存储,但这需要用户运维和管理私有云平台。

对象存储适用于数据备份、文件共享等应用场景。

以内部文件共享为例,企业可以构建类似云盘这样的服务。文件被保存在云盘,支持企业员工共享和移动办公。但从企业管理、合规需求来看,企业首先考虑的一是文件使用权限管理,二是数据的安全可靠,如防止黑客入侵、对数据进行篡改。与勒索病毒相比,这种数据篡改手段更加隐蔽、不易察觉,造成的影响和危害也更为巨大。

采用对象存储平台,借助哈希256算法,用户可以自行对数据进行加密保护。加密保护后的数据,可以防止篡改,同时因为没有办法进行二次加密,因而可以抵御勒索病毒的困扰。

吴卫平指出:很多用户希望采用S3等公有云服务。在这种情况下,用户可以考虑把元数据(索引数据)以及加密后的公钥存储在本地HCP,将海量数据保存在云平台。一来可以享用公有云平台的廉价,同时也不失去对于数据的管控。未来,当用户因为成本的原因,需要对数据进行迁移的时候,主动权完全掌握在用户自己的手里,不会完全受制于云服务商。

小结

从SAN到NAS再到对象存储,存储技术的创新是随数据规模的变化而不断发展的。各种形态的存储产品并不是简单的替代关系,每一次新的存储形态出现都是为了解决不断出现的新问题,就像NAS比SAN在技术上更适合文件的共享与存储,但并不会完全替代SAN;SAN仍然是数据库等结构化数据的首选,同时仍然可用于存储少量的文件类数据。

当用户的非结构化数据达到一定规模,或者文件数据达到一定量级的时候,对象存储需求将是自然而然的事情。男大当婚,女大当嫁,合理的人生目标和规划,将是幸福美满的保护神!

早日选择对象存储,防患于未然!
责任编辑:pj

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • NAS
    NAS
    +关注

    关注

    11

    文章

    225

    浏览量

    111868
  • 数据备份
    +关注

    关注

    0

    文章

    54

    浏览量

    11660
  • 云服务
    +关注

    关注

    0

    文章

    751

    浏览量

    38631
收藏 人收藏

    评论

    相关推荐

    结构化布线的好处多吗

    考虑将这种布线纳入网络基础设施中,以优化性能和生产力。 结构化布线的好处 • 增强的可靠性:结构化布线通过最大限度地减少错误和故障点来确保可靠的网络基础设施。正确安装和组织的布线可以降低信号干扰、
    的头像 发表于 04-07 11:15 134次阅读

    鸿蒙语言ArkTS(更好的生产力与性能

    风格的基础上,进步通过规范强化静态检查和分析,使得在程序运行之前的开发期能检测更多错误,提升代码健壮性,并实现更好的运行性能。 针对JavaScript(简称JS)/TS并发能力支持
    发表于 02-17 15:56

    CFD 设计利器:结构化和非结构化网格的组合使用

    在CFD的发展历史中,结构化网格出现最早,至今仍在使用。结构化网格有几个主要优点,如精度高、生成速度快、单元分布均匀。有些工具擅长绘制这类网格,例如CadenceFidelityAutomesh
    的头像 发表于 12-23 08:12 403次阅读
    CFD 设计利器:<b class='flag-5'>结构化</b>和非<b class='flag-5'>结构化</b>网格的组合使用

    国产六核CPU,三屏异显,赋能新一代商显

    采用AEC-Q100车规级芯片工艺,并且通过ISO26262 ASIL_B功能安全认证,是国产高性能芯片的代表作。米尔电子与芯驰科技(SemiDrive)强强联合,基于芯驰D9-Pro高性能
    发表于 12-22 18:07

    使用关系数据库中的半结构化数据

    NoSQL革命已经进入了关系世界。您可能正在使用关系数据库,但仍必须查询和理解隐藏在文本列、JSON或 XML文档中的半结构化数据
    的头像 发表于 12-20 10:46 274次阅读
    使用关系<b class='flag-5'>数据</b>库中的半<b class='flag-5'>结构化</b><b class='flag-5'>数据</b>

    TI 新一代明星CPU

    是 TI 新一代明星CPU,完美接替上一代AM335x,拥有更强劲的性能,让你的应用变得轻松自如。 AM62x处理器适用于医疗、工业HMI、自动
    发表于 12-15 18:59

    对与性能比较低的51单片机,结构化编程性能提升多少?

    对与性能比较低的51单片机,结构化编程性能提升多少
    发表于 10-26 06:21

    labview数据采集处理,在数据结构后接个生产—消费循环结构,如何优化第二个事件可以触发

    ,这样可以实现第二个事件触发。但我想请教各位大神,有没有更好的逻辑结构可以优化整个代码结构呢。功能
    发表于 10-18 21:01

    结构化道路环境中的视觉导航系统详解

    根据结构化道路环境的特点提出了种将边沿检测和道路环境知识相结合的机器视觉算法 , 并结合基于行为响应的路径规划方法和智能预瞄控制方法 , 实现了套基本的机器人视觉导航系统 . 在自主机器人实验
    发表于 09-25 07:23

    STM32U599平衡图显性能与功耗的新一代产品

    STM32U599平衡图显性能与功耗的新一代产品,内容包含: STM32U5x9 的高性能与高阶图形加速器 、STM32U5的矢量图形 、STM32U5x9 的低功耗设计 、LPBAM - sensor hub等。
    发表于 09-05 07:21

    优化性能:使用基于闪存的存储的I/O密集型工作负载

    电子发烧友网站提供《云优化性能:使用基于闪存的存储的I/O密集型工作负载.pdf》资料免费下载
    发表于 08-28 10:04 0次下载
    云<b class='flag-5'>优化性能</b>:使用基于闪存的存储的I/O密集型<b class='flag-5'>工作</b><b class='flag-5'>负载</b>

    如何提高数据仓库的性能优化设计

    。  本系统主要功能是利用oracle9i所提供的技术:分区、实体化视图 和 查询重写来实现数据仓库的性能优化:用户自己建表、视图并进行查询比较;比较是否
    发表于 07-18 16:10 0次下载

    结构化数据结构化数据(2)#大数据分析

    数据
    学习硬声知识
    发布于 :2023年07月11日 13:57:24

    结构化数据结构化数据(1)#大数据分析

    数据
    学习硬声知识
    发布于 :2023年07月11日 13:56:39

    使用结构化的PLC变量的工作原理

    要创建结构化的 PLC 变量,首先需要定义一个 PLC 数据类型 (UDT)。 并在该数据类型中声明所需的数据元素并指定它们的名称和数据类型
    发表于 07-10 12:47 568次阅读
    使用<b class='flag-5'>结构化</b>的PLC变量的<b class='flag-5'>工作</b>原理