0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

希捷CORTX加速对象存储创新,数据的开源普惠

工程师邓生 来源:中关村在线 作者:徐鹏 2020-11-30 14:38 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

数字经济正在成为现代社会发展的重要指标,数据作为数字经济体中的核心资源,也扮演着更加关键的角色。在指数级增长的数据规模背后,如何高效处理纷繁复杂的数据集和数据类型,是每家企业都在思考的问题,尤其是当非结构化数据变成了企业内部未经开发的“重要价值”。“数据中蕴藏着无尽的价值,企业的成功与数据价值的挖掘息息相关。希捷持续秉承开放、共享及合作的原则,进行技术突破和产品创新。”在Let’s Rethink Data希捷科技线上峰会上,希捷科技全球副总裁暨中国区总裁孙丹表示。

而希捷此次发布的对象存储软件CORTX和CORTX开源社区,就是开放合作和技术创新的最佳实践,同时,希捷还推出了融合基础架构解决方案Lyve Drive Rack。由此,CORTX也上升为公司的重要战略之一。根据希捷以IDC调研为基础发布的《数据新视界:从边缘到云,激活更多业务数据》报告,未来两年,企业数据将会以42.2%的速度增长。数据的多元化不仅对计算的异构性提出新需求,其密集型工作负载对数据的存储、治理、运营同样挑战巨大。CORTX的发布,简单来说就是帮助企业客户部署导入更为优化的数据存储架构。

无论是传统企业的数据挖掘和云化转型,还是互联网企业的超大规模数据中心建设,要想存储更多的数据,最直接的方法就是利用技术红利让硬盘存得更多、成本更低。但是落地到客户一侧,考虑到采购周期、部署成本、内部流程、操作难易度等因素,并不是每家企业都会在第一时间用上最新的产品,而软件化的交付和开源技术,则可以快速让客户使用大容量硬盘,有效降低TCO。要知道,以往软件+硬件绑定“卖盒子”的方式在一定程度上拖累了企业采用新产品的进度。

IDC预测,到2025年全球数据总量将达到175ZB。在企业组织的存储系统中,非结构化数据占据了数据总量的80%-90%。无论是金融行业的数据分析还是医疗行业的影像资料,亦或是教育行业的教学文档、媒体行业的音视频素材等等,都可以看到非结构化数据的影子。然而在非结构化数据高占比的趋势之下,仅有极少的数据被有效利用,其原因在于企业缺乏有效的使用途径,如对象存储曾被认为是一种仅用于合规、归档、次级或冷数据的存储,但如今并非如此。

事实上,已有越来越多的企业在使用对象存储支撑实时、智能化、高性能的工作负载,除了要满足性能和存储扩展性的需求,还要获得数据洞察以便更好地做出决策。与此同时,更好、更快的数据访问能够让非结构化数据成为营收增长的重要推动力。调查显示,只要数据可访问性增加10%,就能带来超过6500万美元的额外净收入。为了更好地激活数据,企业需要开放的架构、新的管理策略,来快速地整合并分析海量的、动态的数据。

“我们把CORTX开源之后,希望大家都可以在上面开发自己的对象存储应用,快速使用到希捷的大容量硬盘。”孙丹谈到,“我们是最了解大容量数据和软件兼容的供应商,我们可以完全不受硬件限制,客户只需要用我们的软件平台,当然用其它硬件也可以,我们已经针对大容量硬盘设计好了配套的对象存储软件平台。”由此,传统客户和服务商可以不受技术门槛的限制,第一时间使用到最新的存储技术和产品。

据了解,CORTX兼容swift、S3等主流云服务商使用的所有对象存储软件,在应用时可以混用不同容量硬盘,而不会影响性能和兼容性,实现利旧最大化。结合硬件参考解决方案,用户可以对硬件进行定制化配置,集成一些第三方组件,如针对I/O进行优化的软件等等。

借助CORTX,可以将HAMR、MACH.2等技术快速普惠到客户的业务场景中,大容量盘的替换可以在有限空间内大幅节省部署成本。以某客户部署可靠性11个9的对象存储集群为例,相较传统的Ceph,使用CORTX结合高密度存储硬件可让每TB造价降低一半。

与CORTX对象存储相结合,Lyve Drive Rack提供了一种紧密集成的融合基础架构解决方案,容量最高可达1.7PB,无需支付高昂的存储软件授权费用。Lyve Drive Rack能在一致的对象、键值、文档和集群中实现可扩展的性能,采用100%开源代码,可降低对固定供应商的依赖,并且不限供应商的管理界面,兼容SSPL和Redfish/Swordfish。

Lyve Drive Rack

希捷科技中国区资深解决方案工程师李蓁介绍称,希捷的对象存储解决方案在设计之初就针对AI机器学习等特性进行了调优,用户可以直接在CORTX上标注数据,内置的内存键值对能够做到高效检索。同时,Lyve Drive Rack还利用专有芯片大幅降低了纠删码使用时所需的配置内存,通过将纠删码卸载到专用ASIC以确保多层数据保护,实现了更大数据集的数据弹性。

从数据的端到端管理到数据运营,复杂的工作场景和多平台迁移对数据的采集、存储、分析提出了更高的要求,供应商不仅要应对指数增长的数据规模,还要解决企业内部和流程中的数据拉通和管理问题,并根据数据训练和推理给出预测。数据管理阶段,希捷会集成第三方组件,如CORTX部署硬件时结合VMware等解决方案,之后接入HAMR HDD,通过各类软硬件结合的形式覆盖数据的全生命周期。

“从一开始热度高的时候,我们可以结合第三方的组件来实现数据访问更高效的响应。”李蓁表示,“到了数据生命周期的中后期,可以通过CORTX软件,再把数据进行分层,把这些已经热度降低的数据存入到HDD硬盘里面,实现数据保存效率的提升以及成本的降低。”

CORTX可以帮助企业进行超大规模存储架构的应用和普及,实现有效、快速且经济地部署对象存储,打开数据新视界的新征程。据悉,希捷科技的8家中国客户与合作伙伴新华三集团、同有科技、宏杉科技、UIT创新科、五舟科技、鲸鲨软件、极道科技以及柏科数据等,将就CORTX开源软件与开源社区,与希捷展开更深层次的合作,共同提升对象存储解决方案。“希捷将继续与业界合作伙伴紧密携手,针对市场需求以及应用特点,共同推出更为定制化的、契合需求的解决方案,助力企业的数字化转型征程,为发挥数字生产力的极致价值而努力。”孙丹说。

责任编辑:PSY

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 希捷
    +关注

    关注

    2

    文章

    212

    浏览量

    42162
  • 开源
    +关注

    关注

    3

    文章

    4031

    浏览量

    45558
  • 对象存储
    +关注

    关注

    0

    文章

    69

    浏览量

    12413
  • 大数据
    +关注

    关注

    64

    文章

    9029

    浏览量

    143050
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    华为创新农网解决方案实现全民

    、新商业、新联接、新节能”五大场景化创新,携手产业伙伴共同促进网络领先、生态繁荣、服务,开启非洲移动产业下一个黄金十年。
    的头像 发表于 11-19 16:08 668次阅读

    华基础软件亮相2025世界互联网大会乌镇峰会

    11月7日-9日,以“共筑开放合作、安全的数智未来——携手构建网络空间命运共同体”为主题的2025年世界互联网大会乌镇峰会在浙江乌镇召开,华基础软件携开源智能驾驶操作系统微内核龘
    的头像 发表于 11-12 14:16 242次阅读

    中科天机开放共享全球高分辨率气象数据

    大模型、AI算力、数据集是推动新一代人工智能快速发展的三大关键要素。在大模型走向开源开放,AI算力实现平权的同时,发展高质量的数据集,并
    的头像 发表于 09-24 09:41 438次阅读

    保税仓库落户!江波龙加速构建存储开源创新生态链

    龙管理团队,鸿芯速航管理团队,以及产业链合作伙伴代表共同出席仪式。作为翠亨新区首家公用型保税仓,其不仅将提升中山存储产业园在存储开源创新合作方向的配套服务水平,更
    的头像 发表于 08-28 13:40 948次阅读
    保税仓库落户!江波龙<b class='flag-5'>加速</b>构建<b class='flag-5'>存储</b><b class='flag-5'>开源</b><b class='flag-5'>创新</b>生态链

    华基础软件荣膺优秀开源项目奖

    近日,2025上海开源创新菁英奖评选结果正式揭晓。华基础软件开源安全车控操作系统小满EasyXMen凭借在开源技术
    的头像 发表于 07-28 16:48 716次阅读

    开发者眼中的开源魅力

    在数字世界的基石之下,有一群人用热情与协作编织着开放的未来。他们来自五湖四海,投身于不同的开源项目,却共享着对技术的执着与对社区共建的信念。让我们走近四位活跃在开源鸿蒙、
    的头像 发表于 06-24 11:38 704次阅读

    开源鸿蒙助力新疆银行提升金融服务

    根据国家《十四五全国农业发展规划》全面推进乡村振兴战略、完善农村基础金融服务的要求,这款金融智能终端线上线下有机融合,在惠农、富农、裕农等场景中提供示范服务,为广大农村的智慧乡村建设与综合服务提供了基础服务支撑。
    的头像 发表于 06-23 13:43 707次阅读

    中兴通讯加速算力和AI应用普及

    网络连接和智能算力的领导者” 的战略愿景,全面投入AI,加速AI和ICT的融合,以AI技术赋能实体经济,加速算力和AI应用普及,助力千行百业迈向数智新时代的战略主张。
    的头像 发表于 05-06 14:10 758次阅读

    软通动力发起AI+财资化三大行动倡议

    化三大行动”倡议,并通过主题分享、案例研讨与场景化演示,共同探讨AI在智能风控、自动化结算、数据资产化等财资管理场景的创新应用。
    的头像 发表于 04-03 15:26 908次阅读

    联想集团领跑AI新时代

    近日,以“混合式AI 创新向未来”为主题的联想集团2025/26财年誓师大会在北京国家网球中心举行。大会现场,联想集团执行副总裁兼中国区总裁刘军发表《人智共创 领跑AI新时代》主题演讲。
    的头像 发表于 04-02 16:14 722次阅读

    华为加速AI时代数据存储产业发展

    近日,在华为中国合作伙伴大会2025上,华为数据存储产品线总裁周跃峰发表“共筑数智解决方案,共享数据存储产业大发展”主题演讲,深入探讨如何加速
    的头像 发表于 04-01 15:35 896次阅读

    华为全光网加速AI千行万业

    近日,在“华为中国合作伙伴大会2025”期间,华为光产品线总裁陈帮华发表了“无光不AI,全光网加速AI千行万业”主题演讲。他表示,各行各业都在积极拥抱AI,AI普及迫切需要光技术的广泛应用,光
    的头像 发表于 04-01 15:32 842次阅读

    科技云报到:科技潮流渐起,“开源”将带我们走向何方?

    科技云报到:科技潮流渐起,“开源”将带我们走向何方?
    的头像 发表于 02-17 12:34 457次阅读

    DeepSeek大模型携手广和通,加速AI化进程

    近期,国产大模型DeepSeek凭借其开放性、低训练成本以及端侧部署的显著优势,迅速崭露头角,成为增速最为迅猛的AI应用之一。这一突破性进展,为AI技术的化应用开辟了新路径。 值得注意的是,广
    的头像 发表于 02-11 14:47 1304次阅读

    对象存储是什么结构类型?

    对象存储属于非结构化数据存储架构,采用扁平化命名空间结构。其核心通过唯一标识符(ObjectID)定位数据
    的头像 发表于 02-10 11:14 690次阅读