0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

IBM为百度智能云提供存储解决方案,助推进向降本增效的目标迈进

牵手一起梦 来源:至顶网 作者:任新勃 2020-06-03 17:26 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

在数字经济时代,海量的数据成为数字经济的重要生产要素。特别是受新型冠状病毒疫情影响的2020年,线下的生产和生活迅速的转移到了线上,相应的让数据再次迎来另一波快速增长。

对于像百度智能云这样的云厂商,海量的数据既是资产也是压力,在压力方面面临着包括存储能力和算力等资源方面的挑战。

“尤其是今年一季度,百度智能云很多的云服务都是在扩容,都是在加班加点来满足客户的需求,包括娱乐类、会议类、教育类等等,这对我们的挑战也比较大。过去的过去9个月,百度智能云已经用了10万盘磁带,存储900多PB数据。”百度智能云副总经理谢广军分享到。

这些海量数据的存储对于百度智能云来讲,最大问题是如何降低高昂的存储成本。一方面互联网公司数据量越来越大,数据保存成本负担太重,需要大量扩展其搜索引擎和云存储。另一方面数据的合规保存。国家对互联网行业的管理要求越来越严格,多数数据必须有归档。同时,国家对互联网日志类数据保存时长要求超过10年。

百度智能云对于海量数据需要按照读写频率和冷热数据等特性对于存储进行不同层次的布局,“我们希望提供透明化的生命周期的管理。从产生的初期的热数据到系统感知到其访问频率降低,再到没有太多的访问,可以做到从高性能的存储平台到冷存储平台低成本存储。同时,这些数据需要调用的时候,能比较快被调用出来。” 谢广军讲到。百度智能云需要一种既能降低成本,又能在其庞大的分布式文件系统中提供透明IO的解决方案。

百度智能云一方面基于新一代存储介质打造高性价比存储产品,一方面重视软硬件结合的方案,搭建分布式存储的系统。据了解,百度把高IO的数据读取放在持久内存型的存储系统,打造基于NVMe+RDMA技术,提供单盘百万级IOPS及千MBps吞吐高性能SSD云磁盘。与此同时,百度基于IBM磁带库平台,实现EB级磁带规模应用,这也是国内第一家上线磁带归档服务的云平台。

如何管理海量的数据?

可以看到,百度智能云需要一个弹性的高性价比的存储解决方案来管理其数据存储。IBM为百度智能云提供了融合Spectrum Scale、Spectrum Archive和Tape介质的存储解决方案,通过IBM的归档存储技术,百度智能云的对象存储在产品实力上有了很大的增强。在过去的一年里,百度智能云与IBM一起攻克了许多技术的瓶颈,实现了业务永续化经营,保证数据安全,帮助百度智能云进一步朝降本增效的目标迈进。

IBM存储一直聚焦在为客户提供统一的数据管理平台。当企业面对云上、云下的不同的应用的时候,IBM存储基于统一的数据平台,来确保企业数据的安全、共享和按需供应。“无论您今天是块存储、文件、对象还是磁带,IBM存储解决方案可满足客户非常广泛的应用和使用的场景。无论您今天数据放在百度云上或者其他的公有云平台上,都可以有一个非常灵活的选择。” IBM大中华区系统部存储系统总经理吴磊。

对于百度智能云来讲,磁带近线存储资源池的建成极大地提高了IT对业务的支持力度,满足了业务对低成本、低功耗、高空间数据密度,绿色数据中心的存储需求。过去9个月,百度用了10万盘磁带,存储900多PB数据,归档存储产品相较普通存储的成本降低了85%。

IBM归档存储适用于多种业务场景。“比如在视频这个领域,大家在互联网视频里面去分发的,不管是短视频还是长视频,都是转码后的视频。不管是UGC,尤其是PGC产生的内容,很大、很高清的远视大文件,这些文件转码后不再使用了,这种场景就很适合归档存储,这也是数据资产,我们需要保存起来。” 谢广军举例说明。在IBM的帮助下,百度智能云在过去一年中积累了丰富的业务应用场景。另外还有石油勘探、医疗影像、基因测序分析和物联网相关的数据等也可以放在归档存储上。

同时,基于IBM Spectrum Scale(原GPFS)存储软件方案,IBM还在数据孤岛之间建立高效、安全、稳定的数据管道,这对业务本身的数据流通和融合提供很大的帮助。对于百度智能云来讲,统一接口屏蔽介质差异,使得百度的数据在整个生命周期中流转更顺畅,业务可以0成本获得更高性价比。

使用IBM的归档存储技术之前,百度智能云的对象存储分为高性能存储、标准存储和低频存储,这些其实是基于磁盘的。相比之下,有些客户提出需要更高的性价比、保存时间更长的存储产品与服务。此时引入IBM的技术则为百度智能云打造下一个阶梯的存储产品带来了能力补充,补齐了百度智能云存储产品矩阵的最后一块“积木”。同时IBM归档存储技术还做到了磁带作为近线存储,通过整套部署,库体满配,磁带不出库就可以对磁带数据进行不定期访问。

对于百度智能云来讲无论是支撑其内部的业务,还是外部客户的业务,需要7×24小时近线存储。IBM归档存储技术可以实现在一到两分钟之内读到几十TB的一个磁带数据,过去是很多客户不可想象的。

可以说基于IBM存储分布式系统结合百度智能云自己的分布式文件系统。就能够实现百度智能云对外服务的温、热、冷,几种不同的数据通道打通,数据根据自己的生命周期自由去流动。

责任编辑:gt

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • IBM
    IBM
    +关注

    关注

    3

    文章

    1853

    浏览量

    76780
  • 数据
    +关注

    关注

    8

    文章

    7314

    浏览量

    93981
  • 存储
    +关注

    关注

    13

    文章

    4693

    浏览量

    89569
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    炸裂!为什么各行各业都纷纷拥抱物联网 + 智能?有人硬核方案降本增效爽到飞起!

    的 “转型加速器”——究竟是什么让企业趋之若鹜? 一、降本增效:从 “经验管理” 到 “数据驱动”,有人方案直击企业痛点 企业最核心的诉求永远是 “少花钱、多办事”,而物联网的本质就是用数据打通生产堵点,有人智能
    的头像 发表于 11-27 17:28 67次阅读

    触拓科技工控一体机:智能工厂降本增效的核心引擎

    - 仓储” 全链路数字化解决方案,凭借工业级稳定性能与高效协同能力,成为智能工厂的 “数字神经末梢”,助力企业降本增效
    的头像 发表于 11-21 17:51 191次阅读
    触拓科技工控一体机:<b class='flag-5'>智能</b>工厂<b class='flag-5'>降本增效</b>的核心引擎

    停车场照明焕新记:晶映节能改造的降本增效实践​

    晶映节能停车场照明改造以技术创新破传统困境,通过智能感应与数字化管理,实现电费大降、维护成本锐减,同步提升安全与用户体验,彰显降本增效深层价值。
    的头像 发表于 08-21 16:18 577次阅读
    停车场照明焕新记:晶映节能改造的<b class='flag-5'>降本增效</b>实践​

    65%央企大模型落地首选百度智能

    今天,很荣幸地分享一个好消息,百度智能已牵手65%的央企,共同推进大模型产业落地。得益于全栈的AI能力,百度联合众多央国企伙伴,针对各类不
    的头像 发表于 06-11 15:44 740次阅读

    百度地图重磅发布地图AI开放平台

    近日,在WGDC25全球时空智能大会上,百度地图重磅发布地图AI开放平台。百度地图深耕20年的数据能力、引擎能力与AI技术全面开放,开发者深度开放四大核心能力和五大场景
    的头像 发表于 05-26 11:26 1381次阅读

    基于网关与平台的工厂车间能耗数据采集解决方案

    方案通过御控工业网关+平台的架构,实现车间能耗数据的全流程实时采集、智能分析与优化控制,助力企业降本增效
    的头像 发表于 05-22 16:22 417次阅读

    IBM探索AI驱动的降本增效新路径

    AI 驱动已成为企业降本增效的战略级引擎,其价值实现不在于技术本身,而在于与业务场景的深度融合。IBM 咨询提出的"战略规划+运营管理"双轨并行模式,突破传统单点优化的局限,构建
    的头像 发表于 05-22 15:29 767次阅读

    降本增效利器!揭秘流程行业MES解决方案的5大核心应用场景

    在流程行业的数字化转型中,MES解决方案是实现降本增效的关键技术。以下是流程行业MES解决方案的5大核心应用场景:精准工艺参数控制:流程生产中,温度、压力、流量等工艺参数直接决定产品质量和生产效率
    的头像 发表于 05-20 14:44 466次阅读
    <b class='flag-5'>降本增效</b>利器!揭秘流程行业MES<b class='flag-5'>解决方案</b>的5大核心应用场景

    福田欧曼银河5助力物流运输行业降本增效

    力革新到轻量化重构,从能耗优化到驾驶关怀,每一处设计都在真实场景中兑现“多拉快跑、少花多赚”的承诺,物流运输行业打造降本增效的全新解决方案
    的头像 发表于 05-20 09:23 765次阅读

    PLC远程维护上下载,降本增效减少出差的利器

    解决方案设备制造商、运维服务商带来降本增效、减少出差的效益价值。 实现方法 1.工业智能网关的桥梁作用 以数之能工业智能网关
    的头像 发表于 05-19 11:17 404次阅读
    PLC远程维护上下载,<b class='flag-5'>降本增效</b>减少出差的利器

    百度地图与雅迪推出组合屏智能导航解决方案

    近日,百度地图与雅迪正式达成合作,共同推出组合屏智能导航解决方案,重新定义出行体验,实现“所见即所达”。
    的头像 发表于 04-08 15:22 962次阅读

    百度智能发布昆仑芯三代万卡集群及DeepSeek-R1/V3上线

    支持,同时有效提升了百度和客户的资源整体利用率,降低大模型训练成本,推动了模型降本的趋势,整个行业提供了新的思路和方向。 02百度
    的头像 发表于 02-11 10:58 960次阅读

    百度智能四款大模型应用接入DeepSeek

    近日,百度智能旗下四款重量级大模型应用产品——客悦、曦灵、一见、甄知,正式迎来了全新升级,接入了先进的DeepSeek模型。这一重要更新,标志着百度
    的头像 发表于 02-10 18:00 1123次阅读

    百度与阿里上线DeepSeek模型部署服务

    近日,百度智能云和阿里相继宣布上线DeepSeek-R1和DeepSeek-V3模型的部署服务,开发者和企业用户提供了更加高效便捷的AI
    的头像 发表于 02-05 15:40 1168次阅读

    百度智能点亮昆仑芯三代万卡集群

    近日,百度智能宣布成功点亮昆仑芯三代万卡集群,这一成就不仅在国内尚属首次,也标志着百度在人工智能算力领域取得了重大突破。据了解,
    的头像 发表于 02-05 14:58 989次阅读