0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

新数据时代行业应用场景日益细化带来新挑战

浪潮存储 来源:lq 2018-12-13 09:18 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

当AlphaZero在2018年12月登上顶级期刊Science的封面——基于神经网络在数据和算法上的突破以及5000个TPU提供的强大算力,AlphaZero从零训练8小时击败最强围棋AI(李世石版AlphaGo);当自动驾驶、人脸识别、4K/8K以及VR 2K等加速商用……接踵而来的新应用催生了新数据时代的到来,指数级增长的数据需要存储做出根本性改变。

12月11-12日,2018中国存储与数据峰会(DSS2018)在北京国际饭店举办。浪潮存储研发总监李辉在现场做了题为“新数据时代,新存储之道”的主题演讲。李辉表示:“当前,客户和组织已经走入了一个由数据变化带来的新数据时代,数据在数据形态、 部署环境、应用模式和价值需求四大方面均出现了更为精细化的需求,并在不同行业和场景中出现了更为差异化的体现。在这一时代下,应用不仅是把基础设施的资源价值最大化地挖掘出来,更需要把整个数据资源——无论是关键数据还是沉睡数据的价值都能够最大化地挖掘、贡献出来。”

新数据时代,新存储之道

新数据时代 行业应用场景日益细化带来新挑战

根据IDC预测,随着数据的指数级增长,全球数据总量预计2020年达到44个ZB,中国数据量将达到8060个EB,占全球数据总量的18%。随着数据量的增长,数据类型的多样性和数据源也在增加,因而提高了IT基础设施的复杂性。

5G云计算物联网、大数据、人工智能区块链……不断发展的新技术逐渐让世界连成了一张大网,并驱动了自动驾驶、人脸识别等大量新应用的涌现。而IT新技术的连续性迭代,更加速推动了物理世界与数字世界的融合,构建了一个新数据时代。在新数据时代下,各个垂直行业的业务需求呈现新的特点,并为IT和存储带来新需求特点,存储系统也在架构、容量、性能和管理上面临更为差异化的挑战。

例如,在超大规模的互联网云数据中心和企业的中大型数据中心里,服务器变得越来越多,数据计算集群和处理应用的集群规模都非常大,会用虚拟化技术跑各种各样的应用,在这样的虚拟化环境下,存储需要支撑上万台的物理机和数十万台虚拟机的运行,这成为当今存储碰到的一大挑战。

云计算、大数据、AI等新技术驱动数据存储变革

在AI应用中,要拿到很多原始的数据进行标记、处理,如从视频、图片、语音、文本里拿出数据,从而会拿出很多小文件进行模型训练,有时一个大型AI应用需要处理的小文件会达到万亿级别,这同样对存储的性能提出挑战。

再以行业应用为例,在科研与航空卫星行业,以生物科学研究为代表的科研应用和航空航天卫星技术的持续升级,带来了越来越精细化的应用需求,实时处理、极速响应成为常态。在广电媒资行业,从4K到8K到VR 2K,一方面观众对高品质、零等待的浸入式体验追求了无止境,另一方面短视频、直播平台等新产业发展,亟需广电企业进行多元化融合,以提升用户粘性、实现资源整合和创新。这一切,不仅对存储提出了容量、性能、架构及管理上的新挑战,并且要求供应商必须以场景化应用为核心,驱动产品技术与解决方案的开发。

“场景驱动开发” 赋能浪潮超大规模软件定义存储

浪潮聚焦新数据时代的新数据形态、新部署环境、新应用模式和新价值需求的“四新”产业趋势,以超大规模软件定义存储(Large-ScaleSDS)满足新数据时代的EB容量、亿级IOPS、弹性架构及智能管理需求。

由于容量和性能能够随着非结构化数据的增长实现线性扩展,软件定义存储将成为新数据时代的主要存储方式。这一观点得到了分析机构的印证。据Gartner调研,目前大约40%的企业数据存储在可横向扩展的企业数据中心或云数据中心,到2022年,这一比例将超过80%。据IDC预测,2017年至2021年,全球软件定义存储(SDS)市场年复合增长率将达到13.5%,2021年营收达到约162亿美元。

基于对新数据时代市场需求的洞察,浪潮积蓄力量持续发力Large-Scale SDS。李辉表示,浪潮SDS在技术上的优势在于,依托“软件定义+硬件重构”理念,面向客户的实际应用,对软件和硬件进行集成测试,并对整个研发过程的性能、可用性、适用性等进行严格控制,实现软硬件紧密协同,最大程度发挥软件定义存储的效能,以“极致容量、极致性能、极致简单”满足新数据时代存储在容量、性能、架构及管理上的需求。

浪潮超大规模软件定义存储

当然,在当今复杂的应用环境下,单纯发力技术,是无法适配和支撑用户大规模海量数据应用的。浪潮SDS可以作为应用场景群和技术场景群的桥梁,以场景为核心深度优化,把场景间的个性需求、场景内的共性需求、及其对应的最优技术实现路线和方案,在浪潮SDS上真正实现,从而保障各种场景的个性化需求真正得到满足。浪潮SDS力图做到“个性化量产”,为各类有个性需求的场景进行定向深度开发和优化,可以针对EB级数据的处理进行定制开发与战略合作。

例如,通过与交通领域合作伙伴在平安城市应用方面的交流,浪潮以插卡的模式,将GPU引用软件定义存储产品中,合作伙伴由此可以抽取图像帧对视频图像进行大数据分析。又如,为满足广电媒资视频云对云数据中心统一管理的需求,浪潮对管理接口进行深度开发。再如,在动漫制作领域,浪潮基于软件定义存储AS13000为用户的动漫影视制作提供了千万级小文件并发的SDS大平台。

翻开浪潮存储的PB级大工程名单,可以看到软件定义存储AS13000实现了在某资源中心一套70PB、某运营商数十套每套PB级系统、某省政务云90个节点、20PB容量、成都三环路视频监控系统中108节点、20PB容量、广电总局141个节点、10PB的云平台、华强方特5PB、千万级小文件并发性能的动漫制作平台、中石油东方物探34个节点、5PB容量的高性能计算平台的应用部署。

正因为将应用与技术在浪潮的软件定义存储产品上实现了对接,浪潮连续3年浪潮软件定义存储销售额同比增长超100%,在金融、通信、政府、企业、互联网、媒资、医疗、教育等行业,进行了众多大规模部署。2018年,浪潮存储入围Gartner分布式存储魔力象限。

李辉分享软件定义存储的PB级大工程

李辉表示,过去3年,浪潮累计投入超过10个亿,倾力开发浪潮新存储,重构原有架构,满足以智慧场景为代表的应用。未来,浪潮存储将继续坚持以“数据与介质的连接者”形象,帮助企业更好的掌握“新数据时代”下的新场景,让企业和组织用好“新”数据,在市场上占得先机。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 神经网络
    +关注

    关注

    42

    文章

    4842

    浏览量

    108158
  • 云计算
    +关注

    关注

    39

    文章

    8042

    浏览量

    144756
  • 大数据
    +关注

    关注

    64

    文章

    9096

    浏览量

    144054

原文标题:新数据时代,做好数据与介质的连接者

文章出处:【微信号:inspurstorage,微信公众号:浪潮存储】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    Atmel XMEGA A4微控制器深度解析:功能特性、应用场景与技术挑战

    Atmel XMEGA A4微控制器深度解析:功能特性、应用场景与技术挑战 引言 在当今电子设备飞速发展的时代,微控制器作为电子系统的核心,其性能和功能直接影响着产品的整体表现。Atmel
    的头像 发表于 04-06 16:35 1084次阅读

    工业物联网平台典型应用场景深度分析报告

    工业物联网平台作为工业数字化转型的“操作系统”,其价值并非抽象概念,而是通过一系列具体、可量化的应用场景实现的。本报告将从“横向通用场景”与“纵向行业场景”两个维度,深入剖析IIoT平
    的头像 发表于 02-01 14:38 680次阅读

    EMI测试系统:5G时代挑战,如何护航全行业电磁兼容

    南柯电子|EMI测试系统:5G时代挑战,如何护航全行业电磁兼容
    的头像 发表于 01-13 09:52 724次阅读

    Neway电机方案在电机控制的应用场景

    Neway电机方案在电机控制的应用场景Neway电机方案在电机控制领域的应用场景广泛且效果显著,其核心优势在步进电机、伺服电机控制及CNC机床主轴驱动等场景中得到了充分验证。一、步进电机与伺服电机
    发表于 01-04 10:10

    请问C语言中整形溢出对哪些应用场景影响较大?

    C语言中整形溢出对哪些应用场景影响较大
    发表于 12-24 08:24

    请问MOSFET在电源管理中有哪些应用场景

    MOSFET在电源管理中有哪些应用场景
    发表于 12-23 07:07

    Switch的应用场景

    Switch的应用场景如下: 调用一到多个函数 设置变量值或者返回一个值 执行一到多个代码片段 如果case标签很多,在switch的前两个使用场景中,使用查找表可以更高效的完成。例如下面的两种
    发表于 12-12 07:28

    蓝牙网关是什么?都有哪些功能?应用场景有哪些?

    点,更构建起“设备互联-数据流转-智能管控”的完整链路,成为物联网生态中不可或缺的核心组件。本文将系统解析蓝牙网关的核心价值、技术架构、应用场景、现存挑战及未来趋势,为读者呈现这一关键技术的全貌
    发表于 12-11 15:21

    CW32L083有哪些应用场景

    CW32L083有哪些应用场景
    发表于 11-24 07:37

    请问CW32L011有哪些应用场景

    请问CW32L011有哪些应用场景
    发表于 11-17 06:25

    CW32L0系列都有哪些应用场景?有哪些优势?

    目前芯源的低功耗MCU比较火爆,就是CW32L0系列都有哪些应用场景?有哪些优势?
    发表于 11-14 06:03

    小型自动气象站:精细化气象监测的技术革新与应用拓展

    小型自动气象站:精细化气象监测的技术革新与应用拓展 柏峰【BF-QX】随着气象服务向“精细化、精准化、智能化”升级,传统气象观测站点密度不足、覆盖范围有限的问题日益凸显。小型自动气象站作为一种集成化、低功耗、易部署的气象监测设备
    的头像 发表于 10-23 10:53 910次阅读
    小型自动气象站:精<b class='flag-5'>细化</b>气象监测的技术革新与应用拓展

    Leadway微波产品有哪些应用场景?

    。Leadway微波产品的应用场景如下:5G/6G通信测试毫米波基站与终端设备测试:Leadway的测试级柔性/铠装毫米波线缆(DC-110GHz)支持高频段信号传输与校准,确保通信质量。其低插损特性
    发表于 09-26 09:14

    RFID 技术在医疗行业细分场景的深度应用与变革

    优势,为医疗行业的精细化管理带来全新可能,在多个细分场景中发挥着不可替代的作用。 医疗布草管理:减少损耗,提升效率 医疗布草,包括医院的床单、被罩、手术服等,数量庞大且使用频繁。传统管
    的头像 发表于 08-14 17:24 979次阅读

    东软入选2025 IDC中国金融行业技术应用场景创新案例

    近日,在国际数据公司(IDC)主办的2025年IDC中国数字金融论坛上,东软和万事达卡联合打造的“信用卡多跨数据智能运营分析与赋能平台”项目,成功入选IDC(中国)金融行业技术应用场景
    的头像 发表于 08-14 16:01 1200次阅读