电子发烧友网 > 存储技术 > 正文

计算存储将会以怎样的形式重振

2019年11月28日 17:10 次阅读

存储厂商NGD Systems公司副总裁Scott Shadley在一次专题访谈中,探讨了SNIA计算存储(CS)工作组自成立以来的技术进步。Scott Shadley除了担任NGD Systems副总裁的职位外,Scott还是存储网络行业协会(SNIA)的董事会成员。

标准组织推出的新技术获得“官方定义”并不多见。但要获得这样的“定义”,这项技术需要相当大的突破。因此,希望正式引入计算存储(CS)——这是一种淘汰传统计算机存储技术的存储架构,以提供一种更快、更经济、更省电的方式来存储和分析PB字节的数据。

企业存储的发展

简而言之,计算存储是一种IT架构,其中数据在存储设备级别进行处理,以减少必须在存储和计算平台之间移动的数据量。因此,该技术提供了一种更快、更高效的方法来应对数据密集型世界的独特挑战,通过减少数据移动和允许对分析的响应速度高达20到40倍来满足减少的多余带宽,并提供非常低的延迟响应时间。

如果考虑一下企业存储的发展历史,计算存储的发展速度是适当的。得益于NVMe和NVMe Over Fabrics辅助的新闪存技术,该技术的发展越来越快。当今的数据中心(包括超大规模数据中心)主要依赖于使用冯·诺依曼体系结构的基本方法构建的传统服务器硬件,冯·诺依曼体系结构适用于几乎所有通用服务器,是具有70年历史的计算机体系结构,坦率地说,这种体系结构多年来从未经历过太多的变化。

计算存储将会以怎样的形式重振

而一些新方法并没有取得太大的成功。现在有了诸如人工智能和机器学习之类的应用程序,这些应用程序需要大量的原始数据(结构化和非结构化),这些数据需要高计算能力来“学习”,因此计算能力已成为瓶颈。在传统的横向扩展模型中,此问题通过添加节点来解决,从而获得更多的分布式计算能力和更多的内存。不幸的是,从投资成本和运营成本角度来看,添加服务器节点的成本很高。添加更多节点还增加了互连的长度,从而增加了数据移动和分析所需的时间。

计算存储这种技术可以将传感器(例如自动驾驶汽车、视频监控摄像头、交通信号灯)中的原始信息巧妙地组织为有意义的数据,因为缺乏移动性可以促进实时数据分析,从而通过减少输入来提高性能/输出瓶颈。随着人工智能、机器学习、物联网工作负载涌现出惊人的数据量(IDC公司的研究表明,到2025年,数据总量将超过163 ZB,其中95%是由物联网设备生成的),这项新技术是真正缺失的环节。

调研机构Dimensional Research公司最近对300多位计算机存储专业人员进行的一项调查揭示了这一挑战,表明存储瓶颈可能发生在10 TB以下。这样,计算存储可以提供更强大的处理能力来辅助每个主机CPU,从而使组织可以提取其可以生成的所有数据,并仅提供真正需要的数据,从而使“管道”尽可能保持开放。这样一来,就可以收集更多分析所需的原始数据,并为组织提供仅从该数据中提取实现价值所需的自由。在比较中,当组织必须处理整个数据集时,就会延误增值。这种方法可最大程度地提高效率,减少功耗,并降低运营成本。这种“分类、转换、发送”方法使快速、全面和有意义的实时数据应用成为可能。

计算存储的官方定义只花了一年时间就制定出来了,这是一个相当迅速的过程,证明了对这种截然不同的计算机存储技术的迫切需求。一年多前,存储网络行业协会(SNIA)召开会议,研究如何围绕计算存储技术定义和制定标准。SNIA是一个非盈利组织,由198家信息技术领域的成员公司组成。经过几个月的会议和一些辩论,他们现在已经制定了官方定义:

•“计算存储体系结构可通过集成计算资源(直接与存储、存储附近或主机与存储之间)集成来提高应用程序性能和/或基础设施效率。这些计算资源不在传统的计算和内存体系结构之外。

•这些体系结构的目标是:启用并行计算;减少I/O流量;减轻对现有计算、内存、存储和I/O的其他限制。”

受益于计算存储的行业

当将计算存储应用于多个用例时,将变得更易于理解。要求计算存储技术强大和高效的行业示例是新型“智能”汽车和即将推出的全自动驾驶汽车,这些汽车必须处理数据负载(每天高达28TB)以进行分析,否则可能会影响驾驶员的安全性。一些设计计算存储架构的公司已经能够提供利用小型化技术的技术,该技术可以与SSD硬盘一起使用来处理数据负载。这在空间受限的边缘相关(例如汽车)中效果很好。但是,尽管外形尺寸很大,计算存储解决方案仍可以将功能提高20倍甚至更多,并且使支持人工智能的系统能够以前所未有的方式读取和分析数据。

在数以千计的物理服务器和数百万个虚拟机上运行的超大规模数据中心(例如AWS的数据中心基础设施)必须并行执行各种工作负载。这些超大规模数据中心开始使用计算存储驱动器(CSD)来处理PB级的数据,同时也带来了体积小、功耗低但仍具有巨大计算能力的更小尺寸的优点。这样,体积小巧但功能强大的计算存储驱动器(CSD)可以帮助提高超大规模架构的计算能力,这些超大规模架构将机器用于人工智能(AI)和机器学习(ML)应用程序,而这些应用程序通常需要诸如实时、复杂和并行索引的操作和模式匹配。

例如,出于欺诈检测目的而需要实时分析大量数据以获取销售点数据的零售企业,也可能会受益于计算存储更快的响应时间。Storage Switzerland公司发布的调查报告指出,“这些应用程序必须在执行分析请求之前扫描大量数据,以识别与查询相关的信息子集。将大量数据移出存储系统,跨网络并移入主机内存会导致时间和延迟损失,这是实时分析应用程序无法承受的。”

内容交付网络(CDN)是利用计算存储技术的另一个市场。在这里,该技术可以帮助进行加密/数字版权管理(用于验证用户可以访问内容)。在这种情况下,计算存储通过安全地解内容而不共享密钥来提供更好的数据管理。这种将每个服务器机架的密钥匹配提高40倍的能力仅仅是这项工作的开始。

总结

事实上,在当今数据密集的世界中,更少的数据移动是至关重要的。数据移动的成本不仅仅是时间,还有资源,有时还会浪费分析资源。现在是采取下一步存储和实施NVMe计算存储驱动器的时候了。按照数据的步骤进行操作,注意在硬盘驱动器内部做了多少工作将节省数据移动时间,这将提高效率,并减少主机CPU和内存负载的采用。

责任编辑:ct

下载发烧友APP

打造属于您的人脉电子圈

关注电子发烧友微信

有趣有料的资讯及技术干货

关注发烧友课堂

锁定最新课程活动及技术直播

电子发烧友观察

一线报道 · 深度观察 · 最新资讯
收藏 人收藏
分享:

评论

相关推荐

哪些数据适合存储在云中

同样清楚的是,许多组织缺乏确定谁对其云计算环境构成最大威胁并适当调查事件所需的可见性。
发表于 2019-11-28 17:43 0次阅读
哪些数据适合存储在云中

分层存储是怎样的情况

分层存储是一种存储方法,它涉及将数据存储在具有不同特性(例如性能、成本和容量)的一系列不同存储介质上....
发表于 2019-11-28 17:30 2次阅读
分层存储是怎样的情况

云块存储部署呈上升趋势的原因是什么

随着越来越多的企业计划或已经将工作负载部署到云中,公共云中块存储的部署量正在增加。
发表于 2019-11-28 17:27 2次阅读
云块存储部署呈上升趋势的原因是什么

云存储的立身之本是什么

大数据时代下云存储得到了飞速发展,其成熟过程始终贯穿着“应用的需求”与“技术发展的推动”这两条主线。
发表于 2019-11-28 17:23 4次阅读
云存储的立身之本是什么

云计算与数据存储的混乱问题怎样去解决

物联网技术将对某些行业的发展有很大的影响,而越来越多的企业希望获得越来越多的实时数据,这些数据将在人....
发表于 2019-11-28 17:19 5次阅读
云计算与数据存储的混乱问题怎样去解决

云中的对象存储需要备份吗

云中没有正确备份的块存储可能会导致数据丢失,并且尽管云中的对象存储更具弹性,但需要格外小心。
发表于 2019-11-28 17:16 2次阅读
云中的对象存储需要备份吗

阿里云与畅捷通深化合作,相互扶持共建SaaS赋能...

此次达成深入合作协议后,双方将充分利用资源共同研发,开展SaaS加速器的财务及管理服务共建项目,并且....
发表于 2019-11-28 16:41 35次阅读
阿里云与畅捷通深化合作,相互扶持共建SaaS赋能...

机械硬盘容量出现大幅增长 出货数量却不容乐观

说起机械硬盘,很多人都觉得这是一个夕阳产业,尤其是在SSD固态硬盘高速发展的衬托下更显落寞,但事实上....
发表于 2019-11-28 16:40 16次阅读
机械硬盘容量出现大幅增长 出货数量却不容乐观

Eternus CS800和CS8000数据保护...

云计算引人注目的成本和便利性因素促使企业运行应用程序和管理数据的方式发生了变化-现在,这种变化已从核....
发表于 2019-11-28 16:25 15次阅读
Eternus CS800和CS8000数据保护...

大数据的人脸识别是否会加剧数据的泄露

未来几年数据泄露事件的增长率也许会达到100%,除非数据在其源头就能够得到安全保障。
发表于 2019-11-28 16:23 9次阅读
大数据的人脸识别是否会加剧数据的泄露

大数据与品牌价值之间是什么关系

大数据在如今的万物互联时代的应用无所不在。
发表于 2019-11-28 16:18 9次阅读
大数据与品牌价值之间是什么关系

大数据对生活的有什么影响

大数据对于工作的影响还是相对比较大的,因为大数据重点的落地应用领域就是产业领域,随着产业结构升级的推....
发表于 2019-11-28 16:10 14次阅读
大数据对生活的有什么影响

无人机和大数据怎样改变农业的未来

随着农村人口减少,老龄化情况日益加重,农村用工难现象日渐凸显,对可替代劳动力的智能化设备需求越来越大....
发表于 2019-11-28 16:07 41次阅读
无人机和大数据怎样改变农业的未来

大数据和AI怎样为医疗加持

在人工智能和大数据的浪潮裹挟下,众多行业被改写,健康医疗行业是其中之一。
发表于 2019-11-28 15:52 8次阅读
大数据和AI怎样为医疗加持

人工智能在大数据时代用在哪里最多

通过AI技术和人工智能,金融机构在精准获客、智能服务、用户画像和风险控制等多个场景取得长足发展。
发表于 2019-11-28 15:45 13次阅读
人工智能在大数据时代用在哪里最多

大数据风控系统是什么样子的

在万物互联的物联网大背景的趋势下,移动互联网的迅速发展让整个社会充满了无限可能,移动互联网从开始人们....
发表于 2019-11-28 15:43 15次阅读
大数据风控系统是什么样子的

健康医疗大数据是起什么作用的

大数据”在经济发展中的巨大意义并不代表其能取代一切对于社会问题的理性思考,科学发展的逻辑不能被湮没在....
发表于 2019-11-28 15:39 14次阅读
健康医疗大数据是起什么作用的

数据泄露泛滥存在哪一些风险

大数据应用环节是导致数据泄露的另一个重要因素,随着大数据平台的陆续采用,一些大数据平台自身的漏洞也很....
发表于 2019-11-28 15:35 10次阅读
数据泄露泛滥存在哪一些风险

农业大数据应用怎样加快进程

平台利用遥感、GIS、物联网、深度学习、大数据等信息技术,有效的促进了当地农牧产业的良性发展,带动了....
发表于 2019-11-28 15:31 12次阅读
农业大数据应用怎样加快进程

大数据质量管理有什么策略

随着大数据的发展,越来越丰富的数据给数据质量的提高带来了新的挑战和困难。
发表于 2019-11-28 15:26 9次阅读
大数据质量管理有什么策略

智能制造如何利用好大数据这个帮手

智能时代需要信息技术和制造业的深度融合,在大数据技术的推动下,制造业将迎来全面的转型和升级,向智能化....
发表于 2019-11-28 15:24 6次阅读
智能制造如何利用好大数据这个帮手

智能停车在未来几年的趋势是怎样的

未来智能停车主要有四个发展方向,第一,车库设施设备的智能化,现在立体车库、自动泊车,这些是企业自主的....
发表于 2019-11-28 11:23 22次阅读
智能停车在未来几年的趋势是怎样的

教育和区块链会有什么火花

信息技术作为一种颠覆性力量,正改变和重塑着各行各业的形态。
发表于 2019-11-28 10:02 23次阅读
教育和区块链会有什么火花

中国存储软件市场未来五年将实现以个位数的复合年增...

IDC发布《中国存储软件市场季度跟踪报告,2019年上半年》。报告显示,2019年上半年,存储软件市....
发表于 2019-11-28 10:01 51次阅读
中国存储软件市场未来五年将实现以个位数的复合年增...

中国手机地图市场现状与竞争格局分析

2018年我国手机地图用户规模超过7.2亿人,同比增长5.9%。当前中国手机地图市场格局趋于稳定,基....
发表于 2019-11-27 17:24 286次阅读
中国手机地图市场现状与竞争格局分析

人工智能给教育带来哪三重改革

随着人脸识别、大数据、深度学习等的快速发展,人工智能越来越受到了全社会的普遍关注,不少国家将其上升到....
发表于 2019-11-27 17:10 76次阅读
人工智能给教育带来哪三重改革

国内两大阵营的存储芯片进入量产 明年或将实现突破

在中国去年进口的3000多亿美元芯片产品中,存储芯片大概占了1/3,价值千亿美元的内存、闪存芯片国产....
发表于 2019-11-27 16:52 63次阅读
国内两大阵营的存储芯片进入量产 明年或将实现突破

Two Sum系列问题的核心思想

这样,由于哈希表的查询时间为 O(1),算法的时间复杂度降低到 O(N),但是需要 O(N) 的空间....
发表于 2019-11-27 16:04 50次阅读
Two Sum系列问题的核心思想

2019中国高性能计算机性能排行榜TOP100

与HPC China TOP500不同,这次发布的超算排行榜主要是国内的TOP100,其中第一是无锡....
发表于 2019-11-27 14:44 201次阅读
2019中国高性能计算机性能排行榜TOP100

AI助力下 IBM推出了新一代软件定义存储

近几年,存储领域最火的软件定义存储、智能存储等概念背后,都有一个关键词——智能化。原因就在于,越来越....
发表于 2019-11-27 10:19 65次阅读
AI助力下 IBM推出了新一代软件定义存储

AI赋能依靠算法就足够了吗

人工智能是新一轮经济社会变革的核心驱动力,未来技术与颠覆性创新将为人工智能在各种场景应用提供技术支持....
发表于 2019-11-26 16:28 44次阅读
AI赋能依靠算法就足够了吗

随着数据量将越来越大 数据的存储也将不容忽视

国际数据公司IDC统计显示,全球近90%的数据将在这几年内产生,预计到2025年,全球数据量将比20....
发表于 2019-11-26 11:11 69次阅读
随着数据量将越来越大 数据的存储也将不容忽视

视监控频数据怎样实现自动分析

依靠大数据技术,安防正在从被动防御向主动判断、预警发展,行业也从单一安全领域向多行业应用、提升生产效....
发表于 2019-11-26 10:57 52次阅读
视监控频数据怎样实现自动分析

湖北广电与中国信科集团正式签署了战略合作框架协议

湖北广电将借助中国信科集团的研发、规划、实施和产业化能力,支持其通信基础网络,为建设智慧广电奠定坚实....
发表于 2019-11-26 10:56 182次阅读
湖北广电与中国信科集团正式签署了战略合作框架协议

智能马桶收集分析尿液,可提供个人健康信息

本月,《自然》杂志上发表了一项新研究:通过定期收集尿液,并对数千种不断变化的尿液指标进行分析,能否可....
发表于 2019-11-26 10:25 294次阅读
智能马桶收集分析尿液,可提供个人健康信息

区块链怎样在其他领域创新

区块链行业具有巨大的发展潜力和广阔的应用前景,区块链技术的集成应用在推进新技术革新和产业变革中的重要....
发表于 2019-11-26 09:06 23次阅读
区块链怎样在其他领域创新

生物医学大数据有多强大

生物医学领域正在快速产生海量数据,特别是随着基因测序技术的快速发展,人类基因序列数据遗传信息正在成为....
发表于 2019-11-25 17:25 76次阅读
生物医学大数据有多强大

怎样让制造业迈向产业互联网

在人工智能、大数据、物联网技术的崛起下,共享经济也开始从消费领域,向生产制造领域加速渗透,工厂也开启....
发表于 2019-11-25 16:34 191次阅读
怎样让制造业迈向产业互联网

人工智能该走哪一条道

人工智能有利于经济社会的发展进步,其底层框架的支撑是来源数字技术。
发表于 2019-11-25 16:26 54次阅读
人工智能该走哪一条道

大数据是怎样的一项技术

自互联网诞生以来,技术便循环往复的瓦解、重构着人类社会,新的技术主导了社会文化的形成、改变了世界经济....
发表于 2019-11-25 15:59 115次阅读
大数据是怎样的一项技术

Pure Storag第三季度财务业绩公布 不断...

近日,Pure Storage公布了截至2019年10月31日的第三季度财务业绩。
发表于 2019-11-25 14:49 43次阅读
Pure Storag第三季度财务业绩公布 不断...

Galileo发布一种1PB存储解决方案 已与a...

Galileo Digital宣布了一种1PB存储解决方案的可用性,该解决方案的价格为99,995美....
发表于 2019-11-25 14:45 41次阅读
Galileo发布一种1PB存储解决方案 已与a...

百年匠心 Hitachi Vantara发布全球...

11月19日,Hitachi Vantara在深圳成功举办新品发布会,面向中国市场推出最新的存储科技....
发表于 2019-11-25 11:38 901次阅读
百年匠心 Hitachi Vantara发布全球...

泛在电力物联网指明了一个怎样的方向

泛在电力物联网通过广泛应用大数据、云计算、物联网、移动互联、人工智能等信息技术和智能技术,为规划建设....
发表于 2019-11-25 11:05 104次阅读
泛在电力物联网指明了一个怎样的方向

区块链在外汇领域具备怎样的优势

当前的外汇监管主要基于货物贸易、服务贸易、直接投资、外债、贸易信贷、个人结售汇等极其庞大的数据。
发表于 2019-11-25 08:33 40次阅读
区块链在外汇领域具备怎样的优势

大数据时代下信息的真正安全到底有多难实现

近日,被爆出谷歌云服务器上发现庞大的未受保护数据库,一个汇总了12亿用户个人信息的数据库被发现毫无保....
发表于 2019-11-24 10:43 349次阅读
大数据时代下信息的真正安全到底有多难实现

ACT—R模型最大的不足在于缺乏意向性与形式化的...

未来的区块链、飞机、电网等将是人机融合的系统,安德森的ACT-R认知框架模型正在尝试这种融合,其优点....
发表于 2019-11-24 09:35 297次阅读
ACT—R模型最大的不足在于缺乏意向性与形式化的...

一线专家谈2020年人工智能落地趋势

解决方案难点:由于跟业务结合紧密,虽然已经在不同行业开始落地,但实际进展缓慢。由于业务的特殊性,往往....
发表于 2019-11-24 09:05 366次阅读
一线专家谈2020年人工智能落地趋势

选择正确的人工智能用例的5个技巧

聊天机器人开发商Verint公司副总裁Jen Snell解释说:“人工智能中的数据问题的范围和规模远....
发表于 2019-11-24 09:02 341次阅读
选择正确的人工智能用例的5个技巧

AI对普通人来说到底是优势大还是缺点大

对普通人来说,如果不做生意,那么赚钱之道就可理解为职业规划。传统按部就班的职业规划显然已经不匹配AI....
发表于 2019-11-23 11:39 455次阅读
AI对普通人来说到底是优势大还是缺点大

宏旺半导体与衡宇科技达成合作 将势必推动产品和渠...

2019年,存储行业呈现了不少机遇,也充满了挑战。一方面,5G、AI 等技术的发展,使得未来的智能生....
发表于 2019-11-23 11:31 691次阅读
宏旺半导体与衡宇科技达成合作 将势必推动产品和渠...

刷脸支付对我们有哪些改变?需要注意那些问题

支付宝、微信的出现让现金支付渐渐的走入了历史长河,而伴随着5G时代的来临,刷脸支付开始走入我们的视线....
发表于 2019-11-23 11:05 535次阅读
刷脸支付对我们有哪些改变?需要注意那些问题

IBM推出高端企业存储DS8900F 可增强各方...

今天,IBM Storage宣布推出一款全新的高端企业存储系统,IBM DS8900F存储系统,旨在....
发表于 2019-11-22 17:11 217次阅读
IBM推出高端企业存储DS8900F 可增强各方...

企业存储NAS / iSCSI SAN / SS...

NAS / iSCSI SAN / SSD系统定制供应商Digiliant最近更新了其整个企业存储产....
发表于 2019-11-22 16:51 61次阅读
企业存储NAS / iSCSI SAN / SS...

国内存储芯片明年有望占据全球 5% 即将迎来重大...

中国的技术自给自足之路正处于重大突破的边缘,新生的芯片产业有望在 2020 年底之前从去年的几乎为零....
发表于 2019-11-22 16:46 154次阅读
国内存储芯片明年有望占据全球 5% 即将迎来重大...

区块链征信业务中的数据怎样进行保护

大数据时代的到来,一方面意味着个人数据、企业数据的扁平化,另一方面数据使用过程中的问题也逐渐暴露,个....
发表于 2019-11-22 15:10 51次阅读
区块链征信业务中的数据怎样进行保护

大数据计算引擎,你pick哪个?

从上面的几个问题我们就可以很明显的发现这种架构的瓶颈就在于 ElasticSearch 集群的写入和....
发表于 2019-11-22 15:07 260次阅读
大数据计算引擎,你pick哪个?

5G技术全面开启网络信息技术新发展篇章,需加快推...

2019世界5G大会21日在北京召开,中共中央政治局委员、北京市委书记蔡奇,国务委员王勇出席并致辞。
发表于 2019-11-22 14:30 296次阅读
5G技术全面开启网络信息技术新发展篇章,需加快推...

分布式存储方案的主要特点是什么?

接口与外设在一个视频监控系统中,选择什么样的存储解决方案直接决定了整个系统的系统架构以及系统的性能和稳定程度,...
发表于 2019-11-08 07:24 128次阅读
分布式存储方案的主要特点是什么?

请问机器中十进制数257按字符形式存储表示多少?

十进制数257按字符形式存储时,机器中表示为多少? A)  323537H B)  020507H C) &n...
发表于 2019-11-08 04:35 71次阅读
请问机器中十进制数257按字符形式存储表示多少?

如何加快慢指针数学?

typedef struct{int32_t.[101];float value[101];}lut_key_vals;typedef struct{lut_key_vals.[3];float celsius[...
发表于 2019-11-06 10:33 46次阅读
如何加快慢指针数学?

如何把函数的传递参数放在外部存储空间?

内部数据存储空间不够,为了节省空间,怎么把函数的传递参数放在外部存储空间呢...
发表于 2019-10-24 00:27 166次阅读
如何把函数的传递参数放在外部存储空间?

安装Python SDK和开发插件

大数据导论实验报告
发表于 2019-10-22 13:49 76次阅读
安装Python SDK和开发插件

大数据从入门到精通

寻找新未来,大数据从入门到精通其实难度并不大...
发表于 2019-10-22 10:35 70次阅读
大数据从入门到精通

详解zookeeper原理

大数据生态之zookeeper(原理)
发表于 2019-10-22 08:44 79次阅读
详解zookeeper原理

埃森哲的大数据分析

埃森哲是如何系统化做好数据分析的
发表于 2019-10-18 14:36 103次阅读
埃森哲的大数据分析

嵌入式技术究竟是什么?

物联网应用技术中,嵌入式技术是至关重要的。但是,至少有60%的人不了解什么是嵌入式技术。物联网时代的到来,不管是从...
发表于 2019-10-17 08:24 83次阅读
嵌入式技术究竟是什么?

富士通是如何在存储领域丛林法则下崛起的?

市场经济下每一个技术领域的竞争都是一场丛林法则的生动演绎。随着物联网和大数据等新兴应用的爆发增长,存储器领域的...
发表于 2019-10-17 06:09 140次阅读
富士通是如何在存储领域丛林法则下崛起的?