侵权投诉

人工智能如何高效地存储和管理数据

2020-10-26 16:17 次阅读

  随着大数据的大量来源以及企业可用数据量的增加,存储容量规划已成为存储管理员的问题。据估计,每天产生2.5万亿字节的数据。现在,如果以神经元计算的话,那就是相当于2.5亿个人类大脑的海量数据。而且,相同的估计表明,全球总数据的90%是从2016年到2018年生成的。

  可以简单地说,每天生成越来越多的数据,这正增加了存储工作负载的规模和复杂性。但是,人工智能可以拯救存储管理员,帮助他们高效地存储和管理数据。通过使用AI数据存储,供应商和企业可以将存储管理提升到一个新的水平。而且,存储管理员可以找到他们目前正在努力管理的指标的解决方案。

  存储管理员需要努力的主要指标

  存储管理员在管理存储问题时面临一些挑战。而且,如果他们克服了这些挑战,将帮助他们在数据存储的各个方面之间找到适当的平衡,例如在哪里分配工作负载,如何分配工作负载以及如何优化堆栈等等。

  一般而言,吞吐量是指处理某事物的速率。在网络级别,吞吐量的度量单位是Mbps(兆位/秒),而在存储级别,吞吐量的度量单位是MB /秒(兆字节/秒)。由于一个字节等于八兆位,因此生产率在存储级别上提高了。并且,变得难以管理提高的生产率。

  延时

  延迟是服务器完成请求所花费的时间。关于存储,这是指满足单个存储块的请求所花费的时间。存储块或块存储是将数据存储在卷中的块。纯延迟不受吞吐量影响,但是如果单个块请求很大,则应用延迟可能会随着吞吐量的增加而偏离。

  IOPS(每秒输入/输出操作)

  IOPS是指存储堆栈每秒可以处理的离散读写任务的数量。存储堆栈是一种允许过程调用的数据结构。这意味着将多个过程彼此存储在堆栈中,然后在调用和返回的基础上一个接一个地执行所有过程。例如,如果一个过程被调用,它将被执行,然后返回,以便在堆栈中调用下一个过程。而且,在谈论IOPS时,基础输入/输出任务可以达到存储系统的堆栈限制。例如,读取一个大文件和多个小文件可能会对IOPS产生影响。由于读取单个大文件仅需要执行一个读取任务,因此可以以较高的速度执行它,而另一方面,读取多个文件的速度非常慢,因为需要执行许多读取任务。

  AI数据存储如何解决存储问题

  

  企业管理员和存储供应商处理各种各样的存储类型。而且,它们还满足不同输入/输出服务的指标。大型文件共享应用可能需要适当的吞吐量,但也必须允许延迟损失,因为大型而复杂的应用可能会对延迟产生不利影响。另一方面,电子邮件服务器可能需要大量存储,低延迟和良好的吞吐量,但它可能不需要非常苛刻的IOPS配置文件。并且,存储管理员应该决定应该为哪些存储分配什么资源。因此,在组织中运行着成千上万的服务时,对基础存储的管理超过了人们进行明智更改的能力。而且,这就是AI算法派上用场的地方。

  人工智能支持的存储管理和计划

  AI可以监控存储以检测多种工作负载的模式和性能。这里的工作负载是由各种输入/输出特征或应用任务生成的数据流。通过检测这些工作负载模式,AI可以帮助存储管理员洞悉哪些工作负载可能使他们面临最大化存储阵列的风险。此外,存储监视还可以帮助了解是否有任何额外的工作负载可以放入阵列中。而且,如果添加到阵列中,那么工作负载将造成多少中断。

  例如,假设一家企业正在向流程中添加电子邮件服务器。在这种情况下,人工智能系统可以帮助预测存储阵列将能够满足该服务器的存储需求还是将其最大化。借助此类技术,存储管理员可以主动获取有关如何将不同的工作负载分配给不同的存储堆栈并最大程度地减少延迟的信息。因此,将AI集成到存储阵列,存储供应商和组织中可以优化存储堆栈。

  除了监视存储活动外,存储管理员还需要检查和分析存储系统要使用的应用的编码和错误。这有助于他们更好地了解如何围绕应用的需求设计存储体系结构。他们通过了解应用的输入/输出模式来做到这一点。用于执行此操作的最常见技术是捕获应用的跟踪。

  Strace是Linux的用户空间实用程序,可用于诊断、调试和获取有关输入和输出功能的指令。但是,由于复杂的应用可以具有多个输入/输出功能,因此这对人类来说可能是一个挑战。另一方面,ML算法可以轻松地提取和分析大量数据,并解决许多存储问题,最好是通过查看存储系统本身来解决。此外,通过使用大量数据训练算法,以了解特定堆栈或整个应用如何收集和存储数据,它们可以帮助实现对该特定应用存储活动的实时观察,以防止堆栈最大化并改善存储容量。

  AI数据存储可满足客户需求

  遥测数据是自动记录和无线传输来自远程或不可访问来源的数据。遥测以下列方式起作用:传感器在源处测量数据,它们将其转换为电压,然后将其与定时数据合并为单个数据流,该数据流将传输到远程接收器。接收后,可以根据用户要求对数据进行处理。

  AI的计算机视觉技术可以扫描遥测数据,以保护存储阵列免受漏洞侵害。当使用有关漏洞的历史数据进行训练时,机器学习算法可以将来自各种应用程序的传入数据与历史数据进行匹配,以发现漏洞的可能性。因此,借助AI的预测分析,存储供应商可以着眼于在遇到客户之前防止存储问题。

  AI数据存储仍处于起步阶段,但已经显示出了惊人的结果。而且,因此云供应商和其他存储管理员正在对AI进行越来越多的投资,以使用超融合存储系统进行存储维护。采用主流AI数据存储肯定会帮助企业控制上述所有指标,并为其客户提供更好的服务。
责任编辑:YYX

收藏 人收藏
分享:

评论

相关推荐

中国AI专利申请数量首次超过美国,成全球第一

11月23日下午,《世界互联网发展报告2020》《中国互联网发展报告2020》在乌镇正式发布。报告由....
的头像 如意 发表于 11-23 17:38 120次 阅读
中国AI专利申请数量首次超过美国,成全球第一

中国人工智能专利申请数量成全球第一

11月23日下午,《世界互联网发展报告2020》《中国互联网发展报告2020》在乌镇正式发布。报告由....
的头像 璟琰乀 发表于 11-23 17:36 92次 阅读
中国人工智能专利申请数量成全球第一

小冰自由式滑雪空中技巧视觉评分系统 人工智能在竞技类体育领域首个落地成果

IT之家11月23日消息 据中国政府采购网信息,小冰已中标国家体育总局冬运中心的重点项目,小冰将提供....
的头像 工程师邓生 发表于 11-23 17:33 126次 阅读
小冰自由式滑雪空中技巧视觉评分系统 人工智能在竞技类体育领域首个落地成果

人工智能正在对众多行业产生变革性影响

政府负担得起技术死水的日子已经一去不复返了。我们正处在一个新的现实中,即公民希望立即获得信息和服务。....
的头像 倩倩 发表于 11-23 17:30 168次 阅读
人工智能正在对众多行业产生变革性影响

越来越多的零售商正在使用AI

但是现在,越来越多的零售商正在使用AI(人工智能)(可以自我学习的软件系统)来尝试自动预测和鼓励我们....
的头像 倩倩 发表于 11-23 17:28 111次 阅读
越来越多的零售商正在使用AI

简单的公式和复杂的AI系统会在我们不知道的情况下消失

多年来,事情已经成熟并完善了。现在,游戏内置了无数的AI流程和程序。程序生成近年来以“无人深空”的标....
的头像 倩倩 发表于 11-23 17:22 115次 阅读
简单的公式和复杂的AI系统会在我们不知道的情况下消失

行业增长见解已发布有关网络安全市场中的人工智能的研究报告

该报告还包括对行业参与者的完整分析,涵盖了他们的最新发展,产品组合,定价,合并,收购和合作。此外,它....
的头像 倩倩 发表于 11-23 17:20 162次 阅读
行业增长见解已发布有关网络安全市场中的人工智能的研究报告

生命科学公司在AI计划上花费了超过2000万美元

从研发到制造,从供应链到商业功能,人工智能开始对整个生物制药价值链效率的提高产生影响,特别是由于CO....
的头像 倩倩 发表于 11-23 17:16 107次 阅读
生命科学公司在AI计划上花费了超过2000万美元

一种支持AI的软件即服务应用程序,用于自动化重复活动

 Zagni在Oracle从事了两个十年的职业生涯中,从数据库管理员担任企业应用程序IT副总裁。在担....
的头像 倩倩 发表于 11-23 17:10 99次 阅读
一种支持AI的软件即服务应用程序,用于自动化重复活动

人工智能如何赋能工业互联网?

1956年在达特茅斯学院召开的一个夏季讨论班开启了人工智能学科。在后来很多年的时间里,AI只给旁观者....
的头像 我快闭嘴 发表于 11-23 17:09 198次 阅读
人工智能如何赋能工业互联网?

工作的未来到底会怎样?2035年的工作环境将如何?

思杰,未来咨询公司牛津分析公司和商业研究专家科尔曼·帕克斯的联合研究表明,对500多名C-Suite....
的头像 倩倩 发表于 11-23 17:07 77次 阅读
工作的未来到底会怎样?2035年的工作环境将如何?

德国巴斯夫化学公司与西班牙研究中心Tecnalia共同开发了一项技术

一个联合新闻公报指出,双方已共同对这项技术从2014年开始在拉蒙·纳瓦拉-梅斯特巴斯夫农业研究的话工....
的头像 倩倩 发表于 11-23 17:04 84次 阅读
德国巴斯夫化学公司与西班牙研究中心Tecnalia共同开发了一项技术

对话式AI可以为您的组织带来竞争优势的三种方式

简而言之,会话式AI使用虚拟代理中的人工智能技术以类似于人的方式与人们进行交互。通过弥合人类和计算机....
的头像 倩倩 发表于 11-23 16:58 48次 阅读
对话式AI可以为您的组织带来竞争优势的三种方式

医疗系统对服务的需求正在急剧增长

自动化是该领域最关键的技术突破之一,而人工智能(AI)是成功的强大工具。但是,在医疗保健方面,有一个....
的头像 倩倩 发表于 11-23 16:55 92次 阅读
医疗系统对服务的需求正在急剧增长

中东地区47%的企业正在进行或正在使用AI进行大规模部署

但是,经济收益开始变得显而易见。因此,越来越多的公司正在继续采用AI。该研究发现,有47%的区域公司....
的头像 倩倩 发表于 11-23 16:50 58次 阅读
中东地区47%的企业正在进行或正在使用AI进行大规模部署

电容式指纹引领生物识别技术升级

近几年,在智能手机、移动互联、人工智能等技术的大力推进之下,生物识别技术迅速普及,人脸识别、指纹识别....
的头像 璟琰乀 发表于 11-23 16:41 62次 阅读
电容式指纹引领生物识别技术升级

北京人工智能拥有17个全国第一

《中国5G+工业互联网发展报告(2020年)》发布 报告指出,全国5G基站建设近70万个,应用于工业....
的头像 Les 发表于 11-23 16:40 354次 阅读
北京人工智能拥有17个全国第一

人工智能在商业房地产的影响及改变

人工智能是当今商业房地产行业中很重要的破坏者。从种种迹象看,这种趋势将在未来几年中持续下去。如今,投....
的头像 如意 发表于 11-23 16:38 164次 阅读
人工智能在商业房地产的影响及改变

结合了AI技术的解决方案提供商Signance

Signance Co., Ltd. Signance Co., Ltd.充分利用最新的人工智能和I....
的头像 倩倩 发表于 11-23 16:36 117次 阅读
结合了AI技术的解决方案提供商Signance

采用人工智能技术可以帮助公司了解客户和员工安全的策略

通过利用现有CCTV部署中的视频流,公司可以衡量对社交疏散的遵守程度,帮助进行联系人追踪并检测面部覆....
的头像 倩倩 发表于 11-23 16:26 186次 阅读
采用人工智能技术可以帮助公司了解客户和员工安全的策略

如何把握人工智能的优势,提高市场竞争力。

随着人工智能在企业的应用和发展,企业领导者必须着眼于基于云计算的人工智能和现代化的数据结构,以提高市....
的头像 如意 发表于 11-23 16:26 115次 阅读
如何把握人工智能的优势,提高市场竞争力。

自动化和人工智能的进步为现实解决方案铺平了道路

但是,这两种技术都有可以在今天部署的实际解决方案,从而为组织带来了实实在在的好处。要了解其中的一些好....
的头像 倩倩 发表于 11-23 16:22 47次 阅读
自动化和人工智能的进步为现实解决方案铺平了道路

利用AI(人工智能)开发新的药物发现算法

我们已经开发了一种“热扩散方程”(HDE)模型,该模型可以预测在化合物筛选中显示出预期效果的化合物。....
的头像 倩倩 发表于 11-23 16:16 187次 阅读
利用AI(人工智能)开发新的药物发现算法

SWOT对全球人工智能市场的计算机视觉进行分析

该报告涵盖了与当前COVID-19大流行相关的市场动态和需求模式的变化。该报告根据COVID-19对....
的头像 倩倩 发表于 11-23 16:12 140次 阅读
SWOT对全球人工智能市场的计算机视觉进行分析

大数据防疫,也需要加强对用户隐私的保护

被列为天津瞰海轩小区新冠肺炎感染者的密切接触者后,赵先生发现网上流传着一份来自非正常渠道的调查报告记....
的头像 如意 发表于 11-23 16:11 219次 阅读
大数据防疫,也需要加强对用户隐私的保护

人工智能已成为我们日常生活的重要组成部分

教育是当今学生成为明天领导者的渠道。本指南是为准备下一代AI用户和开发人员的K-12教师提供的工具包....
的头像 倩倩 发表于 11-23 15:53 111次 阅读
人工智能已成为我们日常生活的重要组成部分

人工智能将深刻改变社会

搜寻Hedonia与“深部脑刺激(DBS)”有关,这是神经科学领域的一项革命性发展,用于治疗帕金森氏....
的头像 倩倩 发表于 11-23 15:49 179次 阅读
人工智能将深刻改变社会

Waste Connections计划将系统部署在众多材料回收设施的容器,纤维和残留物生产线上

“我们很高兴与AMP合作,在我们的材料回收设施中扩展最新技术的部署,进一步推动我们的可持续发展计划并....
的头像 倩倩 发表于 11-23 15:45 76次 阅读
Waste Connections计划将系统部署在众多材料回收设施的容器,纤维和残留物生产线上

《人工智能软件市场(2020)》报告提供了人工智能软件市场状况以及产品规格

 人工智能(AI,也称为机器智能,MI)是机器显示的智能,与人类和其他动物显示的自然智能(NI)相反....
的头像 倩倩 发表于 11-23 15:42 59次 阅读
《人工智能软件市场(2020)》报告提供了人工智能软件市场状况以及产品规格

匹兹堡大学的科学家正在提出一种应用人工智能的系统

该大学的斯旺森商学院电气与计算机工程学的副研究员兼电气与计算机工程副教授胡静同说:“利用从环境中获取....
的头像 倩倩 发表于 11-23 15:39 78次 阅读
匹兹堡大学的科学家正在提出一种应用人工智能的系统

我们有理由期望AI对数字营销产生多大影响?

在IBM Watson Advertising中,CMO Randi Stipes将AI视为已经存在....
的头像 倩倩 发表于 11-23 15:35 139次 阅读
我们有理由期望AI对数字营销产生多大影响?

中国移动5G嗨购节5G手机累计售出超5806万台

“5G融入百业,数智引领未来”。11月21日,2020中国移动全球合作伙伴大会圆满收官,精彩仍在线上....
的头像 lhl545545 发表于 11-23 15:34 127次 阅读
中国移动5G嗨购节5G手机累计售出超5806万台

人工智能(AI)逐渐成为许多澳大利亚人熟悉的工具

尽管澳大利亚以前因缺乏采用人工智能的方向而受到批评,但英联邦政府已表示有意通过协调政府政策和国家能力....
的头像 倩倩 发表于 11-23 15:31 133次 阅读
人工智能(AI)逐渐成为许多澳大利亚人熟悉的工具

晶圆级芯片将引领行业将入新时代?

众所周知,数字世界催生了一种趋势,规模越小越好。那么,为什么在地球上有些人想逆转航向,并使用大芯片呢....
的头像 我快闭嘴 发表于 11-23 15:29 284次 阅读
晶圆级芯片将引领行业将入新时代?

到2027年欧洲人工智能在医疗诊断市场的预测

欧洲放射学信息系统(RIS)市场的增长主要归因于诊断成像解决方案的进步以及诊断程序数量的增加,并且越....
的头像 倩倩 发表于 11-23 15:28 100次 阅读
到2027年欧洲人工智能在医疗诊断市场的预测

数据和分析在2021年的发展趋势

新冠疫情对数据和分析领域有什么影响?人们需要了解数据和分析在2021年的发展趋势。 在过去的几年中,....
的头像 璟琰乀 发表于 11-23 15:28 136次 阅读
数据和分析在2021年的发展趋势

日本科学家创造了一种用于真实人类手指的电子皮肤

当一部分研究致力于实现能够应用于人工智能或假肢的压力敏感 皮肤时,另一部分的研究也在致力于让电子皮肤....
的头像 Les 发表于 11-23 15:26 67次 阅读
日本科学家创造了一种用于真实人类手指的电子皮肤

华为、同方中标中国联通云PaaS平台大数据及分布式存储系统项目

11月23日消息(焦焦)近日,中国联通公示了2019年通信云PaaS平台项目大数据及分布式存储系统采....
的头像 工程师邓生 发表于 11-23 15:26 197次 阅读
华为、同方中标中国联通云PaaS平台大数据及分布式存储系统项目

将人工智能与可与实际工厂一起运行的在线虚拟工厂相结合

通过使用可以提出判断依据的“逻辑思维AI”,我们可以通过尝试在模拟中未执行的操作来优化操作员尝试过和....
的头像 倩倩 发表于 11-23 15:24 139次 阅读
将人工智能与可与实际工厂一起运行的在线虚拟工厂相结合

Seldon专门研究用于优化机器学习的稀有开发工具

其成功的关键在于其开源项目Seldon Core迄今为止已部署了700,000多个模型,从而大大减少....
的头像 倩倩 发表于 11-23 15:21 83次 阅读
Seldon专门研究用于优化机器学习的稀有开发工具

大兆科技VirtualStor™系列产品可提供灵活有针对性的解决方案

以“新数智 新未来”为主题的2020年中国数据与存储峰会于11月18日在北京举行。此次存储峰会诠释了....
的头像 牵手一起梦 发表于 11-23 15:17 83次 阅读
大兆科技VirtualStor™系列产品可提供灵活有针对性的解决方案

开发出可以很快开辟一个新的领域的机器

以上是未来的招聘广告-但距离它还不远。它指出了我们的发展方向,如果我们投入资源和解决方案进行必要的研....
的头像 倩倩 发表于 11-23 15:17 112次 阅读
开发出可以很快开辟一个新的领域的机器

网络安全的作用与大数据的增长密切相关

在2021年及以后,针对以数据为中心的企业网络安全的提示将比以往更加重要。企业需要采用一些方法和措施....
的头像 璟琰乀 发表于 11-23 15:16 132次 阅读
网络安全的作用与大数据的增长密切相关

UMDearborn的新人工智能中心正在蓬勃发展

DAIR中心的创始主任兼计算机和信息科学副教授Marouane Kessentini表示,创建该中心....
的头像 倩倩 发表于 11-23 15:13 140次 阅读
UMDearborn的新人工智能中心正在蓬勃发展

盘点11月无人机行业重要事件

11月2日消息,日本为保护国家敏感信息数据安全,正计划在政府采购无人机时,排除与中企相关的产品,具体....
的头像 我快闭嘴 发表于 11-23 15:12 198次 阅读
盘点11月无人机行业重要事件

研究人员宣布了一种新的AI机器学习工具

南加州大学(USC)的Victor Martinez是AI研究的首席研究员该软件将于本月在2020年....
的头像 倩倩 发表于 11-23 15:10 159次 阅读
研究人员宣布了一种新的AI机器学习工具

K-Health应用程序在坚实的前提下运行

总体而言,在线查找医疗信息对革命性的帮助。对于某些人来说,读到您的病情“通常在一周之内就能自行解决”....
的头像 倩倩 发表于 11-23 15:07 73次 阅读
K-Health应用程序在坚实的前提下运行

中国将打造工业互联网和5G领域高水平开放体系

11月20日,2020中国5G+工业互联网大会正式开幕 11月19日至21日,2020中国5G+工业....
的头像 璟琰乀 发表于 11-23 14:58 114次 阅读
中国将打造工业互联网和5G领域高水平开放体系

长飞公司实现长飞光云工业互联网成果与解决方案飞跃发展

在2020中国5G+工业互联网大会举办期间,长飞光纤光缆股份有限公司(以下简称“长飞公司”,股票代码....
的头像 lhl545545 发表于 11-23 14:46 87次 阅读
长飞公司实现长飞光云工业互联网成果与解决方案飞跃发展

乌镇互联网新技术的浪潮依然奔涌

11月22日,2020年“互联网之光”博览会开幕首日,一名参会者在中兴通讯展区体验5G AI指挥家装....
的头像 lhl545545 发表于 11-23 11:32 146次 阅读
乌镇互联网新技术的浪潮依然奔涌

【送书福利】机器人时代已来!送你几本机器人学硬核好书

21世纪是机器人的时代。从学术研究到工程应用,机器人引起了学界和工业界越来越多的关注和兴趣。这种日益浓厚的兴趣也来源于机器...
发表于 11-16 16:14 1540次 阅读
【送书福利】机器人时代已来!送你几本机器人学硬核好书

【留言有奖】拯救尾款人,参与AIoT在线论坛暨展览会,奖品红包送给你!

“AIoT”即“AI+IoT”,指的是人工智能技术与物联网在实际应用中的落地融合。当前,已经有越来越多的人将AI与IoT结合...
发表于 11-10 10:42 5174次 阅读
【留言有奖】拯救尾款人,参与AIoT在线论坛暨展览会,奖品红包送给你!

高焕堂老师《AI概论:来来来,成为AI的良师益友》(全文)

这是一本非常基础的 AI 入门书籍。AI 的与会比传统IT(信息)有趣的地方是,当今 AI 的基础是:机器学习(MachineLearnin...
发表于 11-06 17:25 909次 阅读
高焕堂老师《AI概论:来来来,成为AI的良师益友》(全文)

用智能BI软件来做财务分析会擦出怎样的火花?

BI软件,也不陌生了,也就是快速实现海量数据智能可视化分析的软件;财务分析,那就更不陌生了,几乎每个做分析的都知道这是块...
发表于 11-06 17:13 101次 阅读
用智能BI软件来做财务分析会擦出怎样的火花?

《AI概论:来来来,成为AI的良师益友》高焕堂老师带你学AI

简介:AI学习:电脑+AI(让电脑拥有学习能力)基础框架搭建;如何建立人机界面---基于Excel+Python;观察事物,提取特征...
发表于 11-05 17:55 606次 阅读
《AI概论:来来来,成为AI的良师益友》高焕堂老师带你学AI

【AI学习】第3篇--人工神经网络

本篇主要介绍:人工神经网络的起源、简单神经网络模型、更多神经网络模型、机器学习的步骤:训练与预测、训练的两阶段:正向推演...
发表于 11-05 17:48 657次 阅读
【AI学习】第3篇--人工神经网络

【AI 学习】第六篇--讲解BP(反向传播)流程

反向传播整个流程如下: (1)进行前向传播计算,利用前向传播公式,得到隐藏层和输出层的激活值。 (2)对输出层(第l层),计...
发表于 11-05 17:25 1010次 阅读
【AI 学习】第六篇--讲解BP(反向传播)流程

【AI学习】第五篇--从Python到AI编程

由于Python具有強大的延展性,可以很容易的与別人分享自己所写的程序代码,因此也很容易汇入各式各样別人的程序代码。许多可以...
发表于 11-04 11:05 973次 阅读
【AI学习】第五篇--从Python到AI编程

几种数据库的大数据批量插入解决方法

在之前只知道SqlServer支持数据批量插入,殊不知道Oracle、SQLite和MySql也是支持的,不过Oracle需要使用Orace.DataA...
发表于 11-04 07:59 0次 阅读
几种数据库的大数据批量插入解决方法

【每日精选】海量电源资料+AI资料免费分享

简介:本资料根据各种应用领域的电源装置实例,详细讲解了电源的设计方法。全书内容共分两篇:第Ⅰ篇主要介绍线性稳压器的设计方法...
发表于 11-03 18:41 351次 阅读
【每日精选】海量电源资料+AI资料免费分享