0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

人工智能如何高效地存储和管理数据

姚小熊27 来源:物联网 作者:物联网 2020-10-26 16:17 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

随着大数据的大量来源以及企业可用数据量的增加,存储容量规划已成为存储管理员的问题。据估计,每天产生2.5万亿字节的数据。现在,如果以神经元计算的话,那就是相当于2.5亿个人类大脑的海量数据。而且,相同的估计表明,全球总数据的90%是从2016年到2018年生成的。

可以简单地说,每天生成越来越多的数据,这正增加了存储工作负载的规模和复杂性。但是,人工智能可以拯救存储管理员,帮助他们高效地存储和管理数据。通过使用AI数据存储,供应商和企业可以将存储管理提升到一个新的水平。而且,存储管理员可以找到他们目前正在努力管理的指标的解决方案。

存储管理员需要努力的主要指标

存储管理员在管理存储问题时面临一些挑战。而且,如果他们克服了这些挑战,将帮助他们在数据存储的各个方面之间找到适当的平衡,例如在哪里分配工作负载,如何分配工作负载以及如何优化堆栈等等。

一般而言,吞吐量是指处理某事物的速率。在网络级别,吞吐量的度量单位是Mbps(兆位/秒),而在存储级别,吞吐量的度量单位是MB /秒(兆字节/秒)。由于一个字节等于八兆位,因此生产率在存储级别上提高了。并且,变得难以管理提高的生产率。

延时

延迟是服务器完成请求所花费的时间。关于存储,这是指满足单个存储块的请求所花费的时间。存储块或块存储是将数据存储在卷中的块。纯延迟不受吞吐量影响,但是如果单个块请求很大,则应用延迟可能会随着吞吐量的增加而偏离。

IOPS(每秒输入/输出操作)

IOPS是指存储堆栈每秒可以处理的离散读写任务的数量。存储堆栈是一种允许过程调用的数据结构。这意味着将多个过程彼此存储在堆栈中,然后在调用和返回的基础上一个接一个地执行所有过程。例如,如果一个过程被调用,它将被执行,然后返回,以便在堆栈中调用下一个过程。而且,在谈论IOPS时,基础输入/输出任务可以达到存储系统的堆栈限制。例如,读取一个大文件和多个小文件可能会对IOPS产生影响。由于读取单个大文件仅需要执行一个读取任务,因此可以以较高的速度执行它,而另一方面,读取多个文件的速度非常慢,因为需要执行许多读取任务。

AI数据存储如何解决存储问题

企业管理员和存储供应商处理各种各样的存储类型。而且,它们还满足不同输入/输出服务的指标。大型文件共享应用可能需要适当的吞吐量,但也必须允许延迟损失,因为大型而复杂的应用可能会对延迟产生不利影响。另一方面,电子邮件服务器可能需要大量存储,低延迟和良好的吞吐量,但它可能不需要非常苛刻的IOPS配置文件。并且,存储管理员应该决定应该为哪些存储分配什么资源。因此,在组织中运行着成千上万的服务时,对基础存储的管理超过了人们进行明智更改的能力。而且,这就是AI算法派上用场的地方。

人工智能支持的存储管理和计划

AI可以监控存储以检测多种工作负载的模式和性能。这里的工作负载是由各种输入/输出特征或应用任务生成的数据流。通过检测这些工作负载模式,AI可以帮助存储管理员洞悉哪些工作负载可能使他们面临最大化存储阵列的风险。此外,存储监视还可以帮助了解是否有任何额外的工作负载可以放入阵列中。而且,如果添加到阵列中,那么工作负载将造成多少中断。

例如,假设一家企业正在向流程中添加电子邮件服务器。在这种情况下,人工智能系统可以帮助预测存储阵列将能够满足该服务器的存储需求还是将其最大化。借助此类技术,存储管理员可以主动获取有关如何将不同的工作负载分配给不同的存储堆栈并最大程度地减少延迟的信息。因此,将AI集成到存储阵列,存储供应商和组织中可以优化存储堆栈。

除了监视存储活动外,存储管理员还需要检查和分析存储系统要使用的应用的编码和错误。这有助于他们更好地了解如何围绕应用的需求设计存储体系结构。他们通过了解应用的输入/输出模式来做到这一点。用于执行此操作的最常见技术是捕获应用的跟踪。

Strace是Linux的用户空间实用程序,可用于诊断、调试和获取有关输入和输出功能的指令。但是,由于复杂的应用可以具有多个输入/输出功能,因此这对人类来说可能是一个挑战。另一方面,ML算法可以轻松地提取和分析大量数据,并解决许多存储问题,最好是通过查看存储系统本身来解决。此外,通过使用大量数据训练算法,以了解特定堆栈或整个应用如何收集和存储数据,它们可以帮助实现对该特定应用存储活动的实时观察,以防止堆栈最大化并改善存储容量。

AI数据存储可满足客户需求

遥测数据是自动记录和无线传输来自远程或不可访问来源的数据。遥测以下列方式起作用:传感器在源处测量数据,它们将其转换为电压,然后将其与定时数据合并为单个数据流,该数据流将传输到远程接收器。接收后,可以根据用户要求对数据进行处理。

AI的计算机视觉技术可以扫描遥测数据,以保护存储阵列免受漏洞侵害。当使用有关漏洞的历史数据进行训练时,机器学习算法可以将来自各种应用程序的传入数据与历史数据进行匹配,以发现漏洞的可能性。因此,借助AI的预测分析,存储供应商可以着眼于在遇到客户之前防止存储问题。

AI数据存储仍处于起步阶段,但已经显示出了惊人的结果。而且,因此云供应商和其他存储管理员正在对AI进行越来越多的投资,以使用超融合存储系统进行存储维护。采用主流AI数据存储肯定会帮助企业控制上述所有指标,并为其客户提供更好的服务。
责任编辑:YYX

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 人工智能
    +关注

    关注

    1813

    文章

    49734

    浏览量

    261521
  • 大数据
    +关注

    关注

    64

    文章

    9029

    浏览量

    143065
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    AI NAS:当存储遇上智能,开启数据管理新纪元

    数据爆炸的时代,AI NAS(网络附加存储)已成为个人和企业存储海量数据的利器。然而,面对日益庞大的数据量,传统的NAS系统在文件
    的头像 发表于 11-27 11:26 666次阅读
    AI NAS:当<b class='flag-5'>存储</b>遇上<b class='flag-5'>智能</b>,开启<b class='flag-5'>数据管理</b>新纪元

    人工智能数据中心的光纤布线策略

    数据中心的光纤布线策略,包括布线规划、光纤选型、架构设计、成本优化以及未来趋势等。 布线规划的重要性 在人工智能数据中心中,光纤布线的规划是确保系统高效运行的关键步骤。合理的布线规划不
    的头像 发表于 11-21 10:21 79次阅读

    小身材 大能量 | 腾视科技重磅推出AI NAS,重塑数据管理方式,开启智能高效新时代

    数据爆炸式增长的今天,如何高效管理海量文件、快速获取关键信息成为现代人的共同挑战。腾视科技今日正式发布革命性产品——腾视AI NAS(人工智能网络
    的头像 发表于 11-14 17:11 3754次阅读
    小身材 大能量 | 腾视科技重磅推出AI NAS,重塑<b class='flag-5'>数据管理</b>方式,开启<b class='flag-5'>智能</b><b class='flag-5'>高效</b>新时代

    利用超微型 Neuton ML 模型解锁 SoC 边缘人工智能

    应用。 为什么选择 Neuton 作为开发人员,在产品中使用边缘人工智能的两个最大障碍是: ML 模型对于您所选微控制器的内存来说太大。 创建自定义 ML 模型本质上是一个手动过程,需要高度的数据科学知识
    发表于 08-31 20:54

    挖到宝了!人工智能综合实验箱,高校新工科的宝藏神器

    应用场景。从数据采集,到模型推理,都能完整且自如地参与,轻松解锁人工智能全流程实训,让你深度体验AI技术的魅力 。 四、九门课程全覆盖,满足多元学习需求 对于高校教学或者技术学习来说,课程覆盖的广度
    发表于 08-07 14:30

    挖到宝了!比邻星人工智能综合实验箱,高校新工科的宝藏神器!

    应用场景。从数据采集,到模型推理,都能完整且自如地参与,轻松解锁人工智能全流程实训,让你深度体验AI技术的魅力 。 四、九门课程全覆盖,满足多元学习需求 对于高校教学或者技术学习来说,课程覆盖的广度
    发表于 08-07 14:23

    超小型Neuton机器学习模型, 在任何系统级芯片(SoC)上解锁边缘人工智能应用.

    Neuton 是一家边缘AI 公司,致力于让机器 学习模型更易于使用。它创建的模型比竞争对手的框架小10 倍,速度也快10 倍,甚至可以在最先进的边缘设备上进行人工智能处理。在这篇博文中,我们将介绍
    发表于 07-31 11:38

    迅为RK3588开发板Linux安卓麒麟瑞芯微国产工业AI人工智能

    迅为RK3588开发板Linux安卓麒麟瑞芯微国产工业AI人工智能
    发表于 07-14 11:23

    CES Asia 2025同期低空智能感知与空域管理技术论坛即将启幕

    如何利用人工智能算法实现对空域态势的实时感知、智能预测和动态调控。通过对海量飞行数据的分析,人工智能能够优化飞行路径规划、提高空域利用率,同时及时发现并处理潜在的飞行冲突,提升空域
    发表于 07-10 10:16

    CES Asia 2025聚焦低空智能感知与空域管理,论坛开启行业新征程

    智能管控。 人工智能在空域动态管理中的应用,为空域管理带来了革命性的变化。通过人工智能算法,能够对空域内的海量飞行
    发表于 07-10 09:57

    最新人工智能硬件培训AI 基础入门学习课程参考2025版(大模型篇)

    人工智能大模型重塑教育与社会发展的当下,无论是探索未来职业方向,还是更新技术储备,掌握大模型知识都已成为新时代的必修课。从职场上辅助工作的智能助手,到课堂用于学术研究的智能工具,大模型正在工作生活
    发表于 07-04 11:10

    人工智能正在改变世界

    它需要大量的处理能力,需求每一百天就会翻一番,这推动了人工智能基础设施的投资热潮。未来的数据中心需要满足和管理对计算资源前所未有的需求:既要能智能
    的头像 发表于 06-13 10:19 665次阅读

    人工智能对智慧园区的提升和帮助

    随着人工智能(AI)技术的快速发展,其在智慧园区中的应用正逐步改变传统园区的管理模式和服务方式。 智慧园区 通过整合物联网、大数据、云计算等技术,实现了资源的高效配置和
    的头像 发表于 03-13 14:39 741次阅读

    AI人工智能隐私保护怎么样

    人工智能的安全性究竟如何呢?万达宝LAIDFU(来福):数据安全的保障者万达宝LAIDFU(来福)作为AI人工智能领域的优秀代表,以其对数据安全的高度重视,为解决
    的头像 发表于 03-11 09:46 957次阅读
    AI<b class='flag-5'>人工智能</b>隐私保护怎么样

    曙光SothisAI人工智能管理平台接入DeepSeek

    近日,曙光SothisAI人工智能管理平台发布全新3.0版本,新版本在原功能基础上优化了整体性能及使用体验,并实现了DeepSeek全线接入,不仅提供对话服务、知识库及RAG管理智能
    的头像 发表于 02-18 09:22 1016次阅读