0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

让CPU更接近数据 Serverless成为计算存储的关键

SSDFans 作者:工程师飞燕 2018-09-08 10:25 次阅读

目前CPU的速度已经很快了,但是我们近年来面临的一个大问题是想办法最大限度地减少等待时间,快速获取结果,从而使系统整体效率保持在最佳水平。最近的熔断和幽灵漏洞不仅带来了很多安全问题,从另一方面,它们也暴露了现代CPU的工作原理、优化程度以及数据损耗问题。

传统的通过CPU优化数据流的方法已经达到了极限,目前大家开始将方向转移到用存储平台运行某些计算任务。

将数据和CPU紧密结合

多年来,由于技术发展的限制,存储行业只能通过缓存和自动分层来加速存储访问。不过这种办法是在成本和效率之间的折中,延迟和吞吐量并不能完全满足CPU、RAM网络的需求。

闪存改变了这一状况,其延迟、吞吐量和IOPS都不是问题,闪存的出现让数据比以往任何时候都要接近CPU。如:NVMe消除了传统接口的复杂性和局限性,现在则可以将存储设备直接连接到服务器的PCIe总线。

最近,随着新型存储设备的引入,延迟大幅降低,已经可以满足CPU对延迟的要求。但是问题解决了吗?并不完全是。

现在我们面临的问题是数据大量增加,并且增长速度极快,数据在大型共享设备之间进行传输的时候产生了新的瓶颈,如网络带宽。当硬件出现故障时更会引发一系列别的问题。目前广泛使用的仍然是横向扩展架构,这种架构增加了延迟,并且使数据迁移变得更加复杂,成本更高。

让CPU更接近数据

之前就有人提出将CPU任务卸载到存储基础架构这一概念,自从RAID控制器及其提供的数据服务兴起依赖,这一概念更是得到了广泛应用。例如卷克隆之类的功能都是通过在阵列内部复制数据来消除服务器和存储阵列之间的流量。

现在芯片技术发展很快,通过在设备上执行一些过去在CPU上执行的一些计算任务可以减少数据迁移,节省带宽,提高整体并行性从而提高整个系统的效率。

我们无法将最新Intel X86 CPU和小型双核ARM设备进行比较,但是我们可以拥有数十个小的CPU,通过足够的RAM和连接让他们执行许多简单的任务。由存储设备执行的这些操作可以将数据保持在本地,将延迟降到最低,同时可以提高整体并行性和系统效率。另外由于故障域较小,可以提高整个基础架构的可扩展性。

OpenIO是一家计算存储公司,它们把开源软件运行在标准的硬件上,已经在计算存储方面取得了巨大进展,nano-node就是一个例子。

最近,OpenIO正在与硬件公司合作,工作成果很快就可以展示出来。目前一些初创公司已经在设计旨在加速特定工作负载的计算存储设备,不过这只是一个开始。这方面的明星创业公司包括ScaleFlux和NGD System。

Serverless成为计算存储的关键

为了使计算存储能够广泛使用,我们必须将它简单化。目前最简单的编程模型就是Serverless计算。

其函数是一小段代码,它的运行时间很短,通常由事件触发。它们通常对底层硬件一无所知。另外对象存储非常适合Serverless计算。如果有支持KV存储的SSD,就更方便了。

计算存储的过程非常简单。设备读取或删除的每个数据位都可以创建可触发功能的事件。功能暂时存在于缓存容器中,并执行简单的任务,如检查数据的有效性,过滤不必要的信息,扫描特定的模式,甚至进行更复杂的操作,如图像识别,视频采样等。应用程序范围很广,这样就可以通过隐藏基础架构的复杂性来解决可伸缩性问题。

开发人员只需编写于特定文件类型、事件或操作相关联的几行代码即可,存储结构件在有需要时部署此代码完成相应的工作。

让CPU接近数据和让数据接近CPU还是有很大不同的。

未来已来

目前这些设备已经可以投入使用,而且这些强大的开发软件是开源的。

我们坚信对象存储和Serverless计算的结合是对可扩展性,性能优化和效率问题的最好解决方案。对象存储带来了可靠的分布式存储层,Serverless计算以轻量级和超级扩展的方式在本地对数据进行操作,这不止是超融合(hyperconvergence)。

可惜的是上述模型仅仅适用于非结构化数据,不过一些初创公司已经采取类似的方法在具有嵌入式计算功能的主板设备上进行计算工作。

闭环操作

计算存储还没有被广泛使用,目前它只被应用于大规模基础设施中。但是相关应用程序的数量正在迅速增长。如工业物联网和边缘计算需要简单但功能强大的基础设施,同时必须具有持久、可靠的传感器数据存储,还需要CPU来验证数据,对其进行优化,同时决定应将那些内容发送到用于长期存储,大数据分析或其他操作的云。

在不久的将来,随着价格的降低和闪存技术的成熟,相信我们会看到越来越多的计算存储设备和无服务器框架,纳米节点、微服务器和专用PCIe卡只是一个开始。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • cpu
    cpu
    +关注

    关注

    68

    文章

    10438

    浏览量

    206527
  • 数据
    +关注

    关注

    8

    文章

    6511

    浏览量

    87592
  • serverless
    +关注

    关注

    0

    文章

    61

    浏览量

    4439

原文标题:把CPU放到存储中:提升计算存储性能

文章出处:【微信号:SSDFans,微信公众号:SSDFans】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    华为云 Serverless 应用中心:一键开启 AI 文生图新时代,引领行业创新浪潮

    随着数字化时代的快速发展,AI 技术已成为推动行业创新的关键动力。华为云紧跟时代步伐,全新上线 Serverless 应用中心,为用户提供海量应用模板,实现一键部署函数和周边依赖资源,让您轻松拥抱
    的头像 发表于 03-19 22:57 250次阅读

    鸿蒙原生应用元服务实战-Serverless华为账户认证登录需尽快适配

    一、ArkTS\\\\API9,服务器端基于serverless开发的应用与元服务华为账号注册登录功能暂时是不支持的 二、3月1日后的审核要求 3月1日的时间是快到了。 三、会导致的结果
    发表于 02-20 10:14

    鸿蒙应用/元服务开发实战-Serverless存储没法创建处理方式

    新账户,Serverless存储没法创建 ,没法进行下一步。 解决方式 请按照这个方式修改一下就能正常创建了,浏览器中打开控制台输入 window.top.cfpConfig.cloudStorageSwitch=‘off’ 后再创建桶
    发表于 02-19 11:21

    数据处理器:DPU编程入门》DPU计算入门书籍测评

    的架构服务,同时它一般不直接面向于数据存储,通信接口等底层应用。也不直接架构顶层的服务。 因此对于DPU系统来说,现在CPU仍然是GPU于DPU架构异构计算中必须存在的内容。 二、学习
    发表于 12-24 10:54

    数据处理器:DPU编程入门》读书笔记

    用户可以不用关注DPU的底层硬件接口而直接对硬件进行编程。 此外,DPU是数据中心基础架构的处理芯片,预测至少30%的CPU资源用于执行数据中心基础设施架构,而这些任务都可以卸载到
    发表于 12-21 10:47

    计算存储技术相关知识

    计算存储主要分为四类:一级存储:与 CPU 直接连通,CPU 会不断读取存储在这里的指令集,并
    的头像 发表于 11-23 11:30 401次阅读
    <b class='flag-5'>计算</b>机<b class='flag-5'>存储</b>技术相关知识

    HarmonyOS/OpenHarmony原生应用开发-华为Serverless服务支持情况(四)

    。借助云存储服务,您可以无需关心存储服务器的开发、部署、运维、扩容等事务,大大降低了应用使用存储的门槛,您可以专注于应用的业务能力构建,助力您的商业成功。 是支持HarmonyOS
    发表于 10-16 14:20

    HarmonyOS/OpenHarmony原生应用开发-华为Serverless认证服务说明(二)

    工作,以实现如下目的: 认证服务来提供您的自有认证系统所不具备的认证方式; 您自有认证系统中的用户以安全的方式访问其他Serverless服务(比如云数据库、云
    发表于 10-10 14:59

    HarmonyOS/OpenHarmony原生应用开发-华为Serverless云端服务支持说明(一)

    Serverless为您提供了包括计算、弹性收缩、存储等一系列能力。 弹性伸缩、按量计费,面对波峰波谷的业务场景,Serverless可根据实际请求量弹性伸缩、按量计费,您无需,为空
    发表于 10-08 10:22

    加速大数据计算存储应用

    电子发烧友网站提供《加速大数据计算存储应用.pdf》资料免费下载
    发表于 09-15 15:05 0次下载
    加速大<b class='flag-5'>数据</b>和<b class='flag-5'>计算</b><b class='flag-5'>存储</b>应用

    Serverless 冷启动:如何让函数计算更快更强?

    问题背景 Serverless 计算也称服务器无感知计算或函数计算,是近年来一种新兴的编程模式。其致力于大幅简化云业务开发流程,使得应用开发者从繁杂的服务器运维工作中解放出来(例如自动
    的头像 发表于 09-06 23:08 228次阅读
    <b class='flag-5'>Serverless</b> 冷启动:如何让函数<b class='flag-5'>计算</b>更快更强?

    全域 Serverless 化,华为云引领下一代云计算新范式

    近日,华为开发者大会 2023(Cloud)在东莞成功举办,期间“全域 Serverless 化,引领下一代云计算新范式”专题论坛人气满满。华为云首席产品官方国伟携手业界专家、客户、伙伴,面向广大
    的头像 发表于 09-06 23:05 377次阅读
    全域 <b class='flag-5'>Serverless</b> 化,华为云引领下一代云<b class='flag-5'>计算</b>新范式

    Serverless冷启动:如何让函数计算更快更强?

    Serverless 计算的无状态函数编程在带来高度弹性和灵活性的同时,也导致了不可避免的冷启动问题。由于函数通常在执行完请求后被释放,当请求到达时,如果没有可用实例则需要从零开始启动新的实例处理请求(即冷启动)。
    的头像 发表于 09-03 09:33 325次阅读
    <b class='flag-5'>Serverless</b>冷启动:如何让函数<b class='flag-5'>计算</b>更快更强?

    Serverless计算产品为什么采用并发度作为扩缩容?

    2019 年 Berkeley 预测 Serverless 将取代 Serverful 计算 [1 ] ,成为计算计算新范式。
    的头像 发表于 07-30 15:52 796次阅读
    <b class='flag-5'>Serverless</b><b class='flag-5'>计算</b>产品为什么采用并发度作为扩缩容?

    如何更高效地调度存储数据

    5月,首届“中国计算产业生态高峰论坛”在天津召开。论坛上,产学研用各界专家共同探讨了行业新趋势,分析了全新阶段下中国计算产业对计算存储、网络的新需求。面对更庞大的
    的头像 发表于 05-23 10:48 445次阅读