0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

让CPU更接近数据 Serverless成为计算存储的关键

SSDFans 作者:工程师飞燕 2018-09-08 10:25 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

目前CPU的速度已经很快了,但是我们近年来面临的一个大问题是想办法最大限度地减少等待时间,快速获取结果,从而使系统整体效率保持在最佳水平。最近的熔断和幽灵漏洞不仅带来了很多安全问题,从另一方面,它们也暴露了现代CPU的工作原理、优化程度以及数据损耗问题。

传统的通过CPU优化数据流的方法已经达到了极限,目前大家开始将方向转移到用存储平台运行某些计算任务。

将数据和CPU紧密结合

多年来,由于技术发展的限制,存储行业只能通过缓存和自动分层来加速存储访问。不过这种办法是在成本和效率之间的折中,延迟和吞吐量并不能完全满足CPU、RAM和网络的需求。

闪存改变了这一状况,其延迟、吞吐量和IOPS都不是问题,闪存的出现让数据比以往任何时候都要接近CPU。如:NVMe消除了传统接口的复杂性和局限性,现在则可以将存储设备直接连接到服务器的PCIe总线。

最近,随着新型存储设备的引入,延迟大幅降低,已经可以满足CPU对延迟的要求。但是问题解决了吗?并不完全是。

现在我们面临的问题是数据大量增加,并且增长速度极快,数据在大型共享设备之间进行传输的时候产生了新的瓶颈,如网络带宽。当硬件出现故障时更会引发一系列别的问题。目前广泛使用的仍然是横向扩展架构,这种架构增加了延迟,并且使数据迁移变得更加复杂,成本更高。

让CPU更接近数据

之前就有人提出将CPU任务卸载到存储基础架构这一概念,自从RAID控制器及其提供的数据服务兴起依赖,这一概念更是得到了广泛应用。例如卷克隆之类的功能都是通过在阵列内部复制数据来消除服务器和存储阵列之间的流量。

现在芯片技术发展很快,通过在设备上执行一些过去在CPU上执行的一些计算任务可以减少数据迁移,节省带宽,提高整体并行性从而提高整个系统的效率。

我们无法将最新的Intel X86 CPU和小型双核ARM设备进行比较,但是我们可以拥有数十个小的CPU,通过足够的RAM和连接让他们执行许多简单的任务。由存储设备执行的这些操作可以将数据保持在本地,将延迟降到最低,同时可以提高整体并行性和系统效率。另外由于故障域较小,可以提高整个基础架构的可扩展性。

OpenIO是一家计算存储公司,它们把开源软件运行在标准的硬件上,已经在计算存储方面取得了巨大进展,nano-node就是一个例子。

最近,OpenIO正在与硬件公司合作,工作成果很快就可以展示出来。目前一些初创公司已经在设计旨在加速特定工作负载的计算存储设备,不过这只是一个开始。这方面的明星创业公司包括ScaleFlux和NGD System。

Serverless成为计算存储的关键

为了使计算存储能够广泛使用,我们必须将它简单化。目前最简单的编程模型就是Serverless计算。

其函数是一小段代码,它的运行时间很短,通常由事件触发。它们通常对底层硬件一无所知。另外对象存储非常适合Serverless计算。如果有支持KV存储的SSD,就更方便了。

计算存储的过程非常简单。设备读取或删除的每个数据位都可以创建可触发功能的事件。功能暂时存在于缓存容器中,并执行简单的任务,如检查数据的有效性,过滤不必要的信息,扫描特定的模式,甚至进行更复杂的操作,如图像识别,视频采样等。应用程序范围很广,这样就可以通过隐藏基础架构的复杂性来解决可伸缩性问题。

开发人员只需编写于特定文件类型、事件或操作相关联的几行代码即可,存储结构件在有需要时部署此代码完成相应的工作。

让CPU接近数据和让数据接近CPU还是有很大不同的。

未来已来

目前这些设备已经可以投入使用,而且这些强大的开发软件是开源的。

我们坚信对象存储和Serverless计算的结合是对可扩展性,性能优化和效率问题的最好解决方案。对象存储带来了可靠的分布式存储层,Serverless计算以轻量级和超级扩展的方式在本地对数据进行操作,这不止是超融合(hyperconvergence)。

可惜的是上述模型仅仅适用于非结构化数据,不过一些初创公司已经采取类似的方法在具有嵌入式计算功能的主板设备上进行计算工作。

闭环操作

计算存储还没有被广泛使用,目前它只被应用于大规模基础设施中。但是相关应用程序的数量正在迅速增长。如工业物联网和边缘计算需要简单但功能强大的基础设施,同时必须具有持久、可靠的传感器数据存储,还需要CPU来验证数据,对其进行优化,同时决定应将那些内容发送到用于长期存储,大数据分析或其他操作的云。

在不久的将来,随着价格的降低和闪存技术的成熟,相信我们会看到越来越多的计算存储设备和无服务器框架,纳米节点、微服务器和专用PCIe卡只是一个开始。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • cpu
    cpu
    +关注

    关注

    68

    文章

    11218

    浏览量

    222976
  • 数据
    +关注

    关注

    8

    文章

    7315

    浏览量

    93992
  • serverless
    +关注

    关注

    0

    文章

    65

    浏览量

    4851

原文标题:把CPU放到存储中:提升计算存储性能

文章出处:【微信号:SSDFans,微信公众号:SSDFans】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    DDR SDRAM是什么存储器(双数据速率同步动态随机存取存储器介绍)

    计算机和电子设备中,存储器扮演着数据临时存放与快速交换的关键角色。其中,DDR SDRAM(双数据速率同步动态随机存取
    的头像 发表于 12-08 15:20 63次阅读

    亚马逊云科技推出Amazon DocumentDB Serverless,简化数据库管理并大幅节省成本

    )的一种全新配置,能够根据应用程序需求自动扩展计算和内存资源。Amazon DocumentDB Serverless简化了数据库管理,无需前期承诺,也不会产生额外成本,与为应对峰值负载而长期预置资源的方式
    的头像 发表于 08-15 13:11 428次阅读

    揭秘京东 API,京东店铺商品推荐懂用户

    探讨如何利用它推荐系统“懂”用户的需求,从而提升转化率和用户满意度。 什么是京东 API? 京东 API(Application Programming Interface)是一套编程接口,允许开发者接入京东平台的数据和服务
    的头像 发表于 08-14 15:04 703次阅读
    揭秘京东 API,<b class='flag-5'>让</b>京东店铺商品推荐<b class='flag-5'>更</b>懂用户

    探索CPU架构的奥秘,揭秘高性能计算的隐形引擎

    的深海,揭开那些隐藏在高性能计算背后的神秘面纱。1.取指令(Fetch)程序计数器(PC):CPU通过程序计数器获取下一条指令的内存地址。指令读取:从存储器或缓存中读
    的头像 发表于 08-13 11:58 529次阅读
    探索<b class='flag-5'>CPU</b>架构的奥秘,揭秘高性能<b class='flag-5'>计算</b>的隐形引擎

    P2P技术——数据采集系统高效存储关键

    P2P技术凭借其直连高效、低延迟的特点,已成为数据采集系统实现高效数据存储关键技术。作为专业的数据
    的头像 发表于 07-24 17:24 540次阅读
    P2P技术——<b class='flag-5'>数据</b>采集系统高效<b class='flag-5'>存储</b>的<b class='flag-5'>关键</b>

    半导体存储芯片核心解析

    记忆(存储) 和 运算(处理)。CPU(中央处理器)是大脑,负责高速运算;但CPU处理的数据和指令需要临时存放的地方,运算结果也需要保存起来。存储
    发表于 06-24 09:09

    贞光科技代理紫光国芯存储芯片(DRAM),国产替代简单

    贞光科技作为业内知名的车规及工业元器件供应商,现已成为紫光国芯存储芯片的授权代理商。在半导体存储芯片国产化的关键时期,这一合作为推动DRAM等关键
    的头像 发表于 06-13 15:41 1185次阅读
    贞光科技代理紫光国芯<b class='flag-5'>存储</b>芯片(DRAM),<b class='flag-5'>让</b>国产替代<b class='flag-5'>更</b>简单

    能效提升3倍!异构计算架构AI跑得更快省电

    。它是应对复杂计算需求的关键技术之一。   异构计算架构的核心优势   异构计算架构的核心要素主要包括多种计算单元结合、任务分配机制和协同工
    的头像 发表于 05-25 01:55 3464次阅读

    HarmonyOS5云服务技术分享--Serverless抽奖模板部署

    手把手教你部署HarmonyOS Serverless抽奖活动模板(附贴心提醒) 嘿,小伙伴们!今天给大家分享一个超实用的教程——如何用华为HarmonyOS的Serverless模板快速搭建抽奖
    发表于 05-22 20:25

    HarmonyOS5云服务技术分享--Serverless搭建抽奖

    ✨【实战指南】手把手教你用华为AGC Serverless模板快速搭建抽奖活动✨ 嗨各位开发者小伙伴!今天给大家分享一个超实用的技巧——用华为应用市场AGC的Serverless模板三分钟搞定抽奖
    发表于 05-22 20:20

    【HarmonyOS NEXT】关键资产存储开发案例

    授权的应用程序才能访问存储数据。那么在鸿蒙里面对应的是什么呢? 1、关键资产(@ohos.security.asset) 在鸿蒙里面也有类似的东西,叫做关键资产
    发表于 05-16 16:21

    网关边缘计算数据处理贴近 一线

    拓四方TDE网关的边缘计算作为 “边缘智能” 的核心技术,正悄然改变着数据处理的规则 —— 它将计算能力下沉到网络边缘,数据在 “家门口”
    的头像 发表于 03-06 17:32 802次阅读

    爱立信如何网络运维简单

    在爱立信“可编程网络”这一创新概念里,差异化连接、AI赋能和意图驱动、网络能力开放作为三大基石,各司其职,网络智能、更灵活、开放。本期《信观察》,爱立信专家将从AI赋能和意图驱动的概念和功能入手,与您分享爱立信如何“
    的头像 发表于 03-03 09:27 1w次阅读

    解码TW6501:4K LDPC技术如何数据存储更可靠?

    解码TW6501:4K LDPC技术如何数据存储更可靠?
    的头像 发表于 01-21 16:33 764次阅读
    解码TW6501:4K LDPC技术如何<b class='flag-5'>让</b><b class='flag-5'>数据</b><b class='flag-5'>存储</b>更可靠?

    数据怎么云存储在电脑,数据怎么操作才能云存储在电脑

        想象一下,无论身处何地,只需通过网络连接,就能随时随地访问自己的电脑桌面,享受强大的计算资源和丰富的软件应用,这听起来是不是很神奇?如今,云电脑这一切变成了现实。今天就为大家介绍数据
    的头像 发表于 01-14 10:10 1159次阅读
    <b class='flag-5'>数据</b>怎么云<b class='flag-5'>存储</b>在电脑,<b class='flag-5'>数据</b>怎么操作才能云<b class='flag-5'>存储</b>在电脑