侵权投诉

计算存储驱动器如何与主机服务器交互详解

存储社区 2021-04-26 09:14 次阅读

计算存储将计算功能添加到存储驱动器中逐渐成为现实。NGD,Eideticon和ScaleFlux已将计算卡添加到SSD中,以使计算过程能够在存储的数据上运行,而无需将该数据移入主机服务器内存并使用其CPU来处理数据。据说视频转码是计算存储驱动器(CSD)的好用例。

但是,CSD如何与主机服务器交互。Blocks&Files采访了ScaleFlux的首席科学家张彤(Tong Zhang),以找出答案。

问题:让我们假设有一个视频转码或数据库记录处理应用程序。通常,将新的视频文件写入存储设备,其中新记录将出现在数据库中。服务器应用程序会意识到这一点,并开始处理服务器中的新数据。处理完成后,已转换的数据将写回到存储中。使用计算存储,整个过程是不同的。新数据被写入存储。现在,服务器应用程序必须告诉驱动器处理器处理数据。它是如何做到的?它如何告诉驱动器处理数据?

张彤:是的,为了将某些计算任务加载到计算存储驱动器中,主机应用程序必须能够与计算存储驱动器充分通信。这需要标准化的编程模型和接口协议,业界正在积极开发这些模型和接口协议(例如,NVMe TP 4091和SNIA计算存储工作组)。

问题:驱动器的主要活动是为驱动器IO提供服务,而不是处理数据。当驱动器还为IO请求提供服务时,驱动器CPU处理数据需要多长时间?时间长度可以预测吗?

张彤:计算存储驱动器在内部专用于为驱动器IO服务的许多嵌入式CPU(例如ARM内核),并专用于一定数量的嵌入式CPU和领域相关的硬件引擎(例如,压缩,安全性,搜索,AI / ML,多媒体) 用于执行计算任务。应将CSD控制器设计为使领域相关的硬件引擎的性能与存储IO性能相匹配。

与任何其他形式的计算off-loading(例如GPU,TPU,FPGA)一样,开发人员在将计算任务off-loading到计算存储驱动器中时必须准确估计延迟/吞吐量性能指标。

问题:完成驱动器上的处理后,驱动器如何告知服务器应用程序数据已被处理,现在可以进行下一步处理了?使主机服务器应用程序与计算存储设备进行交互的软件框架是什么?它是一个开放的标准框架吗?

张彤:目前尚无开放和标准的框架,并且业界正在积极地对其进行工作(例如NVMe.org和SNIA计算存储工作组)。

问题: 让我们看一下处理所花费的时间。通常,我们将按以下顺序进行:服务器应用将新数据写入存储。它决定处理数据。数据被读入存储器。已处理。数据被写回到存储中。假设这需要时间T-1。与计算存储相比,顺序有所不同:Server应用程序将新数据写入存储。它决定处理数据。它告诉驱动器处理数据。驱动器处理数据。它告诉服务器应用程序处理完成的时间。假设这需要时间T-2。T-2比T-1大还是小?随着存储驱动器IO的上升和下降,T-2和T-1之间的关系是否随时间恒定?如果变化很大,那么计算存储肯定不适合关键的处理任务吗?处理驱动器上的数据是否比处理服务器本身中的相同数据消耗更少的电能?

张彤: T-1和T-2之间的关系取决于特定的计算任务以及主机和内部计算存储驱动器上的可用硬件资源。

例如,如果计算存储驱动器内部具有可以非常有效地处理任务的领域相关的的硬件引擎(例如,压缩,安全性,搜索,AI / ML,多媒体),则T2可以(比T-1小得多) 。但是,如果计算存储驱动器必须仅依靠其内部ARM内核来处理任务,同时主机具有足够的空闲CPU周期,则T-2可以大于T-1。

在计算存储驱动器内部,IO和计算任务由不同的硬件资源提供服务。因此,它们不会直接相互干扰。关于功率消耗,计算存储驱动器通常消耗较少的功率。如果当前的计算任务可以由计算存储驱动器内部的特定领域硬件引擎很好地完成,那么我们的等待时间会更短,同时功耗也会更低。

如果当前的计算任务仅由计算存储驱动器内部的ARM内核承担,则功耗仍然可以更低,因为我们大大降低了数据移动引起的功耗以及ARM内核的低功耗特性。

问题:我了解到,与服务器应用程序和CPU处理每个驱动器的数据相比,10或20个驱动器的整体处理速度更快,但是这种并行处理需要多长时间进行一次?

张彤:数据密集型应用程序(例如AI / ML,数据分析,数据科学,商业智能)通常需要对大量数据进行高度并行处理,这自然会受益于所有计算存储驱动器内部的并行处理。

总结

为了广泛使用,CSD将需要一种与主机服务器进行通信的标准方式,以便它可以请求主机进行工作并在工作完成时得到通知。为此,需要CSD上的专用处理硬件与常规驱动器IO处理硬件分开,以确保可预测的处理时间。

需要相对较低级别处理大量存储数据的较新的分析样式工作负载可以从CSD而不是由主机服务器CPU进行的并行处理中受益。NVMe.org和SNIA的计算存储工作组制定的标准将成为CSD采用该技术成为主流的途径。

我们还认为,CSD将需要一个标准接口来与GPU对话。毫无疑问,标准机构也在为此进行准备工作。
编辑:lyn

原文标题:计算存储如何与主机服务器交互?

文章出处:【微信号:TopStorage,微信公众号:存储社区】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
分享:

评论

相关推荐

哪些存储卡可以用于S7-400-CPU

哪些存储卡可以用于S7-400-CPU说明。
发表于 05-09 11:26 4次 阅读
哪些存储卡可以用于S7-400-CPU

CP343_1之间的以太网通讯设置

CP343_1之间的以太网通讯设置说明。
发表于 05-09 10:24 4次 阅读
CP343_1之间的以太网通讯设置

龙芯正式发布首个用中文编写的CPU规范

本月中旬,龙芯发布了龙芯自主指令系统架构LoongArch,并宣布会开放LoongArch指令,现在....
的头像 OpenFPGA 发表于 05-08 11:44 217次 阅读
龙芯正式发布首个用中文编写的CPU规范

古老CPU启示录-MC14500 1位CPU

古老CPU启示录-MC14500 1位CPU(ICU 简介 在20世纪80年代4位、8位CPU逐渐成....
的头像 OpenFPGA 发表于 05-08 11:31 200次 阅读
古老CPU启示录-MC14500 1位CPU

如何利用二极管的伏安特性来测量CPU的温度?

如何利用二极管的伏安特性来测量CPU的温度?
发表于 05-08 07:34 0次 阅读
如何利用二极管的伏安特性来测量CPU的温度?

芯片MCU是什么,它和CPU之间有什么区别吗

芯片MCU是什么意思?和CPU有什么区别? 一、指代不同 1、CPU:作为计算机系统的运算和控制核心....
发表于 05-07 16:57 150次 阅读
芯片MCU是什么,它和CPU之间有什么区别吗

西门子840D数控讲义

西门子840D数控讲义资料免费下载。
发表于 05-07 09:25 15次 阅读
西门子840D数控讲义

客户为什么会选择3700系列产品?

客户为什么会选择3700系列产品?3700系列产品有什么优点?...
发表于 05-07 06:33 0次 阅读
客户为什么会选择3700系列产品?

三款万兆光口网卡产品测评

我们在日常办公中,通常会遇到需要将一些较大的文件复制到别的电脑。如果采用邮箱发送,往往会超出附件限制....
发表于 05-06 15:19 54次 阅读
三款万兆光口网卡产品测评

在一体化生态孕育下 寒武纪业绩新增长点已显现

据悉,寒武纪相继披露了公司2020年度业绩以及2021年一季度业绩报告。 小编注意到,在其财报发布后....
的头像 半导体投资联盟 发表于 05-06 14:51 448次 阅读
在一体化生态孕育下 寒武纪业绩新增长点已显现

预计112家半导体公司盈利570亿元 8家亏损29亿元

2020年,在5G、智能化、新基建等新兴应用的驱动下,半导体行业景气度持续提升。受益于经济“双循环”....
的头像 半导体投资联盟 发表于 05-06 14:26 368次 阅读
预计112家半导体公司盈利570亿元 8家亏损29亿元

导热硅脂不容易涂抹怎么办

导热硅脂主要用于散热,用于填充cpu和散热器之间的间隙,来达到预期的散热性能,以避免CPU无法及时散....
发表于 05-06 11:49 68次 阅读
导热硅脂不容易涂抹怎么办

教你们怎么搭建一个拖垮公司的技术架构?

架构师不仅拿钱多,还受到程序员的崇拜、妹子的仰慕。 他们走路带风、出场自带BGM,吹啊吹,我的骄傲放....
的头像 Linux爱好者 发表于 05-06 11:24 192次 阅读
教你们怎么搭建一个拖垮公司的技术架构?

STM8 CPU编程手册英文版下载

STM8 CPU编程手册英文版下载
发表于 05-06 10:54 22次 阅读
STM8 CPU编程手册英文版下载

5G需要边缘计算的原因

边缘计算,是指在靠近物或数据源头的一侧,采用网络、计算、存储、应用核心能力为一体的开放平台,就近提供....
发表于 05-06 09:59 236次 阅读
5G需要边缘计算的原因

基于XPort和ZigBee模块实现嵌入式设备入网的设计

ZigBee技术作为一种新型的近距离、低功耗、低数据传输率的双向无线通信技术,在家电产品中得到越来越....
的头像 电子设计 发表于 05-05 17:27 290次 阅读
基于XPort和ZigBee模块实现嵌入式设备入网的设计

基于使用PERSEUS-3计算机自制机器语言编程

2007年,我开发了一种名为PERSEUS-3的计算机,以克服1980年自制的机器语言计算机遭受的挫....
的头像 lhl545545 发表于 05-01 10:03 172次 阅读
基于使用PERSEUS-3计算机自制机器语言编程

探究远程升级单片机程序设计思路

之前给大家分享过IAP升级APP的例子,今天为大家分享一下远程升级单片机的设计思路。 在物联网应用中....
的头像 strongerHuang 发表于 04-30 13:54 132次 阅读
探究远程升级单片机程序设计思路

嵌入式开发中中断与轮询的内涵与区别

摸水了一周,准备在家里好好敲敲代码,赶赶稿子,正当我专心输出的时候,被老婆打断了。 娃拉臭了,赶紧过....
的头像 strongerHuang 发表于 04-30 11:51 213次 阅读
嵌入式开发中中断与轮询的内涵与区别

新形势下的安全边界防护解决方案

4月28日,429首都网络安全日活动在北京国家会议中心正式拉开帷幕。兆芯展台上,丰富多样的网安解决方....
的头像 兆芯 发表于 04-30 11:28 348次 阅读
新形势下的安全边界防护解决方案

全网最全科普FPGA技术知识

FPGA 是可以先购买再设计的“万能”芯片。FPGA (Field Programmable Gat....
的头像 FPGA之家 发表于 04-30 11:13 342次 阅读
全网最全科普FPGA技术知识

不拆解PLC内部 都不知道它厉害!

PLC,可编程逻辑控制器,是工业自动化中最常用的控制器,也是电气自动化工程师最为熟悉的自动化产品。如....
的头像 工控论坛 发表于 04-30 10:48 337次 阅读
不拆解PLC内部 都不知道它厉害!

西门子PLC_CPU的冷启动、暖启动、热启动的区别

西门子PLC_CPU的冷启动、暖启动、热启动的区别介绍。
发表于 04-30 10:33 48次 阅读
西门子PLC_CPU的冷启动、暖启动、热启动的区别

简述什么GPU什么是显卡及他们之间的区别

什么是显卡? 显卡(Video card,Graphics card)全称显示接口卡,又称显示适配器....
的头像 新机器视觉 发表于 04-30 09:58 236次 阅读
简述什么GPU什么是显卡及他们之间的区别

赛默斐视薄膜表面瑕疵在线检测仪实时在线表面质量检测

将工业线阵CCD 相机架设在生产线上方,同时采用高亮的LED线性聚光冷光源进行背打光,通过线阵CCD....
发表于 04-30 09:57 65次 阅读
赛默斐视薄膜表面瑕疵在线检测仪实时在线表面质量检测

S7-300将SINAMICS-S120连接至T-CPU

S7-300将SINAMICS-S120连接至T-CPU的方法说明。
发表于 04-30 09:49 13次 阅读
S7-300将SINAMICS-S120连接至T-CPU

西门子PLC密码三种保护级别和程序块加密方法

西门子PLC密码三种保护级别和程序块加密方法说明。
发表于 04-30 09:45 22次 阅读
西门子PLC密码三种保护级别和程序块加密方法

高通收购NUVIA之后CPU的重大转变

高通(Qualcomm)1月13日宣布,将以14亿美元收购NUVIA——这家初创公司由最初参与了苹果....
的头像 ssdfans 发表于 04-29 15:19 711次 阅读
高通收购NUVIA之后CPU的重大转变

在PCS7系统中安装PH2014SP3

PCS 7 Process Historian (简称 PH)是基于 Microsoft SQL S....
发表于 04-29 14:56 30次 阅读
在PCS7系统中安装PH2014SP3

如何安装ChirpStack服务器

ChipStack是目前使用最广泛的一个开源的LoRaWAN®服务器。它提供非常简洁、友好的Web界....
发表于 04-29 11:22 61次 阅读
如何安装ChirpStack服务器

关于指针类型8个例子详细解析

int **va;这是一个整型的二级指针,用于存放一个内存的地址,该地址对应的内存中存放了另一个整型....
的头像 玩转单片机 发表于 04-28 17:11 307次 阅读
关于指针类型8个例子详细解析

解析Roofline模型实践

在多核异构的时代,软件人员普遍面临的一个困惑是,面对如此复杂的系统,应该如何部署我们的算法,是应该让....
的头像 Linuxer 发表于 04-28 16:14 169次 阅读
解析Roofline模型实践

OCP网卡或成数据中心发展主流

2021年,由浪潮牵头研发基于OCP标准的整机柜管理架构,并在近期发布了设计规范1.0版本。在整机柜....
发表于 04-28 15:38 275次 阅读
OCP网卡或成数据中心发展主流

LR-LINK联瑞四光口千兆以太网卡产品特性介绍

自全球贸易战争爆发以来,以美国为首的西方国家对我国商品进行经济制裁和科技封锁,包括以华为、中兴在内的....
发表于 04-28 15:32 87次 阅读
LR-LINK联瑞四光口千兆以太网卡产品特性介绍

LR-LINK联瑞推出全新支持万兆电口的服务器系列网卡

LR-LINK联瑞推出全新支持万兆电口的服务器系列网卡,该系列网卡主要有三款,分别是万兆双电口网卡(....
发表于 04-28 15:27 37次 阅读
LR-LINK联瑞推出全新支持万兆电口的服务器系列网卡

解密Arm Neoverse V1和Neoverse N2平台为下一代基础设施带来计算变革

基于CMN-600的成功基础,CMN-700在每个矢量上进一步提升了性能——从内核的数量、缓存的大小....
的头像 西西 发表于 04-28 15:26 263次 阅读
解密Arm Neoverse V1和Neoverse N2平台为下一代基础设施带来计算变革

基于ESP8266电路使房屋备用开关照明工作

我们可以使用ESP8266电路使房屋中的照明开关更智能,因此,如果没有WiFi,它将继续作为普通开关....
的头像 电子设计 发表于 04-28 14:08 235次 阅读
基于ESP8266电路使房屋备用开关照明工作

基带处理器的一般设计原则资料下载

电子发烧友网为你提供基带处理器的一般设计原则资料下载的电子资料下载,更有其他相关的电路图、源代码、课....
发表于 04-28 08:50 23次 阅读
基带处理器的一般设计原则资料下载

华为重金布局云业务,加速行业全面云化和智能升级

  最近,华为开发者大会2021(Cloud)在深圳大学城召开,华为常务董事余承东以华为云CEO的身....
的头像 牵手一起梦 发表于 04-27 15:35 317次 阅读
华为重金布局云业务,加速行业全面云化和智能升级

通过了解寄存器的功能与作用去揭秘CPU核心技术

这篇文章就以市场应用最为广泛的x86-x64架构为目标,通过学习了解它内部的100个寄存器功能作用,....
的头像 FPGA之家 发表于 04-27 14:32 213次 阅读
通过了解寄存器的功能与作用去揭秘CPU核心技术

OBS助力中国跨国企业出海:高效远程办公是保障运营弹性的重要一环

Orange Business Services的协作工具也将帮助企业IT团队解决问题,全面了解员工....
的头像 西西 发表于 04-27 14:27 309次 阅读
OBS助力中国跨国企业出海:高效远程办公是保障运营弹性的重要一环

ADI技术文章:FPGA电源系统管理

FPGA需要几个不同的低压供电轨,每个供电轨都有自己的电压和电流规格,以便为其内核逻辑、I/O电路、....
发表于 04-27 13:51 1945次 阅读
ADI技术文章:FPGA电源系统管理

大家都在加注芯片 英特尔为何一头扎向医疗?

你有没有发现,生态已经成为一个言无不及的概念? 得益于互联网大厂的加持,从BAT到TMD,生态的概念....
的头像 Les 发表于 04-27 11:00 426次 阅读
大家都在加注芯片 英特尔为何一头扎向医疗?

Nexperia第二代650V氮化镓场效应管使80 PLUS®钛金级电源可在2kW或更高功率下运行

基础半导体器件领域的专家Nexperia今天宣布其第二代650 V功率GaN FET器件系列开始批量....
发表于 04-27 09:35 211次 阅读
Nexperia第二代650V氮化镓场效应管使80 PLUS®钛金级电源可在2kW或更高功率下运行

处理器的正弦计算资料下载

电子发烧友网为你提供处理器的正弦计算资料下载的电子资料下载,更有其他相关的电路图、源代码、课件教程、....
发表于 04-27 08:41 10次 阅读
处理器的正弦计算资料下载

怎样去设计嵌入式WEB服务器?

怎样去设计嵌入式WEB服务器? 怎样去设计嵌入式WEB服务器的软件? ...
发表于 04-27 07:10 0次 阅读
怎样去设计嵌入式WEB服务器?

求一种嵌入式系统全程喂狗策略及实现方法

怎样去设计看门狗电路? 喂狗策略是如何实现的? ...
发表于 04-27 07:07 0次 阅读
求一种嵌入式系统全程喂狗策略及实现方法

基于μC/0S—II的时间片调度法有哪些应用实例?

调度原理是什么? 基于μC/0S—II的时间片调度法有哪些应用实例? ...
发表于 04-27 06:53 0次 阅读
基于μC/0S—II的时间片调度法有哪些应用实例?

VxWorks任务编程中有哪些常见的异常情况?

VxWorks任务编程中有哪些常见的异常情况?
发表于 04-27 06:43 0次 阅读
VxWorks任务编程中有哪些常见的异常情况?

如何去设计并实现嵌入式软PLC系统?

嵌入式软PLC的总体结构有哪几部分? 如何去设计并实现嵌入式软PLC系统? ...
发表于 04-27 06:27 0次 阅读
如何去设计并实现嵌入式软PLC系统?

求一份嵌入式视频服务器软件的设计方案

什么是H.264视频编码技术? 是什么构成了视频监控系统的总体结构? 怎样去设计视频监控系统? ...
发表于 04-27 06:18 0次 阅读
求一份嵌入式视频服务器软件的设计方案

嵌入式系统是怎样应用到企业中去的?

请问嵌入式系统是怎样应用到企业中去的?
发表于 04-27 06:18 0次 阅读
嵌入式系统是怎样应用到企业中去的?

Magny-Cours 12核微架构资料下载

电子发烧友网为你提供Magny-Cours 12核微架构资料下载的电子资料下载,更有其他相关的电路图....
发表于 04-26 08:51 39次 阅读
Magny-Cours 12核微架构资料下载

国内处理器的指令集体系及技术来源资料下载

电子发烧友网为你提供国内处理器的指令集体系及技术来源资料下载的电子资料下载,更有其他相关的电路图、源....
发表于 04-26 08:43 167次 阅读
国内处理器的指令集体系及技术来源资料下载

如何保护Linux系统安全?

请问有什么方法可以保护Linux系统的安全?
发表于 04-26 06:41 0次 阅读
如何保护Linux系统安全?

如何用S7-300与S7-400现实路由功能详解

“S7 路由”是在西门子 S7 产品所组成的网络中,跨越两个以上网段进行网络访问。对于大多数可编程逻....
的头像 机器人及PLC自动化应用 发表于 04-25 18:21 360次 阅读
如何用S7-300与S7-400现实路由功能详解

CPU采用的是哈佛结构还是冯诺依曼结构?

现代的CPU基本上归为冯诺伊曼结构(也成普林斯顿结构)和哈佛结构。 冯洛伊曼结构就是我们所说的X86....
的头像 玩转单片机 发表于 04-25 16:45 396次 阅读
CPU采用的是哈佛结构还是冯诺依曼结构?

DSP运营商能否转型为从卖网络管道转型为卖管道+算力?

目前制约千行百业数字化的关键是算力,制约工业互联网普及关键是算力,就是制约无人驾驶制关键还是算力。可....
的头像 通信头条 发表于 04-25 14:56 632次 阅读
DSP运营商能否转型为从卖网络管道转型为卖管道+算力?

TMS320VC5501 定点数字信号处理器

TMS320VC5501(5501)定点数字信号处理器(DSP)基于TMS320C55x™DSP生成CPU处理器内核。 C55x™DSP架构通过增加并行性和全面关注降低功耗来实现高性能和低功耗。 CPU支持内部总线结构,该结构由一个程序总线,三个数据读总线,两个数据写总线以及专用于外设和DMA活动的附加总线组成。这些总线能够在一个周期内执行最多三次数据读取和两次数据写入。并行,DMA控制器可以独立于CPU活动执行数据传输。 C55x™CPU提供两个乘法累加(MAC)单元,每个单元能够进行17位×17位乘法运算。单循环。额外的16位ALU支持中央40位算术/逻辑单元(ALU)。 ALU的使用受指令集控制,提供优化并行活动和功耗的能力。这些资源在C55x CPU的地址单元(AU)和数据单元(DU)中进行管理。 C55x DSP代支持可变字节宽度指令集,以提高代码密度。指令单元(IU)从内部或外部存储器执行32位程序提取,并为程序单元(PU)排队指令。程序单元解码指令,将任务指向AU和DU资源,并管理完全受保护的管道。预测分支功能可避免执行条件指令时的管道刷新。 5501外设...
发表于 10-09 14:55 313次 阅读
TMS320VC5501 定点数字信号处理器