侵权投诉

选择GPU服务器需要考虑哪些情况如何才能提升GPU存储性能

2021-02-08 17:37 次阅读

GPU是我们常用器件,采用GPU,才使得图形显示成为可能。在上期文章中,小编对GPU的加速原理等知识有所阐述。为增进大家对GPU的认识,本文将基于两点介绍GPU:1.选择GPU服务器需要考虑哪些情况,2.如何提升GPU存储性能。如果你对GPU具有兴趣,不妨继续往下阅读哦。

一、如何选择GPU服务器

当GPU型号选定后,再考虑用什么样GPU的服务器。这时我们需要考虑以下几种情况:

第一、在边缘服务器上需要根据量来选择T4或者P4等相应的服务器,同时也要考虑服务器的使用场景,比如火车站卡口、机场卡口或者公安卡口等;在中心端做Inference时可能需要V100的服务器,需要考虑吞吐量以及使用场景、数量等。

第二、需要考虑客户本身使用人群和IT运维能力,对于BAT这类大公司来说,他们自己的运营能力比较强,这时会选择通用的PCI-e服务器;而对于一些IT运维能力不那么强的客户,他们更关注数字以及数据标注等,我们称这类人为数据科学家,选择GPU服务器的标准也会有所不同。

第三、需要考虑配套软件和服务的价值。

第四、要考虑整体GPU集群系统的成熟程度以及工程效率,比如像DGX这种GPU一体化的超级计算机,它有非常成熟的从底端的操作系统驱动Docker到其他部分都是固定且优化过的,这时效率就比较高。

二、如何提升GPU存储性能

要获得最佳的GPU存储性能,就需要根据业务目标对基础架构进行微调。这里有三种方法可供考虑。

1.大规模调整性能

AI部署的快速增长和ML训练数据集的大小增加了计算基础架构的负担,STFC(The Science and Technology Facilities Council )则是这种典型的代表。尽管STFC已添加了高端GPU服务器以提供更高的计算支持,但STFC缺乏在数百个Researchers 中扩展资源所需的企业级存储功能。

通过在具有RDMA功能的高速网络(例如Infiniband或融合以太网(RoCE)v2上的RDMA)上实现NVMe-over-Fabrics协议,大型AI / ML用户组(例如STFC)可以虚拟化NVMe SSD在各种服务器上未使用的存储资源池,因此它们的性能就像在本地一样。通过这样做,可以在一个小时内完成机器学习培训任务,而以前则需要三到四天。即使具有复杂的模型训练任务,GPU存储也不再是瓶颈。

2.在并行文件系统下使用NVMe池化存储

当AI和ML应用程序涉及从许多GPU服务器访问大量小文件时,作为存储基础架构就必须部署并行分布式文件系统。并行文件系统还使存储更容易实现大多数AI / ML使用所需的高吞吐量和低延迟。在并行文件系统下具有快速、灵活的池化NVMe存储,可以改善对元数据的处理,从而实现更高的读取性能和更低的延迟,从而提高GPU服务器的利用率。

例如,一家超大型技术提供商最近推出了一种AI解决方案,用于预估保险公司使用的车辆碰撞场景。为了开发应用程序背后的AI逻辑,应用程序工作流涉及培训模型,方法是摄取多达2000万个小文件数据集,其中每个文件大小在150-700 KB之间。数据提取通常每8小时以100万个文件的速度或者每个客户端每秒最多35,000个文件进行。

通过在并行分布式文件系统下使用池化NVMe存储方法,该技术提供商消除了它遇到的存储瓶颈,并将存储性能提高了3-4倍。

3.检查特定于GPU的“高速公路”

新的数据中心架构正在以统一的方式提高服务器、网络和存储的性能。一种类似的方法于2019年秋季首次亮相,它将来自多个供应商的基础架构元素与GPU优化的网络和存储进行集成,以在GPU内存和存储之间打开直接的数据通道,从而完全绕开CPU。这使数据能够在GPU、存储和网络设备提供的“开放高速公路”上进行传输,从而实现了对NVMe企业级卓越性能的无障碍访问。

收藏 人收藏
分享:

评论

相关推荐

从半导体行业十大趋势看未来

2020年注定是被历史镌刻的一年,新冠疫情席卷全球,众多行业在停滞重启之后按下了加速键,新技术、新应....
的头像 Les 发表于 04-16 15:39 117次 阅读
从半导体行业十大趋势看未来

如何用AI和ML在酒店业实现利润最大化

由于COVID-19大流行,技术是我们今天的最佳选择。目前,所有行业都在采用人工智能(AI)和机器学....
的头像 beanxyy 发表于 04-16 15:04 106次 阅读
如何用AI和ML在酒店业实现利润最大化

如何利用AI、IOT、AR、VR、区块链和大数据留住客户详解

企业正在实施诸如人工智能(AI)、物联网(IoT)、增强现实(AR)、虚拟现实(VR)、区块链和大数....
的头像 beanxyy 发表于 04-16 14:53 136次 阅读
如何利用AI、IOT、AR、VR、区块链和大数据留住客户详解

将AI图片识别部署到物联网端侧与端侧应用条件要求

Edge AI是新的发展方向,它能够把数据处理分析过程从云端搬回本地,来避免网络传输延迟和潜在的隐私....
的头像 安森美半导体 发表于 04-16 13:54 105次 阅读
将AI图片识别部署到物联网端侧与端侧应用条件要求

浅谈华为提出迈向智能世界2030的九大技术挑战与研究方向

在2021华为全球分析师大会上,华为董事、战略研究院院长徐文伟发布了迈向智能世界2030的九大技术挑....
的头像 华为 发表于 04-16 11:30 186次 阅读
浅谈华为提出迈向智能世界2030的九大技术挑战与研究方向

浅谈GPU: 衡量计算效能的正确姿势(2)

这次我们准备聊下决定系统计算性能的两大关键指标,1. 浮点运算能力(FLOPS), 2. 内存带宽(....
的头像 Linuxer 发表于 04-16 11:12 97次 阅读
浅谈GPU: 衡量计算效能的正确姿势(2)

高危漏洞NAME:WRECK曝光,影响近亿台IoT设备

4月16日消息 通过和JSOF Research合作,网络安全公司Forescout Researc....
发表于 04-16 11:00 227次 阅读
高危漏洞NAME:WRECK曝光,影响近亿台IoT设备

2021年人工智能将如何改变制造业?

如今制造行业流行的是什么?我想,这可少不了“数字孪生”、“工业4.0”、“人工智能(AI)”。..。....
的头像 深圳创新设计研究院 发表于 04-16 10:22 231次 阅读
2021年人工智能将如何改变制造业?

歌尔发布新一代扬声器技术,智能终端音质提升一站解决

随着科技的进步,TWS耳机、智能手表、智能手环这类可穿戴设备功能丰富,集成度高。经过长期发展,其产品....
发表于 04-16 09:15 238次 阅读
歌尔发布新一代扬声器技术,智能终端音质提升一站解决

V模式的设计方法及自动代码生成资料下载

电子发烧友网为你提供V模式的设计方法及自动代码生成资料下载的电子资料下载,更有其他相关的电路图、源代....
发表于 04-16 08:54 5次 阅读
V模式的设计方法及自动代码生成资料下载

什么程序适合在GPU上运行?什么时候用CPU资料下载

电子发烧友网为你提供什么程序适合在GPU上运行?什么时候用CPU资料下载的电子资料下载,更有其他相关....
发表于 04-16 08:53 5次 阅读
什么程序适合在GPU上运行?什么时候用CPU资料下载

详解NPU如何实现边缘端本地AI/ML应用

近年来在边缘端的算力需求的提升是一个趋势, 所以MCU厂商的新品的主频都已经向上到了GHz级别,用上....
的头像 beanxyy 发表于 04-15 18:26 260次 阅读
详解NPU如何实现边缘端本地AI/ML应用

AI赋能各个医疗领域发生巨大改变

人工智能(简称AI)又称智能机械和机器智能,是指由人制造的机器所显示的智能。一般来说,人工智能是指通....
的头像 beanxyy 发表于 04-15 17:59 357次 阅读
AI赋能各个医疗领域发生巨大改变

外骨骼机器人助力人类增强或恢复身体机能

本月初,加拿大滑铁卢大学的研究人员更新了第一个开源的人类运动场景高分辨率可穿戴相机图像数据库。在此基....
的头像 Les 发表于 04-15 17:18 171次 阅读
外骨骼机器人助力人类增强或恢复身体机能

人工智能技术如何发挥作用?

当发生异常降雨时,污水处理设施被允许向河流中排放未处理过的污水。这是由于雨水和未经处理的污水会给污水....
的头像 机器视觉自动化 发表于 04-15 15:18 238次 阅读
人工智能技术如何发挥作用?

一文带你深入了解量子计算

量子计算使用亚原子粒子的物理学领域来执行复杂的并行计算,从而取代了当今计算机系统中更简单的晶体管。量....
的头像 Les 发表于 04-15 15:04 176次 阅读
一文带你深入了解量子计算

社区远程监护网络系统的应用设计与实现

随着社会的进步和科技的发展,以及人们的生活质量的不断改善,社区医疗保健(Community Heal....
的头像 电子设计 发表于 04-15 13:58 308次 阅读
社区远程监护网络系统的应用设计与实现

​GPU越做越大 到极限了怎么办?

消费用户市场,普通用户都能用上16核甚至64核处理器的PC。这可不是单纯堆核心就完事儿的。以当前CP....
的头像 电子发烧友网工程师 发表于 04-15 11:35 109次 阅读
​GPU越做越大 到极限了怎么办?

全新TCL 20 Pro 5G搭载Pixelworks人工智能视觉处理器正式推出

AI SDR转HDR – 智能场景检测增强视频和照片的实时SDR转HDR效果,从而提供比前几代更出色....
发表于 04-15 09:33 481次 阅读
全新TCL 20 Pro 5G搭载Pixelworks人工智能视觉处理器正式推出

NVIDIA携手阿斯利康和佛罗里达大学健康学院实现AI药物探索突破

NVIDIA 携手生物制药公司阿斯利康( AstraZeneca )和佛罗里达大学的学术健康中心和佛....
发表于 04-15 09:15 465次 阅读
NVIDIA携手阿斯利康和佛罗里达大学健康学院实现AI药物探索突破

选择电机型号时,工程师要考虑的三个首要因素资料下载

电子发烧友网为你提供选择电机型号时,工程师要考虑的三个首要因素资料下载的电子资料下载,更有其他相关的....
发表于 04-15 08:48 8次 阅读
选择电机型号时,工程师要考虑的三个首要因素资料下载

电子设计实施有效的安全认证方法资料下载

电子发烧友网为你提供电子设计实施有效的安全认证方法资料下载的电子资料下载,更有其他相关的电路图、源代....
发表于 04-15 08:48 6次 阅读
电子设计实施有效的安全认证方法资料下载

如何实现声音隔离?工程师可用哪些技术资料下载

电子发烧友网为你提供如何实现声音隔离?工程师可用哪些技术资料下载的电子资料下载,更有其他相关的电路图....
发表于 04-15 08:40 5次 阅读
如何实现声音隔离?工程师可用哪些技术资料下载

请问怎么设计一种远程控制实验系统?

怎么设计一种远程控制实验系统? 远程控制实验系统是如何构成的? DataSocket编程、Web Server和TCP编程有什么不同? ...
发表于 04-15 06:06 0次 阅读
请问怎么设计一种远程控制实验系统?

5G、IoT、AI如何在智慧农业系统中发挥作用的呢?

一个偶然机会,从不看电视新闻的我在央视新闻里看到一则关于自己家乡的扶贫报道。 我们那里属于典型的北方....
的头像 Les 发表于 04-14 18:11 947次 阅读
5G、IoT、AI如何在智慧农业系统中发挥作用的呢?

边缘AI如何利用下一代物联网

基于AI的机器学习技术已经超越了基于云的数据中心,因为重要的IoT传感器数据的处理越来越接近数据最初....
的头像 beanxyy 发表于 04-14 18:02 332次 阅读
边缘AI如何利用下一代物联网

5G时代有哪些关键的“省钱”技术?

而NFV(网络功能虚拟化)将网络功能从传统专用硬件设备解耦,并将虚拟化网络功能(软件)运行于通用的服....
的头像 倩倩 发表于 04-14 10:48 242次 阅读
5G时代有哪些关键的“省钱”技术?

Innodisk与Avalue合作,将AIoT带入台北市

Innodisk与Avalue的合作将进入台北市交通局运营的信号控制系统项目。该系统通过使用创新的I....
发表于 04-14 10:47 290次 阅读
Innodisk与Avalue合作,将AIoT带入台北市

华为发布新一代智能服务器 欧洲首个5G SA网络正式商用

华为发布新一代智能服务器 近日,华为发布了最新一代 FusionServer Pro V6 智能服务....
的头像 璟琰乀 发表于 04-14 10:38 657次 阅读
华为发布新一代智能服务器 欧洲首个5G SA网络正式商用

PCB设计:机器人核心算法板资料下载

电子发烧友网为你提供PCB设计:机器人核心算法板资料下载的电子资料下载,更有其他相关的电路图、源代码....
发表于 04-14 08:53 8次 阅读
PCB设计:机器人核心算法板资料下载

单片机基础及应用|80C51单片机的结构及信号引脚资料下载

电子发烧友网为你提供单片机基础及应用|80C51单片机的结构及信号引脚资料下载的电子资料下载,更有其....
发表于 04-14 08:47 12次 阅读
单片机基础及应用|80C51单片机的结构及信号引脚资料下载

揭露视频推荐系统AI秘方

时代的进步不只是有越来越多优质电影和创作者,不是观众品味提升了,还有耕耘每一份“心动”——“没有什么....
的头像 脑极体 发表于 04-13 20:34 417次 阅读
揭露视频推荐系统AI秘方

NVIDIA发布Morpheus:为网络安全行业带来了AI自动化

NVIDIA Morpheus应用框架,可为网络安全合作伙伴提供一整套能够实时检测和预防安全威胁的加....
发表于 04-13 17:06 852次 阅读
NVIDIA发布Morpheus:为网络安全行业带来了AI自动化

人工智能将带来新一轮的技术变革和社会经济变革

目前人工智能正在从感知智能走向认知智能,将带来新一轮的技术变革和社会经济变革。 4月7日,百分点科技....
的头像 电子观察说 发表于 04-13 16:49 206次 阅读
人工智能将带来新一轮的技术变革和社会经济变革

最新PCIe Gen 5 switch芯片已内置SerialTek PCIe抓包分析功能

2021年4月6日 Broadcom最新的PCIe Gen 5 switch芯片内置了SerialT....
的头像 ssdfans 发表于 04-13 15:30 125次 阅读
最新PCIe Gen 5 switch芯片已内置SerialTek PCIe抓包分析功能

下一个十年,中国城市的未来在哪里?

纵使外面风大浪急,中国坚定保持着自己的节奏。 不久前国家公布的十四五规划,宛如一幅徐徐展开的理想国度....
的头像 智谷趋势 发表于 04-13 15:10 297次 阅读
下一个十年,中国城市的未来在哪里?

华中数控发布全球首台智能数控系统,助力机床行业打破国外垄断

4月13日消息 在昨日的北京第十七届国际机床展举行期间,华中数控 “华中 9 型智能数控系统”产品正....
发表于 04-13 13:59 1062次 阅读
华中数控发布全球首台智能数控系统,助力机床行业打破国外垄断

浅析行星齿轮箱在3D扫地机上的应用

进入AI时代,为了解放双手市面上兴起了智能扫地机、洗碗机……而智能扫地机如今也不仅仅是把地扫干净那么....
的头像 永坤电机 发表于 04-13 13:44 219次 阅读
浅析行星齿轮箱在3D扫地机上的应用

业界唯一内置AI的数据中心CPU来了

业界唯一内置AI的数据中心CPU来了。4月6日,英特尔在北京首钢园推出第三代至强可扩展处理器(代号I....
的头像 机器人创新生态 发表于 04-13 11:34 347次 阅读
业界唯一内置AI的数据中心CPU来了

深度发问,解锁云计算与AI的绝对实力

回望 2020年,“逆行者”成为艰难时世中对英雄们的最美礼赞。当外部环境挑战重重,无数企业苦苦挣扎之....
的头像 IBM中国 发表于 04-13 11:15 228次 阅读
深度发问,解锁云计算与AI的绝对实力

IBM抓住时代趋势,混合云+AI开拓新局面

去年,一系列事件的发生,促使企业领导者将加快数字化重塑放在首要位置。 不过,很多企业也在苦苦挣扎,思....
的头像 IBM中国 发表于 04-13 11:11 244次 阅读
IBM抓住时代趋势,混合云+AI开拓新局面

英特尔技术支持的AI背包可以帮助视障人士导航和感知路途

人工智能(AI)开发者Jagadish K. Mahendran和他的团队设计了一款由人工智能驱动的....
的头像 电子发烧友网工程师 发表于 04-13 11:04 254次 阅读
英特尔技术支持的AI背包可以帮助视障人士导航和感知路途

AI制药是否正在走向成熟阶段?

AI + 制药的盛宴正在上演,站在 AI 制药风口下的 “主角们” 相继上场亮相。 根据 CB In....
的头像 DeepTech深科技 发表于 04-13 10:03 225次 阅读
AI制药是否正在走向成熟阶段?

大数据分析平台建设蓝图布局与驱动数字化转型的案例

如今数字化战略转型愈演愈烈,很多国企也加入了战队,说数字化转型是传统行业里一场盛大而又艰难的全民战役....
的头像 Tableau社区 发表于 04-13 09:29 453次 阅读
大数据分析平台建设蓝图布局与驱动数字化转型的案例

嵌入式系统与人工智能资料下载

电子发烧友网为你提供嵌入式系统与人工智能资料下载的电子资料下载,更有其他相关的电路图、源代码、课件教....
发表于 04-13 08:42 24次 阅读
嵌入式系统与人工智能资料下载

如何利用AI分析蒙娜丽莎面部情绪?

日常生活中,我们可以通过观察人的说话方式和脸色来揣摩别人的心思,因为每个人的音容相貌都隐藏着巨大的信....
的头像 IDG资本 发表于 04-12 11:18 208次 阅读
如何利用AI分析蒙娜丽莎面部情绪?

AI制药公司冰洲石生物科技宣布完成数千万美元新一轮融资

近日,AI制药公司Accutar Biotechnology(冰洲石生物科技)宣布完成数千万美元的新....
的头像 IDG资本 发表于 04-12 10:51 412次 阅读
AI制药公司冰洲石生物科技宣布完成数千万美元新一轮融资

后端服务器如何实现把数据返回给前端?

在移动互联网,分布式、微服务盛行的今天,现在项目绝大部分都采用的微服务框架,前后端分离方式,(题外话....
的头像 算法与数据结构 发表于 04-12 10:39 143次 阅读
后端服务器如何实现把数据返回给前端?

晶心科技RISC-V向量处理器NX27V升级至RVV 1.0

晶心科技宣布全球业界首款RISC-V向量处理器核心AndesCore™ NX27V升级支持最新RIS....
发表于 04-12 10:01 613次 阅读
晶心科技RISC-V向量处理器NX27V升级至RVV 1.0

声子BTE方程迭代求解在GPU上的并行加速方案

声子玻尔兹曼输运方程(BTE)可以有效地模拟介观尺度下的导热问题,相比于随机性方法,以有限体积法为代....
发表于 04-12 09:50 32次 阅读
声子BTE方程迭代求解在GPU上的并行加速方案

机器人运动控制系统的选型资料下载

电子发烧友网为你提供机器人运动控制系统的选型资料下载的电子资料下载,更有其他相关的电路图、源代码、课....
发表于 04-12 08:52 13次 阅读
机器人运动控制系统的选型资料下载

hi3861设备侧向华为云MQTT服务器上报数据的问题

求助一下,困扰我好久了,望前辈们能指点一下。以上是设备消息跟踪截图。连接上了,又被断开,从ONLINE->OFFLINE,...
发表于 04-05 22:27 39次 阅读
hi3861设备侧向华为云MQTT服务器上报数据的问题

4412开发板的TFTP服务器如何搭建?

如何搭建TFTP服务器,并且什么情况情况说明配置成功?...
发表于 04-02 07:16 0次 阅读
4412开发板的TFTP服务器如何搭建?

如何揭开 GPU 的神秘面纱?

GPU具体发挥着什么作用?关于GPU的可编程着色器应用分析...
发表于 04-02 06:16 0次 阅读
如何揭开 GPU 的神秘面纱?

c语言连接华为MQTT服务器,始终没连接上,已贴出代码图

[table] [tr][td] 1、用的鸿蒙系统,3861芯片,连接华为MQTT服务器 2、已经确保了wifi网络已经连接,而且确保了用...
发表于 03-31 12:00 65次 阅读
c语言连接华为MQTT服务器,始终没连接上,已贴出代码图

c语言连接华为MQTT服务器

1、用的鸿蒙系统,3861芯片,连接华为MQTT服务器 2、已经确保了wifi网络已经连接,而且确保了用工具可连接 MQTT服务...
发表于 03-31 11:55 144次 阅读
c语言连接华为MQTT服务器

Linux平台上如何进行通用计算并行优化

Linux平台上如何进行通用计算并行优化
发表于 03-12 07:43 0次 阅读
Linux平台上如何进行通用计算并行优化

GPU爆炸式发展背后的深层原因?

Bifrost架构如何提高效率和性能? Mali-G71如何通过创新技术来提升GPU性能? GPU爆炸式发展背后的深层原因? ...
发表于 03-11 06:48 707次 阅读
GPU爆炸式发展背后的深层原因?

PowerVR GX5300 GPU怎么样?

PowerVR GX5300 GPU为极低功耗和面积需求而优化 面向可穿戴和IoT的GPU用例 ...
发表于 03-09 08:04 0次 阅读
PowerVR GX5300 GPU怎么样?

Imagination Rogue GPU技术有哪些优势?

PowerVR 6系列GPU与竞争对手Mali-T600系列GPU的规格对比 PowerVR的看家本领——TBDR渲染技术 ...
发表于 02-26 07:39 0次 阅读
Imagination Rogue GPU技术有哪些优势?