0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

关于HPC的高性能计算测试方法

智能计算芯世界 来源:智能计算芯世界 2023-01-04 14:18 次阅读

本文选自“服务器应用场景性能测试方法(高性能计算)”,本文的测试对象为用于高性能计算场景的服务器。本文中使用的高性能计算场景包括通用场景及各行业(制造行业、基因行业及气象行业)场景等。

31273276-8bf2-11ed-bfe3-dac502259ad0.png

测试平台由计算节点、高速互联网络组件、存储组件、管理与散热组件组成。用户通过 STAR-panel 进行测试运行。计算节点和部分高速互联组件,向 STAR-microbench 和 STAR-proxy 反馈性能信息。计算节点、高速互联网络组件、存储组件和散热与管理组件,向 STAR-panel 反馈功耗信息。

313f43d4-8bf2-11ed-bfe3-dac502259ad0.png

用例参数的取值应使得服务器正常运行的情况下CPU达到满载,每个用例测试3次,结果取平均值。运行某一应用所需要的时间,单位为秒(s),应用运行过程中,服务器的平均功率,单位为瓦(w)。

1、通用测试用例

在行业应用以外,HPC 领域有一些非常专业、有影响力、有代表性的应用可以体现高性能计算各 项性能,本文件选取其作为高性能计算领域的通用测试用例。

31560d8a-8bf2-11ed-bfe3-dac502259ad0.png

3160943a-8bf2-11ed-bfe3-dac502259ad0.png

高性能共轭梯度(HPCG)基准项目是一项旨在创建用于对 HPC 系统进行排名的新指标的工作。HPCG旨在作为高性能 LINPACK(HPL)基准的补充,该基准目前用于对 TOP500 计算系统进行排名。HPL的计算和数据访问模式仍然代表着一些重要的可伸缩应用程序,但不是全部。HPCG 旨在行使与不 同而广泛的重要应用程序更加紧密匹配的计算和数据访问模式,并激励计算机系统设计人员投资于将影 响这些应用程序总体性能的功能。

本测试使用HPCG官网提供的开源版本:OpenHPCG 进行测试。

2、制造行业 制造行业测试用例、工具及指标按照表的要求。

317eb78a-8bf2-11ed-bfe3-dac502259ad0.png

a) OpenFOAM 用例

OpenFOAM 的前身为 FOAM(Field Operation and Manipulation 的简写),后来作为开源代 码公布到网上,任何人都可以自由下载和传播它的源代码。目前 OpenFOAM 有两个版本:

1) 官方版本:www.openfoam.org 该版本以 Herny weller 为首的 OpenCFD 公司维护。该版本主要基于有限容积方法,功能 比较强大,目前商业 cfd 软件 cfx、fluent 能够支持的功能 openfoam 基本都能够支持。

318afd24-8bf2-11ed-bfe3-dac502259ad0.png

2) dev 版本:以 Hrvoje Jasak 为首的在 openfoam 官方版本进行扩充,除了官方版本的有限容积 方法,dev 版本支持有限元、有限面积等。OpenFOAM 是一个完全由 C++编写的面向对象计算流体力学(CFD)软件包,采用类似 于我们日常习惯的方法在软件中描述偏微分方程的有限体积离散化,支持多面体网格(比如 CD-adapco 公司推出的 CCM+生成的多面体网格),因而可以处理复杂的几何外形,其自带的 snappyHexMesh 可以快速高效的划分六面体+多面体网格,网格质量高。支持大 型并行计算,目前针对 OpenFOAM 库的 GPU 运算优化也正在进行中。

b) Mini App 用例 1—AMG-2013

AMG-2013 是一个线性系统的并行代数多重网格求解器,用于求解非结构化网格。在稀疏矩 阵计算,计算流体力学(CFD)中,AMG 方法占据着重要地位,是 CFD 领域的核心求解器之 一。AMG-2013 由美国劳伦斯-利弗莫尔实验室应用计算中心研发并在 GPL-2.1 许可证下开源。本用例将使用 AMG-2013 求解一个大型拉普拉斯方程,利用的计算方法为并行共轭梯度下降方法。每节点求解格点数为 100663296 个。

31aa4f30-8bf2-11ed-bfe3-dac502259ad0.png

c) Mini App 用例 2—MiniFE

miniFE 全称有限元方法求解器,用于模拟流体力学中常见的隐式非结构化网格求解过程。此 处选用该应用是为了考察 HPC 服务器在这类经典计算场景中的综合性能。

31ccb1c4-8bf2-11ed-bfe3-dac502259ad0.png

3、基因行业

基因行业测试用例、工具及指标按照表的要求。

31e024ca-8bf2-11ed-bfe3-dac502259ad0.png

a) GATK 用例

生命科学研究是 ARM HPC 所探索的关键领域之一。生物信息学是生命科学研究中以计算机 为工具对生物信息进行存储、检索和分析的科学,其研究重点体现在基因组学(Genomics) 和蛋白质组学(Proteomics),分析序列中表达结构功能的生物信息。生物信息测序技术包括一代、二代、三代测序技术,当前领域主要应用为二代和三代测序技术。两代测序技术分别对应不同生信软件的移植及使用,二代测序核心软件为GATK 工具集, 三代测序为 CANU。

31f0c744-8bf2-11ed-bfe3-dac502259ad0.png

GATK, Genome analysis Toolkit. 使用最广泛的二代测序分析软件,重视数据质量、基因分 析、变异查找,是 SNPs 和 Indels 检测的行业标准软件。GATK 最初设计为人类基因和外显子 分析,后来扩展为能对其它任何生物体、有机体进行分析。GATK 提供了一种人工编码算法, 将统计数据应用到测序机器最容易出错的地方。

b) CAUN 用例

Canu 是第三代基因测序工具的一种,专门用于集成 PacBio 或 Oxford Nanopore 基因序列。Canu 处理流程分为3个步骤:correction、trimming、assembly,每一步又由许多小步骤组成。一般情况下。3个步骤都会执行,但是可以用-correct,-trim or –assemble 指定运行哪一步(如果 你想对 reads 做一次 correct 操作,尝试别的不同的方法做 assemble)。大多数算法都可以实现 多线程(在一个node 上使用多个core),并行化(使用 grid 中的多个 node),或者两者都有。具体选用 CANU 开源算例 PacBio 来进行评测。

321020c6-8bf2-11ed-bfe3-dac502259ad0.png

c) Mini App1 用例—wtdbg2

Wtdbg2 是一个三代测序数据(同时适用于 pacbio 和 nanopore)denovo 组装软件,它是一款基 于 C 语言开发的开源软件。Wtdbg2 是从头序列装配器,用于由 PacBio 或 Oxford Nanopore Technologies(ONT)产生的长噪声读取。它组装原始读取而不进行纠错,然后从中间组装输 出建立共识。Wtdbg2 能够以比 CANU 和 FALCON 快几十倍的速度组装人类甚至 32Gb Axolotl 基因组,同时产生可比的碱基精度的重叠群。

323271ee-8bf2-11ed-bfe3-dac502259ad0.png

d) Mini App2 用例—NGS Analyzer-MINI

NGS Analyzer-MINI 基于基因分析软件 NGS Analyzer,由日本理研所基因药学研究中心开发。NGS Analyzer 快速地分析由下一代基因测序软件输出的数据并能够更准确的识别人与人之间 的基因差异或者肿瘤细胞的突变。

324d8ccc-8bf2-11ed-bfe3-dac502259ad0.png

4、气象行业

气象行业测试用例、工具及指标按照表的要求。

326878e8-8bf2-11ed-bfe3-dac502259ad0.png

a) WRF 用例及算例

WRF(Weather Research and Forecasting Model),是一个天气研究与预报模型,可以用来进 行精细尺度的天气模拟与预报,由美国环境预测中心(NCEP),美国国家大气研究中心(NCAR) 等美国的科研机构为中心开发一种统一的气象模式,分为 ARW(the Advanced Research WRF) 和 NMM(the Nonhydrostatic Mesoscale Model)两种,即研究用和业务用两种形式,分别由 NCEP 和 NCAR 管理维持着,适用于从数十米到数千公里的各种气象应用,是HPC 应用的重要场景之一。具体算例选择使用 Conus 2.5 km 开源算例来进行应用的评测。

3280f440-8bf2-11ed-bfe3-dac502259ad0.png

b) Mini App1 用例—NICAM-DC-MINI

Nicam-dc-mini 是NICAM-DC 应用的一个子集,它包含了运行一个斜压波浪测试的最小计算 流程。斜压波浪测试是一个著名的重现不稳定斜压震荡的大气循环模型。Nicam-dc-mini 保留 了其计算负载的特征,同时加入了完整的性能评测方法。

32966186-8bf2-11ed-bfe3-dac502259ad0.png

c) Mini App2 用例—COSMO

COSMO 是一个 1998 年开发的非流体静力学的在限定区域内的大气预测模型。COSMO 基于 原始的热流体动力学方程,描述了湿润大气中的可压缩流,常被用于数值气象预报以及其他基于该模型的科学计算。

32b18b5a-8bf2-11ed-bfe3-dac502259ad0.png

本文选自“服务器应用场景性能测试方法(高性能计算)”,绿色计算产业联盟,简称“GCC”。自成立以来 GCC 以协同构建绿色、开放、自主、共享生态体系为目标,致力于推动绿色计算产业发展,GCC 已经成为拥有包括天津飞腾、海 思、Marvell、Ampere 等全球最完整的 Arm 基础架构服务器芯片伙伴的全球联盟。截至目前,GCC 已 有单位会员近百家,包括芯片、设备和软件厂商,用户以及相关研究机构、高等院校等。

编辑:黄飞

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • cpu
    cpu
    +关注

    关注

    68

    文章

    10442

    浏览量

    206564
  • 服务器
    +关注

    关注

    12

    文章

    8116

    浏览量

    82509
  • HPC
    HPC
    +关注

    关注

    0

    文章

    279

    浏览量

    23418

原文标题:HPC常见应用高性能测试方法

文章出处:【微信号:AI_Architect,微信公众号:智能计算芯世界】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    RISC-V向高性能计算HPC)领域进军

    电子发烧友网报道(文/吴子鹏)此前,赛昉科技成都研发中心总经理孙勇在全球半导体产业(重庆)博览会上表示,RISC-V在IoT市场应用普遍,如今正逐步向移动设备、HPC、服务器等高性能计算领域渗透
    的头像 发表于 07-12 07:06 1777次阅读

    NVIDIA火热招聘GPU高性能计算架构师

    :hrallenlinGPU高性能计算架构师 (功能验证)- 校招/社招工作职责: * 深入了解下一代GPU架构与GPU高性能计算领域的最新功能* 与GPU架构设计者深入沟通以制定架
    发表于 09-01 17:22

    阿里云弹性高性能计算产品商业化正式发布

    ://click.aliyun.com/m/41646/[/url]弹性高性能计算(E-HPC)基于阿里云基础设施,为用户提供一站式公有云HPC服务,面向教育科研,企事业单位和个人,提
    发表于 02-02 16:36

    硬核浮点DSP模块将取代高性能计算GPGPU

    功能。用户可以使用Altera的FPGA和SoC来满足大计算量应用需求,例如应用在高性能计算(HPC)、雷达、科学和医疗成像等领域。  
    发表于 07-03 07:56

    HPC高性能计算知识介绍

    HPC高性能计算知识 异构并行计算
    发表于 05-29 17:45

    AutoKernel高性能算子自动优化工具

    主要由资深HPC工程师(高性能计算优化工程师)进行开发,为了加快开发进程,缩短深度学习应用落地周期,自动化算子优化是一个趋势。AutoKernel是由OPEN AI LAB提出的高性能
    发表于 12-14 06:18

    GPU领跑运算性能,实现高性能计算新突破

    2018 全国高性能计算学术年会(HPC CHINA 2018)于10月20日在青岛闭幕。大会以“HPC+一切皆可计算”为主题,围绕
    的头像 发表于 10-24 17:43 5079次阅读

    AMD CTO Mark Papermaster畅谈高性能计算

    去的18个月里,AMD在HPC领域东山再起。您认为高性能计算的趋势有哪些? 我们正处于高性能计算的转折点上。传统
    的头像 发表于 06-11 14:50 1101次阅读

    HPC SIG致力openEuler上的高性能计算软件生态

    经 openEuler 社区技术委员会讨论批准,openEuler 社区正式成立 HPC SIG。HPC SIG 致力于发展 openEuler 上的高性能计算软件生态,在 openE
    的头像 发表于 09-26 09:37 1906次阅读

    推动高性能计算 (HPC) 未来发展的趋势

    2021 年,我们见证了 Covid-19 大流行如何实时影响高性能计算 (HPC) 和数据中心行业。虽然每个人都学会了掌握远程工作和学习的艺术,但对更多计算能力和更少延迟的需求推动了
    的头像 发表于 07-18 16:11 1559次阅读

    什么是HPC高性能计算)?

    高性能计算 (High Performance Computing,又叫HPC、超级计算) 是指比传统计算机和服务器提供更高马力聚合
    的头像 发表于 11-01 11:47 2.2w次阅读

    被忽视的国之重器:高性能计算那些事儿

    高性能计算机(HPC,High Performance Computer,又称超级计算机)是国之重器。从核爆炸模拟、油藏模拟,到极端天气预报等,高性能
    的头像 发表于 12-02 14:25 774次阅读

    FPGA在高性能计算中的优势及其用例都有哪些?

    近年来,现场可编程门阵列 (FPGA) 因其可定制性、并行处理和低延迟而成为高性能计算 (HPC) 的可行技术。
    发表于 08-21 09:05 497次阅读
    FPGA在<b class='flag-5'>高性能</b><b class='flag-5'>计算</b>中的优势及其用例都有哪些?

    FPGA在高性能计算中的优势及其用例都有哪些?

    近年来,现场可 编程 门阵列 ( FPGA ) 因其可定制性、并行处理和低延迟而成为高性能计算 (HPC) 的可行技术。 高性能计算 (
    的头像 发表于 12-09 12:15 450次阅读
    FPGA在<b class='flag-5'>高性能</b><b class='flag-5'>计算</b>中的优势及其用例都有哪些?

    什么是HPC高性能计算

    高性能计算(HighPerformanceComputing,简称HPC),是指利用集群、网格、超算等计算机技术,通过合理地组织计算机资源以
    的头像 发表于 02-19 13:27 185次阅读
    什么是<b class='flag-5'>HPC</b><b class='flag-5'>高性能</b><b class='flag-5'>计算</b>