GTC 2023：深度学习之张星并行和流水线并行
除了数据并行之外，还有其他的主流并行技术，即张星并行和流水线并行训练。
张星并行和流水线并行技术通常被描述为模型并行，在开源社区中，最著名的两个系统是NVIDIA的Megatron- M和Microsoft的DeepSpeed。
Megatron- M使用一维张量并行，线算符的权重被分割，大型矩阵乘法被分解为在不同设备上执行的较小矩阵藏法，这可以是模型大小在集群中扩展并提高计算效率。
微软的DeepSpeed和NVIDIA的Megatron- M兼容，并通过Zero Redundancy Optimizer改善数据并行训练，消除内存冗余。
Colossal-AI不仅提供了完整的现有并行方法，还提供了更高级的办法，例如2D、2.5D 和3D张星并行，以及序列并行。
与1D张量并行相比，这些并称为是2.5D 和3D张星并行，不仅切分参数，而且沿更多张量唯独切分输入和输出，正方形或者立方体的每个子集，表示可以分配给不同处理器的部分数据和工作。
2D张量并行基于经典SUMMA矩阵利法算法
声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表电子发烧友网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。
举报投诉
-
人工智能
+关注
关注
1820文章
50314浏览量
266868 -
英伟达
+关注
关注
23文章
4115浏览量
99604 -
深度学习
+关注
关注
73文章
5604浏览量
124615 -
gtc
+关注
关注
0文章
75浏览量
4775
发布评论请先 登录
相关推荐
热点推荐
FPGA中的流水线设计
令预取、 译码、 执行、 写回结果， openrisc采用的是 5 级整数流水线。当然它们的核心思想都是利用并行执行提高效率。总结一下，流水线就是插入寄存器，以面积换取速度。`
发表于 10-26 14:38
基于流水线负载平衡模型的并行爬虫研究
针对并行爬虫系统在多任务并发执行时所遇到的模块间负载平衡问题，提出流水线负载平衡模型(PLB)，将不同的任务抽象为独立模块而达到各模块的处理速度相等，采用多线程的方式
发表于 03-31 10:19
•19次下载
基于流水线技术的并行高效FIR滤波器设计
基于流水线技术的并行高效FIR滤波器设计
基于流水线技术，利用FPGA进行并行可重复配置高精度的FIR滤波器设计。使用VHDL可以很方便地改变滤波器的系数和阶数。在DSP中采用
发表于 03-28 15:12
•1048次阅读
基于流水线的并行FIR滤波器设计
基于流水线技术，利用FPGA进行并行可重复配置高精度的 FIR滤波器 设计。使用VHDL可以很方便地改变滤波器的系数和阶数。在DSP中采用这种FIR滤波器的设计方法可以充分发挥FPGA的优势。
发表于 07-18 17:09
•63次下载
Verilog基本功之：流水线设计Pipeline Design
，并暂存中间数据的方法。 目的是将一个大操作分解成若干的小操作，每一步小操作的时间较小，所以能提高频率，各小操作能并行 执行，所以能提高数据吞吐率（提高处理速度）。 二. 什么时候用流水线设计 使用流水线一般是时序比较紧张
发表于 09-25 17:12
•7814次阅读
嵌入式_流水线
，每个子过程由专门的功能部件来实现。• 把多个处理过程在时间上错开，依次通过各功能段，这样，每个子过程就可以与其他的子过程并行进行。流水线中的每个子过程及其功能部件称为流水线的级或段，段与段相互连接形成
发表于 10-20 20:51
•6次下载
什么是流水线 Jenkins的流水线详解
jenkins 有 2 种流水线分为声明式流水线与脚本化流水线，脚本化流水线是 jenkins 旧版本使用的流水线脚本，新版本 Jenkin
发表于 05-17 16:57
•1780次阅读
以Gpipe作为流水线并行的范例进行介绍
和充沛优质的硬件资源 算法的迭代创新 在大模型训练这个系列里，我们将一起探索学习几种经典的分布式并行范式，包括 流水线并行（Pipeline Parallelism），数据
Google GPipe为代表的流水线并行范式
但在实际应用中，流水线并行并不特别流行，主要原因是模型能否均匀切割，影响了整体计算效率，这就需要算法工程师做手调。因此，今天我们来介绍一种应用最广泛，最易于理解的并行范式：数据并行。
评论