1.8版本中,官方终于加入了对AMD ROCm的支持,可以方便的在原生环境下运行,不用去配置Docker了。
1.8版本集合了自2020年10月1.7发布以来的超过3000次GitHub提交。 此外,本次更新还有诸多亮点:
优化代码,更新编译器
Python内函数转换
增强分布式训练
新的移动端教程与演示
新的性能检测工具
相关的库TorchCSPRNG, TorchVision, TorchText和TorchAudio也会随之更新。 要注意的是,自1.6起,Pytorch新特性将分为Stable、Beta、Prototype三种版本。其中Prototype不会包含到稳定发行版中,需要从Nightly版本自行编译。
Python to Python函数转换
新增的Beta特性torch.fx可以实现Python到Python的函数转换,可以方便的加入任何工作流程。
新的API,向NumPy学习!
1.7版本中增加的Beta特性torch.fft已成为正式特性。实现了与Numpy中的np.fft类似的快速傅立叶变换,还增加了硬件加速支持与自动求导,以更好的支持科学计算。 还增加了Beta版NumPy风格的线性代数模块torch.linalg,支持Cholesky分解、行列式、特征值等功能。
增强分布式训练
增加了稳定的异步错误与超时处理,增加NCCL的可靠性。 增加了Beta版的流水线并行功能*(Pipeline Parallelism)*,可将数据拆解成更小的块以提高并行计算效率。
△Pipeline Parallelism使用4个GPU时的工作示意图
增加Beta版的DDP通讯钩子,用于控制如何在workers之间同步梯度。 另外还有一些Prototype版的分布式训练新特性。ZeroRedundancyOptimizer:用于减少所有参与进程的内存占用。Process Group NCCL Send/Recv:让用户可在Python而不是C++上进行集合运算。CUDA-support in RPC using TensorPipe:增加对N卡多卡运算的效率。Remote Module:让用户像操作本地模块一样操作远程模块。
移动端新教程
随本次更新发布了图像分割模型DeepLabV3在安卓和IOS上的详细教程。 以及图像分割、目标检测、神经机器翻译等在安卓和IOS上的演示程序,方便大家更快上手。
另外还有PyTorch Mobile Lite Interpreter解释器,可以减少运行时文件的大小。
原文标题:PyTorch 1.8来了!正式支持AMD GPU,炼丹不必NVIDIA
文章出处:【微信公众号:深度学习自然语言处理】欢迎添加关注!文章转载请注明出处。
责任编辑:haq
-
amd
+关注
关注
25文章
5647浏览量
138997 -
python
+关注
关注
57文章
4856浏览量
89547 -
pytorch
+关注
关注
2文章
813浏览量
14679
原文标题:PyTorch 1.8来了!正式支持AMD GPU,炼丹不必NVIDIA
文章出处:【微信号:zenRRan,微信公众号:深度学习自然语言处理】欢迎添加关注!文章转载请注明出处。
发布评论请先 登录
用ROCm部署PP-StructureV3到AMD GPU上
AMD Vitis AI 5.1测试版发布
全新升级 | 匠芯创AiUIBuilder V2.0.0发布
G2发布最新报告,Splashtop 荣膺多区域领导者,IT 远程解决方案获全球认可
技嘉2025发布会:“从心出发 我们的主张”,迈向AI新纪元
ROCm 6.2.4 成功移植至 SG2044: 大模型部署速率飙升,RISC-V + AI 新纪元!代码已经开源,一起来试试!
摩尔线程发布Torch-MUSA v2.0.0版本 支持原生FP8和PyTorch 2.5.0
技嘉CES 2025发布B800系列主板,AI重塑游戏性能
利用Arm Kleidi技术实现PyTorch优化

PyTorch 1.8发布,支持AMD ROCm
评论