0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

PyTorch 1.8发布,支持AMD ROCm

深度学习自然语言处理 来源:量子位 作者:梦晨 2021-03-08 10:50 次阅读

1.8版本中,官方终于加入了对AMD ROCm的支持,可以方便的在原生环境下运行,不用去配置Docker了。

△AMD ROCm只支持Linux操作系统

1.8版本集合了自2020年10月1.7发布以来的超过3000次GitHub提交。 此外,本次更新还有诸多亮点:

优化代码,更新编译器

Python内函数转换

增强分布式训练

新的移动端教程与演示

新的性能检测工具

相关的库TorchCSPRNG, TorchVision, TorchText和TorchAudio也会随之更新。 要注意的是,自1.6起,Pytorch新特性将分为Stable、Beta、Prototype三种版本。其中Prototype不会包含到稳定发行版中,需要从Nightly版本自行编译。

Python to Python函数转换

新增的Beta特性torch.fx可以实现Python到Python的函数转换,可以方便的加入任何工作流程。

新的API,向NumPy学习!

1.7版本中增加的Beta特性torch.fft已成为正式特性。实现了与Numpy中的np.fft类似的快速傅立叶变换,还增加了硬件加速支持与自动求导,以更好的支持科学计算。 还增加了Beta版NumPy风格的线性代数模块torch.linalg,支持Cholesky分解、行列式、特征值等功能。

增强分布式训练

增加了稳定的异步错误与超时处理,增加NCCL的可靠性。 增加了Beta版的流水线并行功能*(Pipeline Parallelism)*,可将数据拆解成更小的块以提高并行计算效率。

△Pipeline Parallelism使用4个GPU时的工作示意图

增加Beta版的DDP通讯钩子,用于控制如何在workers之间同步梯度。 另外还有一些Prototype版的分布式训练新特性。ZeroRedundancyOptimizer:用于减少所有参与进程的内存占用。Process Group NCCL Send/Recv:让用户可在Python而不是C++上进行集合运算。CUDA-support in RPC using TensorPipe:增加对N卡多卡运算的效率。Remote Module:让用户像操作本地模块一样操作远程模块。

移动端新教程

随本次更新发布了图像分割模型DeepLabV3在安卓和IOS上的详细教程。 以及图像分割、目标检测、神经机器翻译等在安卓和IOS上的演示程序,方便大家更快上手。

另外还有PyTorch Mobile Lite Interpreter解释器,可以减少运行时文件的大小。

原文标题:PyTorch 1.8来了!正式支持AMD GPU,炼丹不必NVIDIA

文章出处:【微信公众号:深度学习自然语言处理】欢迎添加关注!文章转载请注明出处。

责任编辑:haq

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • amd
    amd
    +关注

    关注

    25

    文章

    5139

    浏览量

    132541
  • python
    +关注

    关注

    51

    文章

    4657

    浏览量

    83377
  • pytorch
    +关注

    关注

    2

    文章

    757

    浏览量

    12793

原文标题:PyTorch 1.8来了!正式支持AMD GPU,炼丹不必NVIDIA

文章出处:【微信号:zenRRan,微信公众号:深度学习自然语言处理】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    AMD ROCm 6.1升级MIPOpen 3.1,引入AI参数预测模型

    在此期间,AMD 频繁向GitHub公共仓库推送有关 ROCm 6.1 的最新开发进展,透露出不久后有可能正式上线新版本的意图。
    的头像 发表于 02-29 14:33 183次阅读

    pytorch模型转换需要注意的事项有哪些?

    ,并且可以更积极地进行优化。 支持什么格式的pytorch模型? 答:Sophon的PyTorch模型编译工具BMNETP只接受PyTorch的JIT模型JIT模型(TorchScri
    发表于 09-18 08:05

    如何往星光2板子里装pytorch

    如题,想先gpu版本的pytorch只安装cpu版本的pytorch,pytorch官网提供了基于conda和pip两种安装方式。因为咱是risc架构没对应的conda,而使用pip安装提示也没有
    发表于 09-12 06:30

    基于PyTorch AMD的解决方案

    2.0经验的力量PyTorch AMD的解决方案
    的头像 发表于 09-04 16:11 464次阅读

    英特尔加入PyTorch基金会,通过PyTorch*推动AI普及

    与创新,在加速AI发展方面发挥关键作用。加入PyTorch基金会,进一步彰显了英特尔致力于通过技术支持并培育其生态系统以加速机器学习框架的演进。 英特尔自2018年起为PyTorch提供支持
    的头像 发表于 08-19 11:15 319次阅读

    深度学习框架pytorch介绍

    PyTorch具有易于使用的API和文档,并强制执行Python编码标准。这使得它成为机器学习从业者的首选框架之一。PyTorch支持CPU和GPU计算以及分布式训练模型。 PyTorch
    的头像 发表于 08-17 16:10 1012次阅读

    AMD 发布新的AMD ROCm 5.6开放软件平台

             近日,AMD 发布了新的 AMD ROCm 5.6 开放软件平台,AMD AI群组高级副总裁 Vamsi Boppana
    的头像 发表于 07-25 16:29 639次阅读

    AMD将于今年秋季在部分RDNA 3 GPU上添加ROCm支持

      AMD将于今年秋季在部分RDNA 3 GPU上添加ROCm支持   人工智能是塑造下一代计算的决定性技术。近几个月来,我们都看到了生成式人工智能和大语言模型的爆炸式增长正在彻底改变我们与技术
    的头像 发表于 07-25 15:40 448次阅读

    没有“中间商赚差价”, OpenVINO™ 直接支持 PyTorch 模型对象

    随着 OpenVINO 2023.0 版本的发布,OpenVINO 工具库中预置了全新的 PyTorch 前端,为开发者们提供了一条全新的 PyTorch 模型支持路径,带来更友好的用
    的头像 发表于 06-27 16:39 387次阅读
    没有“中间商赚差价”, OpenVINO™ 直接<b class='flag-5'>支持</b> <b class='flag-5'>PyTorch</b> 模型对象

    GPU平台生态:英伟达CUDA和AMD ROCm对比分析

    设计架构提供了硬件的直接访问接口,不必依赖图形 API 映射,降低 GPGPU 开发者编译难度,以此实现高粘性的开发者生态。目前主流的开发平台还包括 AMD ROCm 以及 OpenCL。
    的头像 发表于 06-06 14:36 1082次阅读
    GPU平台生态:英伟达CUDA和<b class='flag-5'>AMD</b> <b class='flag-5'>ROCm</b>对比分析

    KiCad 7.0.5发布

    7.0.3及7.0.4由于存在bug,短时间上线后快速下架。目前官方已发布稳定版7.0.5, 可以去以下链接下载:https://downloads.kicad.org/kicad/windows
    发表于 05-29 15:26

    GCC 12.3 发布,修复了 127+ 错误

    today. 虽然 GCC 13.1 最近作为 GCC 13 系列的第一个主要稳定版本发布,但对于那些继续依赖去年 GCC 12 稳定系列的人来说,今天有一个新的小版本可用。 GCC 12.3 于本周一发布
    发表于 05-25 08:22

    Linux 6.4-rc1发布

    https://lkml.org/lkml/2023/5/7/206 Linus Torvalds 本周初发布了 Linux 6.4-rc1,这也标志着令人兴奋的 Linux 6.4 周期合并窗口
    发表于 05-25 08:18

    KiCad 7.0.4发布啦!

    7.0.3由于存在严重bug,没有向公众发布。今天官方已发布稳定版7.0.4 可以去以下链接下载:https://downloads.kicad.org/kicad/windows/explore
    发表于 05-23 15:22

    开源软件库cpu_feature v0.8发布支持RISC-V CPU

    库可以访问https://github.com/google/cpu_features。 最近该库发布了v0.8版本,这个版本中一个重要的增强就是支持RISC-V CPU,不过只在Linux下支持
    发表于 04-25 16:37