0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

GTC 2023|Colossal-AI系统的数据并行优化方案

西西 来源:GTC 2023 作者:GTC 2023 2023-03-23 17:00 次阅读

Colossal-AI的改变:

从Colossal-AI的GitHub star数量中看出,这是衡量其开源社区的指标。与其它非常流行的开源系统(如Spark、 MongoDB等)相比,在相同时间内Colossal-AI使用增长速度是最快的。

世界上37个国家的用户正在使用Colossal-AI,还有各种其他人工智能生态系统使用Colsssal-AI。

Colsssal-AI的重要功能——N-Dim并行系统

这可以将你的复杂模型可用硬件上,以便最大化使用并行同时最小化通信

Colsssal-AI提供了完整的并行方法,包括数据并行、张量并行、流水线并行和序列并行,同时还有团队提出的2维、2.5维和3维张量并行以及序列并行。

其中优化了数据并行,可以让你以最小的损失在相当大的规换下训练模型。

大规模优化器如何优化数据并行

与单个GPU训练相比数据并行训练将整个数据集分为几个分区。

每个GPU拥有1个数据集分区,模型在每个GPU上复制,开在其本地数据集分区进行训练,在反向传播期间计算的梯度,被平均并用于更新模型副本,可以确保在不同GPU之间同步模型。

然而,简单的增加批次大小,通常会导致泛化性能下降并降低计算精度。为了解决这些问题,研究出一种新的方法,可扩展的大规模优化器LARS和LAMB,适合大批量设置。

在ViT模型和ImageNet数据集上对可扩展的大规模优化器LARS和LAMB进行理论分析。他们可最大程度使用GPU资源,将ViT-B/32的训练时间从一个GPU的73小时减少到200个GPU的0.68小时,并实现几乎线性增加的加速度,并保证收敛。

编辑:黄飞

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • gpu
    gpu
    +关注

    关注

    27

    文章

    4336

    浏览量

    126295
  • 英伟达
    +关注

    关注

    21

    文章

    3263

    浏览量

    87474
  • 深度学习
    +关注

    关注

    73

    文章

    5200

    浏览量

    119803
  • gtc
    gtc
    +关注

    关注

    0

    文章

    72

    浏览量

    4350
收藏 人收藏

    评论

    相关推荐

    英伟达GTC大会将开幕 黄仁勋将带你《见证AI的变革时刻》

    英伟达GTC大会将开幕 黄仁勋将带你《见证AI的变革时刻》 全球都在关注的英伟达GTC大会将开幕,作为“AI风向标”大家都在期待英伟达在GTC
    的头像 发表于 03-18 18:25 1054次阅读

    潞晨科技Colossal-AI与浪潮信息AIStation完成兼容性互认证

    近日,潞晨科技的Colossal-AI大模型开发工具和浪潮信息的AIStation智能业务创新生产平台成功完成了兼容性互认证。这一合作意味着用户可以在AIStation平台上便捷地部署与调度Colossal-AI系统,从而极大提
    的头像 发表于 03-06 10:18 196次阅读

    潞晨科技Colossal-AI + 浪潮信息AIStation,大模型开发效率提升10倍

    的潞晨科技Colossal-AI系统,用户可实现在本地算力平台一键训练、微调、推理、部署大模型,将大模型开发效率提升10倍以上,并将算力效率提升2-3倍,在最大化提升大模型开发效率的同时,降低大模型开发及应用的门槛和成本。 Coloss
    的头像 发表于 03-01 09:43 204次阅读
    潞晨科技<b class='flag-5'>Colossal-AI</b> + 浪潮信息AIStation,大模型开发效率提升10倍

    是德科技推出AI数据中心测试平台旨在加速AI/ML网络验证和优化的创新

    2024年2月29日,是德科技(Keysight Technologies,Inc.)宣布,针对人工智能(AI)和机器学习(ML)基础设施生态系统,推出了 AI数据中心测试平台,旨在加
    的头像 发表于 02-29 09:32 213次阅读
    是德科技推出<b class='flag-5'>AI</b><b class='flag-5'>数据</b>中心测试平台旨在加速<b class='flag-5'>AI</b>/ML网络验证和<b class='flag-5'>优化</b>的创新

    KITA2GTC3325VTRBSTOBO1开发板运行的是什么系统

    请告知KITA2GTC3325VTRBSTOBO1 开发板运行的是什么系统(RTOS 或·····)?开发板的整个Demo code从哪里可以得到?
    发表于 02-01 06:10

    800G AI互连应用产品组合方案

    AI并行计算为主,接下来,本文将介绍800G数据中心的DAC、AOC和光模块的并行布线解决方案
    的头像 发表于 11-10 15:42 274次阅读
    800G <b class='flag-5'>AI</b>互连应用产品组合<b class='flag-5'>方案</b>

    基于紫光同创FPGA的多路视频采集与AI轻量化加速的实时目标检测系统

    基于紫光同创FPGA的多路视频采集与AI轻量化加速的实时目标检测系统#2023集创赛#紫光同创#小眼睛科技助力紫光同创高校生态建设@小眼睛科技 获奖作品展示:华南理工大学+CR8_Pro队
    发表于 11-02 17:51

    2023 云栖大会:NVIDIA AI 日程攻略先睹为快

    2023 云栖大会开幕在即, 10 月 31 日 - 11 月 2 日, NVIDIA 将前往杭州云栖小镇 赴约科技盛会, 带来围绕大模型、端到端网络解决方案、 生成式 AI、“她力量”、AI
    的头像 发表于 10-27 09:45 585次阅读
    <b class='flag-5'>2023</b> 云栖大会:NVIDIA <b class='flag-5'>AI</b> 日程攻略先睹为快

    英码科技精彩亮相火爆的IOTE 2023,多面赋能AIoT产业发展!

    产品,包括覆盖多层次算力的智能工作站(边缘计算盒子)、AI加速卡等;同时向大家展示自研的AI技术服务——“深元”0代码移植工具链和创新性的行业解决方案,赋能更多AIoT产业生态企业快速具备AI
    发表于 09-25 10:03

    AI智能呼叫中心

    实际情况进行资源的自动调度和优化,从而进一步提高工作效率和降低人力成本。总结,AI智能呼叫中心凭借自动化处理、个性化服务、数据驱动决策以及节约成本等一系列优势,为企业建立了更加高效、智能的服务
    发表于 09-20 17:53

    阿里平头哥发布首个 RISC-V AI 软硬全栈平台

    转自https://m.ithome.com/html/714391.htm 2023 RISC-V 中国峰会8月23日在北京召开,平头哥在会上发布了首个自研 RISC-V AI 平台。 据介绍,该
    发表于 08-26 14:14

    TSO.ai芯片测试空间优化方案:打通AI应用“最后一公里”

    原文标题:TSO.ai芯片测试空间优化方案:打通AI应用“最后一公里” 文章出处:【微信公众号:新思科技】欢迎添加关注!文章转载请注明出处。
    的头像 发表于 06-08 20:05 485次阅读
    TSO.<b class='flag-5'>ai</b>芯片测试空间<b class='flag-5'>优化</b><b class='flag-5'>方案</b>:打通<b class='flag-5'>AI</b>应用“最后一公里”

    自动驾驶资讯集锦:GTC 最新发布及汽车数字工厂精彩视频!

    2023 年 3 月 20 日 - 2023 年 3 月 23 日举行的 GTC 大会上,NVIDIA 分享了在加速计算、AI 和工业元宇宙技术突破的浪潮下,NVIDIA DRIV
    的头像 发表于 04-07 02:30 535次阅读

    GTC 2023 收官 —— 带你读懂 AI、元宇宙、大型语言模型、云计算等领域的最新进展

    数据中心级全栈加速计算平台的新进展,展示了新的 芯片和系统、加速库、云服务、AI 服务,以及助力拓展新市场的合作伙伴关系。 NVIDIA 正在构建加速计算生态系统。加速计算是减少功
    的头像 发表于 04-04 01:45 902次阅读

    新思科技发布业界首款全栈式AI驱动型EDA解决方案Synopsys.ai

    周期缩短了数周。Synopsys.aiEDA解决方案可提供以下AI驱动的解决方案:数字化设计空间优化以实现功耗、性能和面积(PPA)目标,并提高生产效率。截至
    发表于 04-03 16:03