微软已经为深度学习优化库 DeepSpeed 申请了商标保护。该商标于2020年12月8日提交,其中提到“为人工智能处理和深度学习提供临时使用的在线不可下载的计算机软件”,这表明微软可能在考虑通过在线云服务提供 DeepSpeed。
该库于今年 2 月发布,可以在适度的硬件上训练大规模的人工智能模型。它只需要使用 800 块 Nvidia V100 显卡就可以创建具有万亿参数的深度学习模型,是目前世界上最大的模型的 5 倍多。如果没有DeepSpeed,同样的任务需要 4000 块 Nvidia A100(性能比 V100 快2.5倍),而且事件缩短了 100 多天。
在 GPT-3 显示模型在神经网和数据集越大的情况下继续改进后,这个工具特别有用。然而,这确实有可能将最新的创新推到资源较少的小型团队的范围之外,但DeepSpeed已经允许这些团队以最小的硬件与更大的服务竞争。转移到云处理可能会使大型模型AI训练更容易获得。
责任编辑:haq
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。
举报投诉
-
微软
+关注
关注
4文章
6250浏览量
103081 -
人工智能
+关注
关注
1776文章
43899浏览量
230638 -
云服务
+关注
关注
0文章
751浏览量
38631
发布评论请先 登录
相关推荐
通过STM32+ESP8266 Wifi模块 +云服务器,做一个数据收发控制的板子云服务器方面该如何选择?
通过STM32+ESP8266 Wifi模块 +云服务器 做一个数据收发控制的板子
云服务器方面该如何选择?
发表于 04-25 08:16
如何远程登录云服务器?登录失败是什么原因?
我用Linux云服务器,遇到了有关远程登录的一些问题,于是搜索了一些资料,整理了一篇文档,作为记录。如果你也遇到过
相似的问题,欢迎一起探讨!
一、Linux云服务器的远程登录
远程登
发表于 02-01 15:32
PSoC4是否有可能在引导加载程序中将WCO延迟缩短到500毫秒?
大是否有可能在引导加载程序的以下功能中将 WCO 延迟缩短到 500 毫秒?
static void ClockSetup(void){/* Set Flash Cycles based
发表于 01-30 06:28
FPGA管教分配需要考虑因素
到 PCB 设计时的布线的难度,如果管脚的分配不合理,那么有可能在PCB 设计时出现大量的交叉的信号线,这给布线带来很大的困难,甚至走不通,或者是即便是布线走通了,也有可能由于外部的延时过大而不满足时序
发表于 01-10 22:40
微软自研AI芯片公布在即,云厂商进一步优化成本
电子发烧友网报道(文/周凯扬)据外媒透露,微软很有可能在11月举办的年度开发者Ignite大会上,公开其首个自研的AI芯片。该芯片将用于微软的数据中心服务器中,并为
配电系统智能在线监测
配电系统智能在线监测是指采用先进的传感器、通信、物联网、人工智能等技术,对配电系统的设备(如变压器、断路器、配电线路等)和电力运行状态(如电压、电流、功率因数、温度、湿度等)进行实时监测和预警。配电
Arm DS-5许可证管理指南
查看产品文档以确认支持哪些特定的操作系统变体。
浮动许可服务器平台不要求与工具平台相同。
例如,您可能在Windows上安装了开发工具,并使用Linux浮动许可服务器。
有关详细信息,请参阅您的产品
发表于 08-12 07:09
ARM Keil Studio云用户指南
和服务。
Keil Studio Cloud展示了下一代IDE技术和CMSIS项目格式的新概念。我们支持一系列软件示例,展示了用于亚马逊AWS物联网、微软Azure物联网中心和谷歌云的Keil RTX
发表于 08-08 06:59
DeepSpeed安装和使用教程
本文翻译了 Getting Started 和 Installation Details 和 CIFAR-10 Tutorial 三个教程,可以让新手安装和简单使用上 DeepSpeed 来做模型训练。
DeepSpeed里面和Zero相关技术教程
使用原始的 Megatron-LM 训练 GPT2 设置训练数据 运行未修改的Megatron-LM GPT2模型 开启DeepSpeed DeepSpeed 使用 GPT-2 进行评估 Zero
微软发布 Azure Linux 正式版
在内部使用 Azure Linux 两年,并从 2022 年 10 月开始公开预览后,微软本周终于正式提供其 Azure Linux。Azure Linux 是 Azure Kubernetes
发表于 05-28 08:34
有可能在LS1028a ENETC上的MAC地址之前添加一个偏移量吗?
我们有可能在 LS1028a ENETC 上的 MAC 地址之前添加一个偏移量吗?
第 2 层偏移量。
解析器预期在以太网 DA 的第一个字节之前看到的帧开头的八位字节对的数量。
发表于 05-25 07:11
是否有可能在不添加/使用FTM1模块和其他通道的情况下为PWM的每个上升沿或下降沿束获得中断/回调?
我正在使用S32K32118 EVB和S32DS.3.5
通过S32 配置工具,我在 FTM0、CH0 上创建了一个 PWM 波形。
我想知道是否有可能在不添加/使用 FTM1 模块和其他通道的情况下为 PWM 的每个上升沿或下降沿(或至少在新周期开始/结束时)获得中断/
发表于 05-04 08:27
评论