Google的研究人员开源了一个新框架,该框架可以在数千台机器上扩大人工智能模型的培训。
谷歌在一份研究论文中指出,这是一个有前途的发展,因为它应该使AI算法训练能够以每秒数百万帧的速度执行,同时将这样做的成本降低多达80%。
这种减少可能有助于为那些以前无法与AI等主要参与者竞争的初创公司提供公平的竞争环境。实际上,在云中训练复杂的机器学习模型的成本令人惊讶地昂贵。
Synced最近的一份报告发现,华盛顿大学花费了25,000美元来训练其Grover模型,该模型用于检测和生成假新闻。同时,OpenAI每小时支付256美元来训练其GPT-2语言模型,而Google本身花费约6,912美元来训练其BERT模型来进行自然语言处理任务。
SEED RL构建在TensorFlow 2.0框架之上,并通过利用图形处理单元和张量处理单元的组合来集中模型推断。然后使用训练模型的学习器组件集中执行推断。
目标模型的变量和状态信息保持局部状态,并在过程的每个步骤中将对它们的观察结果发送给学习者。SEED RL还使用基于开源通用RPC框架的网络库来最大程度地减少延迟。
谷歌的研究人员说,SEED RL的学习器组件可以扩展到数千个内核,而在环境中采取步骤与在模型上进行推断以预测下一步操作之间进行迭代的参与者数量可以扩展到数千台机器。
-
Google
+关注
关注
5文章
1814浏览量
60628 -
机器学习
+关注
关注
67文章
8564浏览量
137213
发布评论请先 登录
从网络接口到 DMA,一套面向工程师的 FPGA 网络开发框架
NVIDIA 收购开源工作负载管理提供商 SchedMD
研究人员复兴针孔相机技术以推动下一代红外成像发展
开源鸿蒙技术大会2025丨开源鸿蒙应用开发再提速,跨平台框架PMC(筹)正式启动孵化
NVIDIA助力新一代机器人开发开源框架
NVIDIA宣布开源Aerial软件
利用 Banana Pi BPI-CM5 Pro(ARMSoM CM5 SoM) 加速保护科学
知乎开源“智能预渲染框架” 几行代码实现鸿蒙应用页面“秒开”
如何基于翼辉信息SylixOS开发ROS 2应用
Google的研究人员开源了一个新框架
评论