资料介绍
整理 | 弯月 责编 | 郑丽媛
出品 | CSDN(ID:CSDNnews)
根据最新的研究结果,训练一个普通的 AI 模型消耗的能源相当于五辆汽车一生排放的碳总量,而 BERT 模型的碳排放量约为 1400 磅二氧化碳,这相当于一个人来回坐飞机横穿美国。为何 AI 模型会如此费电,它们与传统的数据中心计算有何不同?
训练效率低下
传统数据中心负责处理的工作包括视频流,电子邮件和社交媒体。AI 所需的计算量则更多,因为它需要读取大量的数据、持续学习,直到完成训练。
与人类的学习方式相比,AI 的训练效率非常低下。现代 AI 使用人工神经网络,这是模拟人脑神经元的数学计算。每两个相邻神经元的连接强度都是神经网络上的一个参数,名叫权重。神经网络的训练则需要从随机权重开始,一遍遍地运行和调整参数,直到输出与正确答案一致为止。
常见的一种训练语言神经网络的方法是,从维基百科和新闻媒体网站下载大量文本,然后把一些词语遮挡起来,并要求 AI 猜测被遮挡起来的词语。刚开始的时候,AI 会全部搞错,但是,经过不断地调整后,AI 会逐渐学习数据中的模式,最终整个神经网络都会变得非常准确。
相信你听说过 BERT 模型,基于变换器的双向编码器表示技术(Bidirectional Encoder Representations from Transformers,简称 BERT),这是一项由 Google 提出的自然语言处理(NLP)的预训练技术。该模型使用了来自维基百科和其他文章的 33 亿个单词,而且在整个训练期间,BERT 读取了该数据集 40 次。相比之下,一个 5 岁的孩子学说话只需要听到 4500 万个单词,比 BERT 少3000倍。
寻找最佳结构
语言模型构建成本如此之高的原因之一在于,在开发模型期间,上述训练过程需要反复多次。因为研究人员需要将神经网络调整到最优,即确定神经元的个数、神经元之间的连接数以及各个权重。他们需要反复尝试很多组合,才能提高神经网络的准确度。相比之下,人类的大脑不需要寻找最佳结构,经过几亿年的进化,人类大脑已具备这种结构。
随着各大公司和学术界在 AI 领域的竞争愈演愈烈,不断提高技术水平的压力也越来越大。在自动翻译等难度巨大的任务中,如果能将准确度提高 1%,也将被视为重大的进步,可以作为宣传产品的筹码。然而,为了获得这 1% 的提升,研究人员需要尝试成千上万的结构来训练模型,直到找到最佳模型。
随着模型不断发展,模型的复杂度逐年攀高。另一款与 BERT 类似的最新语言模型 GPT-2,其神经网络包含 15 亿个权重。而 GPT-3 由于其高精度,引起了业界的轰动,但其权重高达 1750 亿个。
此外,AI 模型的训练需要在专用硬件(例如图形处理器)上进行,这些硬件的功耗普遍高于传统 CPU。如果你的笔记本电脑加载了优质的显卡,可以玩很多高端游戏,那么你肯定会注意到这台机器产生的热量也比普通电脑高很多。
所有这些都表明,开发先进的 AI 模型需要大量的碳排放量。除非我们能够利用百分百可再生能源,否则真的怀疑 AI 的进步与减少温室气体排放以及减缓气候变化,孰重孰轻?是否真的可以功过相抵?
最后,开发 AI 的耗资如此巨大,能够承担得起各项费用的公司与机构实在少之又少,最终究竟应该开发哪种模型的决定权无疑也落到了这群人的手中。
AI 模型训练应该适可而止
本文并不是要否定人工智能研究的未来,只不过在训练 AI 模型的时候,我们需要采用更高效的方法,而且应该做到适可而止。
随着 AI 模型训练方法的效率提升,相信训练的成本也会下降。同时,我们需要在训练模型的成本和使用模型的成本之间权衡取舍。例如,在 AI 模型准确度到达一定高度后,每提升 1% 都需要付出巨大的精力,而实际得到的收益却很少。不追求极致,更多地使用“适可而止”的模型,不仅可以降低碳排放量,而且也能为我们带来更大获益。
参考链接:https://levelup.gitconnected.com/test-driven-development-is-overrated-ad9f0491c11d
- 生成式AI对智能家居的影响 12次下载
- AI遇冷?2023从融资再看AI“芯”赛道? 0次下载
- ChatGPT:AI模型框架研究 0次下载
- AI在汽车中的应用:实用深度学习 0次下载
- 移植深度学习算法模型到海思AI芯片 11次下载
- 从Buffer加载AI模型 1次下载
- RT-Thread AI kit开源:轻松实现一键部署AI模型至 RT-Thread 3次下载
- Python语言在AI、大数据方面的重要性 25次下载
- 基于终身机器学习的主题挖掘评分和评论推荐模型 42次下载
- AI概论:(第2篇)_AI的基础知识 0次下载
- AI概論:教師手冊(第1篇)活用创新模板学 AI 0次下载
- AI概论:(Part_B)AI头脑+机器人行为(教程) 0次下载
- 麦肯锡AI报告 人工智能如何为公司提供真正价值 67次下载
- BLE低功耗蓝牙模块为何如此受欢迎? 17次下载
- 为了解决变排量压缩机 18次下载
- 浅谈AI模型在漂移检测中的应用 436次阅读
- 在AI爱克斯开发板上用OpenVINO™加速YOLOv8-seg实例分割模型 423次阅读
- AI大模型网络如何搭建 1784次阅读
- 在AI爱克斯开发板上用OpenVINO™加速YOLOv8-seg实例分割模型 561次阅读
- ChatGPT背后的大模型技术 858次阅读
- AI爱克斯开发板上使用OpenVINO加速YOLOv8目标检测模型 663次阅读
- 什么是预训练AI模型? 600次阅读
- 在AI爱克斯开发板上用OpenVINO加速YOLOv8-seg实例分割模型 371次阅读
- 在AI爱克斯开发板上用OpenVINO™加速YOLOv8目标检测模型 789次阅读
- 在AI爱克斯开发板上用OpenVINO™加速YOLOv8分类模型 562次阅读
- 将数据预处理嵌入AI模型的常见技巧 799次阅读
- 如何基于STM32Cube.AI 从零开始创建AI项目 2992次阅读
- Buffer加载AI模型的步骤 2297次阅读
- 过于谦虚好学的苹果不配果粉的信仰 2896次阅读
- 系统级ESD保护为什么重要?怎样提高ESD保护的测试模型和战略? 7636次阅读
下载排行
本周
- 1电子电路原理第七版PDF电子教材免费下载
- 0.00 MB | 1491次下载 | 免费
- 2单片机典型实例介绍
- 18.19 MB | 95次下载 | 1 积分
- 3S7-200PLC编程实例详细资料
- 1.17 MB | 27次下载 | 1 积分
- 4笔记本电脑主板的元件识别和讲解说明
- 4.28 MB | 18次下载 | 4 积分
- 5开关电源原理及各功能电路详解
- 0.38 MB | 11次下载 | 免费
- 6100W短波放大电路图
- 0.05 MB | 4次下载 | 3 积分
- 7基于单片机和 SG3525的程控开关电源设计
- 0.23 MB | 4次下载 | 免费
- 8基于AT89C2051/4051单片机编程器的实验
- 0.11 MB | 4次下载 | 免费
本月
- 1OrCAD10.5下载OrCAD10.5中文版软件
- 0.00 MB | 234313次下载 | 免费
- 2PADS 9.0 2009最新版 -下载
- 0.00 MB | 66304次下载 | 免费
- 3protel99下载protel99软件下载(中文版)
- 0.00 MB | 51209次下载 | 免费
- 4LabView 8.0 专业版下载 (3CD完整版)
- 0.00 MB | 51043次下载 | 免费
- 5555集成电路应用800例(新编版)
- 0.00 MB | 33562次下载 | 免费
- 6接口电路图大全
- 未知 | 30320次下载 | 免费
- 7Multisim 10下载Multisim 10 中文版
- 0.00 MB | 28588次下载 | 免费
- 8开关电源设计实例指南
- 未知 | 21539次下载 | 免费
总榜
- 1matlab软件下载入口
- 未知 | 935053次下载 | 免费
- 2protel99se软件下载(可英文版转中文版)
- 78.1 MB | 537793次下载 | 免费
- 3MATLAB 7.1 下载 (含软件介绍)
- 未知 | 420026次下载 | 免费
- 4OrCAD10.5下载OrCAD10.5中文版软件
- 0.00 MB | 234313次下载 | 免费
- 5Altium DXP2002下载入口
- 未知 | 233046次下载 | 免费
- 6电路仿真软件multisim 10.0免费下载
- 340992 | 191183次下载 | 免费
- 7十天学会AVR单片机与C语言视频教程 下载
- 158M | 183277次下载 | 免费
- 8proe5.0野火版下载(中文版免费下载)
- 未知 | 138039次下载 | 免费
评论
查看更多