0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

ChatGPT为何显得如此“与众不同”?

Cadence楷登 来源:Cadence楷登 2023-04-25 10:53 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

随着 ChatGPT 横空出世,预训练大模型对千行百业的革新与改造潜力已尽显无遗,甚至有业界大佬将其问世誉为人工智能iPhone 时刻”,并预言这“只是更伟大事物的开始”

ChatGPT 为何显得如此“与众不同”?

借用技术接受理论(TAM)提出者哈佛大学教授 Venky Narayanamurti 的总结:有用性(usefulness)与易用性(ease of use)是一项新兴技术扩散的两大基本前提。以这一标准衡量,2016 年的“AlphaGo vs 李世石”五番棋大战,堪称完成了对人工智能“有用性”的全民科普,而 ChatGPT 则标志着 AI 技术扩散的另一必要条件——易用性已潜移默化渗入公众心智。

基于此,外界有理由乐观期待,人工智能产业的确已站在了巨擘预卜的宏伟蓝图新起点上。

成于算力 困于互连?

在不少“后见之明”的解读中,GPT 家族往往被与 2017 年谷歌推出的 Transformer 模型相联系。

基于自注意力机制的 Transformer,及其后谷歌 BERT 对各类文本任务的“屠榜”表现和惊人的泛化能力,的确堪称为 GPT 做好了前置技术与工程方法的铺垫。站在巨人的肩膀上,GPT 开发者 OpenAI 团队,最终凭借更敏捷的效率和更有力的执行,完成了最后的一跃。

进一步深入看,Transformer 较此前 MLPLSTM 等传统深度学习模型,正是对硬件算力实现了更高效的运用。

关于这一点,2019 年深度学习泰斗、DeepMind 首席科学家 Richard Sutton 在其《苦涩的教训》一文中就曾感言,从 70 年 AI 研究中可以学到的最大教训是,利用计算的一般方法最终是最有效的,而且有很大的优势,终极原因是摩尔定律,或者更确切地说,是它对每单位计算成本持续呈指数下降的概括,大多数 AI 研究都是在可用算力恒定的情况下进行的(在这种情况下,利用人类经验将是提高性能的唯一方法),但是,在比典型研究项目稍长的时间里,算力会大大增加,从长远来看,唯一重要的是利用计算。

正如 Sutton 所预见的,近年来,AI 硬件算力取得了突飞猛进的发展。除了为人所熟知的 GPU 之外,谷歌 TPU(GPT 系列早期通过 TPUv2 进行训练)、微软 Catapult 等 AI 加速芯片往往省去了传统通用 CPU 微架构中乱序、预取等高级控制措施,能够实现卷积神经网络最核心的乘加运算单元设计最优化,充分挖掘 SIMD 架构并行计算能力。

算法、算力及其相结合的工程方法进步,最终为 OpenAI“大力出奇迹”奠定了基础。

完全可以预期,在 OpenAI 明星效应下,全球科技巨头未来一两年必将推出一系列类 GPT 预训练大模型,也有望带动对数据中心 AI 算力集群的投资进一步加速。

不过值得注意的是,尽管各大芯片厂商争相推出 AI 加速芯片,算力参数不断刷新记录,但预训练大模型参数量动辄上百亿、千亿乃至万亿,其训练仍远远超出一两张 GPU 等 AI 加速卡所能驾驭的范围,往往必须通过网络将多处理器互连、乃至进一步组成 HPC 算力集群,实现算力资源的池化调度,如此方能满足 AI 大模型的分布式、并行化训练。而在评估训练效率时,单批数据(batch)的总训练用时也往往受通信时长的显著影响。

正因如此,随着 AI 大模型揭示的全新想象空间出现,算力集群这一基础设施也将迎来投资热潮,而在其面临的配电、散热、通信等一系列工程挑战中,算力节点间的数据传输尤其堪称制约硬件算力充分释放的关键“瓶颈”。

破解互连瓶颈的“关键支点”

AI 训练、推理所面对的数据量指数增长,使得无论单服务器中多 GPU、CPU 间 C2C 通信,还是在多服务器间组网,数据传输总体都呈现出高带宽、低延迟的技术需求。

在算力集群通信网络拓扑结构趋同的背景下,交换机接口日益成为打通“瓶颈”的重要突破口,并衍生出提升网卡速率、增加网卡数量、乃至应用 RDMA 网络直连等多种工程思路。

而在底层接口技术领域,与传统并行接口相比,SerDes 串行接口由于其显著的成本优势,已然成为应用主流,在 PCIe 6.0 等新标准中,更是在物理层进一步引入对 PAM4(四阶脉冲振幅调变)编码的支持,以进一步提高 SerDes 数据传输速率。

不过 SerDes 的应用,也自然存在不少技术挑战,其中最严峻的,无疑首推信号完整性(SI)问题。

例如在通过背板、连接器PCB 板的中距离、长距离互连场景中,SerDes 高速链路 TX、RX 端往往间隔着管脚、PCB 过孔、信号线乃至连接器、线缆等环节,存在材料、工艺、布局等复杂原因引入的噪声、串扰和信号衰减,以至于最终抵达接收器的电气信号可能严重失真,很难恢复所传输信息的时钟和数据位,也局限了速率、距离上的设计空间。

新一代 56G、112G SerDes 应用 PAM4 编码,在提供更大网络吞吐量的同时,也因引入更多电平水平,带来了信噪比损失、误码率(BER)恶化、前向纠错(FEC)延迟增加等问题,需要进行精细的权衡取舍。

从上面的分析不难看出,想要充分发挥 AI 硬件算力效能,接口技术是破解互连瓶颈的关键支点,具有极大的杠杆效应,而其应用则必须解决围绕信号完整性的诸多挑战。

目前,尽管大量硬件厂商聘请了专职 SI 工程师负责调试,不过其效果取决于千差万别的个人“手艺”,由于在芯片与系统设计各层面均需保证信号完整性,验证过程也往往旷日持久,只有技能十分熟练且模电领域经验极其丰富的设计团队才能尝试此类设计,且测试验证周期漫长。

正因如此,在芯片设计中,外购高速接口 IP 几乎成为行业“必选项”,也带动接口 IP 成为近年来增速最快的 IP 细分市场,根据专业机构预测,接口 IP 甚至有望在 2025 年前后超越 CPU IP,成为第一大半导体 IP 品类。

授人以鱼,更要授人以渔

接口 IP 市场机遇,也使之成为各大 IP HOUSE 竞争热点。Cadence 同样推出了112G SerDes IP 设计,面向高性能计算(HPC)数据中心 SOC 需求,适用于长距离和中距离传输,已经经过 7nm 制程硅验证,拥有上佳的 PPA 表现,插入损耗 >35dB。

值得一提的是,外购接口 IP 只是从芯片到系统开发及信号完整性测试的起点,与工作流配套的工具是否完备、可及,也是影响开发周期的重要因素,可以说接口 IP 供应商既要授人以鱼,更要授人以渔。

作为 EDAIP 领域巨头,Cadence 在这方面的实践尤其具有代表性。在 SerDes 等成熟接口 IP 之外,该公司还提供了有机融合的完善设计工具和技术,帮助芯片与系统设计人员应对贯穿各层面的信号完整性挑战。

例如在不同芯片间互连设计与仿真中,建模是必不可少的手段。目前,IBIS 和 AMI 是对 SerDes 信道进行建模的首选方式,IBIS-AMI 的出现,使利用仿真模型快速且精确地模拟大量比特流成为了可能。Cadence 基于Sigrity Advanced IBIS 建模工具,用户可自动创建模型,借助向导程序生成实用算法模型。

在基于 PCB 板/背板/连接器的中长距离互连场景中,SerDes 高速接口开发人员为了精准可靠地分析信号,还需要为总体设计进行信号完整性(SI)、电源完整性(PI)以及电磁兼容性(EMC)协同仿真,开发者往往需要透彻了解数据采集分析理论、精准建立模拟器件特性模型。

针对这一痛点,Cadence 的Clarity 3D Solver为 PCB、IC 封装和 SoIC 关键互连设计提供了更好的工具选择,基于其创建的高精度 S-参数模型,即使在 112G 数据传输速度下,也能实现与实验室测量相匹配的仿真结果。其有限元分析(FEM)过程实现了高度并行化,可极大缩短求解耗时,并支持近乎线性的硬件算力可扩展性。

此外,在分析链路信号完整性时,通常隐含假设是电路板和连接器功能良好,但在极高频率下,单独分析连接器和电路板、然后再将它们“连接"在一起的假设不再适用。电路板和连接器之间交互过多,同样需要 Clarity Solver 等全面的 3D 分析工具实现高质量设计,同时准确预测成品性能。

黄仁勋喊出人工智能“iPhone 时刻”后,短短几十天以来,预训练大模型及其下游应用,已经呈现出令人目不暇给的爆发态势。可以想见,在各大云计算巨头的 AI 大模型“军备竞赛”中,算力集群也将迎来一轮新的投资热潮,通信网络与接口技术,也有望进入发展加速期。此外,特斯拉 Dojo、Cerebras WSE-2 等走“超级单芯片”路线的厂商,也可能引领一条大模型训练的新路。

不过无论何种路径,对接口 IP 的“刚需”都清晰可见,在这一热点、难点领域,Cadence 将带来更多完整的解决方案,推动互连瓶颈的缓解与松动,有力释放预训练大模型无限可能,造福千行百业。

审核编辑 :李倩

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 人工智能
    +关注

    关注

    1813

    文章

    49751

    浏览量

    261621
  • 模型
    +关注

    关注

    1

    文章

    3649

    浏览量

    51719
  • ChatGPT
    +关注

    关注

    31

    文章

    1596

    浏览量

    10077

原文标题:释放 AI 大模型潜能,硬件算力亟待突破互连瓶颈

文章出处:【微信号:gh_fca7f1c2678a,微信公众号:Cadence楷登】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    未来农业图景如何?DigiKey 发布新一季《与众不同的农场》,分享三大前瞻展望

    与 ADI 发布《与众不同的农场》视频系列第 4 季,重点展现农业科技创新的最新趋势以及现代农业的最佳实践。 全球领先的电子元器件和自动化产品分销商 DigiKey 日前宣布推出其知识型视频系列《与众不同的农场》第 4 季。该视频系列探讨了先进技术如何融会贯通,重塑并驱
    的头像 发表于 12-08 17:47 445次阅读
    未来农业图景如何?DigiKey 发布新一季《<b class='flag-5'>与众不同</b>的农场》,分享三大前瞻展望

    政策多次提及,零碳园区为何如此重要?氢能源如何进入?

    11月10日,《国家发展改革委、国家能源局关于促进新能源消纳和调控的指导意见》发布。意见指出,推进零碳园区建设。 这是2025年国家层面第三次明文支持零碳园区建设,不难看出国家的支持力度,那么,零碳园区为何如此重要呢?从目前发展情况来看,氢能源又该如何与零碳园区融合发展?
    的头像 发表于 11-12 15:16 210次阅读
    政策多次提及,零碳园区<b class='flag-5'>为何如此</b>重要?氢能源如何进入?

    为何化工企业偏爱GUTOR UPS?

    为何化工企业偏爱GUTOR UPS?
    发表于 07-03 14:33

    中国为何同时面临算力过剩与短缺 ?

    中国为何同时面临算力过剩与短缺 ?
    的头像 发表于 04-24 15:02 1035次阅读
    中国<b class='flag-5'>为何</b>同时面临算力过剩与短缺 ?

    树莓派遇上ChatGPT,魔法热线就此诞生!

    尽管这种电话在几十年前就已过时,但许多人都对旋转拨号电话记忆犹新。这些旧电话,其实可以被改造成一个ChatGPT热线。这个由PolluxLabs开发的项目,让你可以将一部复古的旋转拨号电话连接到树莓
    的头像 发表于 04-13 09:04 1.2w次阅读
    树莓派遇上<b class='flag-5'>ChatGPT</b>,魔法热线就此诞生!

    电网波动测试为何如此重要?

    电网中常会因雷击、短路故障、大功率设备启动、电网切换或负载突变等原因,可能会导致如设备停机、异常重启、医疗设备断电危及患者等严重后果,那么该如何避免呢?电网中常会因雷击、短路故障、大功率设备启动、电网切换或负载突变等原因,出现电压暂降(Dip)、短时中断(Interruption)或电压波动(Variation),可能会导致如设备停机、异常重启、医疗设备断电
    的头像 发表于 03-31 11:40 452次阅读
    电网波动测试<b class='flag-5'>为何如此</b>重要?

    和安信可Ai-M61模组对话?手搓一个ChatGPT 语音助手 #人工智能 #

    ChatGPT
    jf_31745078
    发布于 :2025年03月12日 15:56:59

    OpenAI尝试减少对ChatGPT的审查

    ,这一政策的实施将使得ChatGPT能够回答更多的问题,提供更多的视角。在过去,由于审查机制的存在,ChatGPT对于一些敏感或争议性话题往往保持沉默,不愿过多涉及。然而,随着新政策的推行,ChatGPT将逐渐减少对这类话题的回
    的头像 发表于 02-17 14:42 3637次阅读

    OpenAI免费开放ChatGPT搜索功能

    近日,OpenAI宣布了一项重大决策:向所有用户免费开放ChatGPT搜索功能。这一举措无疑将为用户带来更加高效、智能的搜索体验。 与谷歌等传统搜索引擎的收录模式相比,ChatGPT搜索展现出了独特
    的头像 发表于 02-06 14:35 813次阅读

    OpenAI更新macOS ChatGPT应用,推出“代理”功能实现无缝集成

    OpenAI近日宣布,针对macOS平台的ChatGPT应用程序迎来重大更新,此次更新引入了与多种笔记和编码应用程序的无缝集成功能,极大地提升了用户体验和工作效率。 此次更新的核心亮点在于“代理
    的头像 发表于 01-02 10:49 949次阅读

    THS1209 SYNC脚位的功能为何?

    第一次接触 并列ADC 功能的IC 想请问一下 TI人员 关于THS1209的写入和读取暂存器 和 读取DATA的脚位动作关係 1. 当我要写入暂存器时,其CS0、CS1、W/R和RD动作为何
    发表于 12-25 06:46

    OpenAI桌面版ChatGPT新增应用协作功能

    近日,OpenAI宣布了一项重要更新,为桌面版ChatGPT推出了“与应用协作”(Work With Apps)功能。这一新功能旨在支持原生应用程序的自动化协作,为用户带来更加高效和便捷
    的头像 发表于 12-23 10:52 928次阅读

    ChatGPT深度融入苹果Mac软件生态

    近日,科技界迎来了一项重要更新。当地时间12月19日,OpenAI宣布了一项重大进展,其研发的ChatGPT已深度集成于苹果Mac电脑的操作系统软件中,为用户带来了全新的使用体验。 此次更新中
    的头像 发表于 12-23 10:50 1014次阅读

    ChatGPT新增实时搜索与高级语音功能

    在OpenAI的第八天技术分享直播中,ChatGPT的搜索功能迎来了重大更新。此次更新不仅丰富了ChatGPT的功能体系,更提升了其实用性和竞争力。 新增的实时搜索功能,是此次更新的亮点之一
    的头像 发表于 12-17 14:08 924次阅读

    大联大推出基于MediaTek Genio 130与ChatGPT的AI语音助理方案

    大联大控股,作为亚太地区市场领先的半导体元器件分销商,近日宣布了一项重要创新。其旗下子公司品佳,成功推出了基于联发科技(MediaTek)Genio 130芯片与ChatGPT功能的AI语音助理方案
    的头像 发表于 12-11 11:07 1122次阅读