0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

实现生成式AI的关键半导体技术

Rambus 蓝铂世科技 来源:21ic 2023-08-25 15:15 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

生成式AI最近在科技行业掀起了一股热潮,ChatGPT、Bard和Einstein GPT等标志性产品吸引了开发者、企业和消费者的目光。这些AI应用能够生成类似人类的文本、理解上下文,并以惊人的准确性执行翻译、总结等任务。虽然这些例子已经足以让人信服生成式AI的力量,但我们目前仍然处于一个初始阶段,还需要继续不断发展实现这一切的硬件技术。

随着生成式AI的训练和应用变得日益复杂,更加先进的模型、更大规模的数据集和海量数据处理需求要求更低的时延、更高的带宽、更多的存储和内存以及更强大的CPU算力。根据open.ai的数据,“自2012年以来,在运行最大规模的AI训练过程中所使用的计算量已经增加了30多万倍”。这一成就依托的是半导体行业几个关键领域的技术发展和快速产品升级。

在训练和推理加速器中,HBM3和GDDR6这两种内存技术对于支持生成式AI的开发至关重要。HBM是一种高性能的3D堆叠DRAM架构,最新的HBM3为内存和处理单元之间的数据传输提供更高的带宽和更低的功耗,同时还具有出色的延迟和紧凑的尺寸,因而成为AI训练硬件的绝佳选择。而GDDR6是一种带宽高、延迟低且实现成本更低的高性能图形内存技术。采用成熟制造工艺的GDDR6内存具有非常出色的性价比,因此是AI推理应用的最佳选择。

HBM3和GDDR6均能在AI应用中发挥更好的性能和效率,提升处理大型数据集的速度和效率,使生成式AI能够获得强大、高效的存储系统支持,为大规模AI应用提供必要的算力。

实现生成式AI的另一项关键技术是服务器的主内存。这些服务器用于访问和转换提供给先进训练引擎的数据,在保持训练流程的完整性方面起到了关键作用,而且对于找出实现高精度所需的最佳神经网络拓扑结构和数据格式的实验同样至关重要。作为最新DDR内存标准,DDR5提供更高的数据传输速率、更低的功耗和更大的密度,帮助提升数据处理的速度和效率。DDR5 DRAM使新一代服务器系统能够为超大规模和企业数据中心提供巨大的算力,从而满足高性能AI应用的需求,比如需要大量存储和算力的ChatGPT等。

CXL也在这方面起到至关重要的作用。Compute Express Link(CXL)是处理器和加速器、智能网卡及内存设备之间的一种开放、标准的高速缓存一致性互连技术。凭借内存池、交换和“按需”内存范式等先进功能,CXL能够部署新的内存层,弥补主内存和SSD存储之间的延迟差距。新的内存层将提升带宽、容量和效率并降低总拥有成本(TCO)。这项技术对于需要实时处理大量数据的大规模AI应用尤为关键。

除了上述众所周知的技术之外,异构计算也给生成式AI带来了诸多好处。为了继续提升性能,越来越多的服务器正在转向异构计算架构,通过专用的加速器为CPU分担AI训练等专门的工作负载。这些加速器提供了这些应用所需的专门算力,提高了处理速度与结果的准确性。CXL也在这方面发挥了关键作用,通过内存、缓存一致性使CPU和加速器之间能够共享内存资源。

Rambus是公认的领先芯片和IP提供商,致力于实现数据中心的连接并解决内存和处理之间的瓶颈,为数据中心、5G、汽车和物联网领域AI的广泛发展提供支持。Rambus的多款产品和解决方案都可以很好地服务于生成式AI应用,促进生成式AI的发展。

例如,Rambus内存接口芯片、CXL内存互联计划、互连IP和内存IP——这些都能帮助满足生成式AI的发展需求,有助于提供这类要求严苛的工作负载所需的速度、容量和连接性。同时,Rambus还通过多层关键任务接口和安全IP解决方案实现基于硬件的加速器。随着AI行业的不断发展,Rambus在内存接口芯片以及接口和安全IP解决方案领域的专业知识对于推动AI和机器学习发展的边界将变得越发重要。

ChatGPT、Bard和Einstein GPT等最近的生成式AI产品激发了人们的想象力,展示了AI可以带来的各种新的可能性。为了使现在的AI继续实现突破,来自先进半导体技术的基础支持至关重要。Rambus在开发这些关键技术方面处于领先地位,并将继续投入,进一步推动这些技术的发展,为未来的生成式AI产品带来远超今天的新可能性。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • DRAM
    +关注

    关注

    40

    文章

    2373

    浏览量

    188173
  • 半导体技术
    +关注

    关注

    3

    文章

    242

    浏览量

    61691
  • AI
    AI
    +关注

    关注

    89

    文章

    38121

    浏览量

    296676
  • 生成式AI
    +关注

    关注

    0

    文章

    537

    浏览量

    1021

原文标题:【媒体报道】实现生成式AI的关键半导体技术

文章出处:【微信号:Rambus 蓝铂世科技,微信公众号:Rambus 蓝铂世科技】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    【「AI芯片:科技探索与AGI愿景」阅读体验】+半导体芯片产业的前沿技术

    周期 EUV光源生成方法: NIL技术: 各种光刻技术关键参数及瓶颈 二、集成芯片 1、芯粒与异质集成 集成芯片技术支持异质集成,即把不同
    发表于 09-15 14:50

    【「AI芯片:科技探索与AGI愿景」阅读体验】+AI芯片的需求和挑战

    景嘉微电子、海光信息技术、上海复旦微电子、上海壁仞科技、上海燧原科技、上海天数智芯半导体、墨芯人工智能、沐曦集成电路等。 在介绍完这些云端数据中心的AI芯片之后,还为我们介绍了边缘AI
    发表于 09-12 16:07

    智能体化AI生成AI的区别

    生成 AI 的核心是“生成内容” —— 比如用大模型写报告,是对输入指令的被动响应。而智能体化 AI(Agentic
    的头像 发表于 08-25 17:24 1218次阅读

    生成AI到代理式AI半导体技术赋能下一波创新浪潮

    AI领域始终在不断演进,我们正见证一场从“生成AI”时代到“代理式AI”时代的深刻变革。这场变革有望重塑各行各业,并释放前所未有的发展机遇
    的头像 发表于 08-21 17:59 1313次阅读
    从<b class='flag-5'>生成</b><b class='flag-5'>式</b><b class='flag-5'>AI</b>到代理式<b class='flag-5'>AI</b>:<b class='flag-5'>半导体</b><b class='flag-5'>技术</b>赋能下一波创新浪潮

    生成 AI 重塑自动驾驶仿真:4D 场景生成技术的突破与实践

    生成AI驱动的4D场景技术正解决传统方法效率低、覆盖不足等痛点,如何通过NeRF、3D高斯泼溅等技术
    的头像 发表于 08-06 11:20 4812次阅读
    <b class='flag-5'>生成</b><b class='flag-5'>式</b> <b class='flag-5'>AI</b> 重塑自动驾驶仿真:4D 场景<b class='flag-5'>生成</b><b class='flag-5'>技术</b>的突破与实践

    从原理到应用,一文读懂半导体温控技术的奥秘

    在科技发展日新月异的当下,温度控制的精度与稳定性成为众多领域研发和生产的关键要素。聚焦温度控制领域的企业研发出高精度半导体温控产品,已在电子、通讯、汽车、航空航天等行业的温控场景中得到应用。那么
    发表于 06-25 14:44

    AI驱动半导体产业爆发式增长 2030年全球产值或突破万亿美元大关

    ,全球半导体行业总产值有望达到1万亿美元规模,其中AI相关应用将贡献近半壁江山。2024年被业界普遍视为"AI元年",生成
    的头像 发表于 05-16 11:09 1115次阅读
    <b class='flag-5'>AI</b>驱动<b class='flag-5'>半导体</b>产业爆发式增长 2030年全球产值或突破万亿美元大关

    北京市最值得去的十家半导体芯片公司

    融资,技术覆盖芯片制造关键环节。 总结 以上企业覆盖了车规芯片、AI计算、晶圆制造、存储技术等核心领域,展现了北京在半导体产业链的全面布局。
    发表于 03-05 19:37

    AI Agent 应用与项目实战》阅读心得2——客服机器人、AutoGen框架 、生成代理

    及时处理。 第5章的斯坦福AI小镇项目对生成代理技术做出了开创性的探索。该项目的核心是将LLM与计算交互代理相结合,构建了一个具有记忆、反思、规划能力的智能体系统。在
    发表于 02-25 21:59

    聚云科技获亚马逊云科技生成AI能力认证

    近日,云管理服务提供商聚云科技成功获得亚马逊云科技生成AI能力认证。此次认证标志着聚云科技在利用亚马逊云科技全托管的生成
    的头像 发表于 02-19 10:33 833次阅读

    聚云科技荣获亚马逊云科技生成AI能力认证

    Bedrock等技术,从应用范围、模型选择、数据处理、模型调优到应用集成与部署等方面,助力企业加速生成AI应用落地。此外,聚云科技还基于亚马逊云科技打造RAGPro企业知识库、
    的头像 发表于 02-14 16:07 701次阅读

    聚云科技荣获亚马逊云科技生成AI能力认证 助力企业加速生成AI应用落地

    、数据处理、模型调优到应用集成与部署等方面,助力企业加速生成AI应用落地。此外,聚云科技还基于亚马逊云科技打造RAGPro企业知识库、AI-Space、DecisionAI和数字人等
    发表于 02-14 13:41 329次阅读

    生成AI工具好用吗

    当下,生成AI工具正以其强大的内容生成能力,为用户带来了前所未有的便捷与创新。那么,生成
    的头像 发表于 01-17 09:54 830次阅读

    联发科技携手Cocos共建端侧生成AI游戏开发生态,推动行业升级

    全球领先的半导体公司联发科技与知名游戏引擎开发商Cocos正式宣布达成深度合作!这一合作将把联发科技在端侧生成AI领域的尖端技术,与Coc
    的头像 发表于 01-10 09:24 716次阅读

    Google两款先进生成AI模型登陆Vertex AI平台

    生成 AI 正在引领商业增长与转型。在已经将生成 AI 部署到生产环境的企业中,有86%的企
    的头像 发表于 12-30 09:56 982次阅读