0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

新一代AI基础设施成为AI 2.0时代“新基建”

商汤科技SenseTime 来源:商汤科技SenseTime 2024-01-04 09:41 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

2023年,大模型、生成式AI的发展带动了人工智能领域的范式转换,人工智能从传统的“分类器”进化成“生成器”,催生了千行百业的规模化需求。

那么怎样的基础设施,才能更好地支撑AI产业进入2.0时代?

近日,商汤科技智能产业研究院与中国信息通信研究院云计算与大数据研究所,中国智能算力产业联盟,人工智能算力产业生态联盟,联合发布《新一代人工智能基础设施白皮书》(以下简称《白皮书》)。

《白皮书》不仅明确了“新一代AI基础设施”的定义、特点和价值,还首次提出“新一代AI基础设施评估体系”,为AI 2.0时代智算产业发展提供重要参考。

新一代AI基础设施

成为AI 2.0时代“新基建”

数据显示,过去四年,大模型参数量以年均400%复合增长,AI算力需求增长超过15万倍,远超摩尔定律。

CPU中心的传统计算基础设施已无法满足大模型、生成式AI的新要求。

大模型训练对数据质量和效率的需求,企业应用生成式AI对于MaaS(大模型即服务)的需求,也都给AI基础设施提出了全新要求。

而新一代AI基础设施绝非传统云的AI化,两者具有明显差别。传统云计算基础设施主要支持互联网应用、SAAS等服务,而新一代AI基础设施提供大模型训练与推理、生成式AI部署、区域/行业创新孵化等服务。

何为新一代AI基础设施?《白皮书》给出了明确定义:

以大模型能力输出为核心平台,集成算力资源、数据服务和云服务,专门设计用于最大限度提升大模型和生成式AI应用的表现:数据准备与管理、大模型训练、推理、模型能力调用、生成式AI应用部署。企业通过新一代AI基础设施开发和运行生成式AI业务和客户应用程序,以及基模型和行业模型的训练与微调。 《白皮书》指出,新一代AI基础设施的建设将降低大模型开发和应用门槛,在政企服务、产业和科研创新等方面创造更大社会价值。

面向产业,将加快推进传统产业上下游各个环节的智能化转型,催生新业态、新模式的不断涌现。

面向科研,可加速科学实验的自动化和智能化,激发人工智能驱动科学研究(AI for Science)的新范式。

面向政务,将原本分散、碎片化的政务应用,通过“一模通办” 为政务服务提质增效。

首次提出

新一代AI基础设施评估体系

当前,新一代AI基础设施市场处于高速竞争的初级阶段,云计算、AI原生、硬件系统等各类厂商均有各自优势。

为了给企业用户提供AI基础设施选型的可靠性指导,《白皮书》首次提出了“新一代AI基础设施评估体系”。

通过产品技术、战略愿景、市场生态三大维度、十二个评估指标,对AI基础设施厂商综合能力进行定性和定量的全面评估。

《白皮书》选取了十二家最具代表性的AI基础设施厂商。商汤科技的新一代AI基础设施 -SenseCore商汤大装置,在各个评估指标的得分均超过厂商平均分,并在市场响应、市场认知、产品战略、工程化建设四个评估指标拿到满分,成为新一代AI基础设施市场的领导者。

1a9ed3d8-a6ea-11ee-8b88-92fbcf53809c.png

SenseCore商汤大装置

在新一代AI基础设施评估体系的评分

《白皮书》指出,商汤在产品服务能力呈现出较强的产品实力和技术积累,不仅超前布局了算力基础设施,还在MaaS平台以及自身大模型业务的加持下,形成了整套AI基础设施产品架构,满足客户大模型训练、生成式AI应用的大规模落地需求。

SenseCore商汤大装置作为商汤推出的AI基础设施产品与解决方案,总体算力规模目前已达6800P,在支持商汤自身大模型研发的同时,也支持外部客户训练大模型和应用部署。

今年以来,共有超1000个参数量数十亿至上千亿的大模型在大装置上完成训练,实现了领跑行业的技术迭代进度,并支持了数十款生成式AI应用。

1aae6fe6-a6ea-11ee-8b88-92fbcf53809c.png

激发“智能基建革新”

加速大模型和生成式AI落地

从大模型的训练到生成式AI应用的部署,再到区域智算中心的建设与运营,《白皮书》列举了商汤基于大装置的多场景实践案例,激发AI的商业创新价值。例如:

大模型训练场景

商汤大装置为商汤自研“日日新SenseNova”大模型体系的训练迭代提供了强大算力支撑,以及1.5万亿token和6000亿中文高质量数据,推出了商量大语言模型,AIGC等大模型,并在多个权威大模型测评榜单中位居前列。

商汤还助力某业界领先的认知智能公司打造了高性能算力平台,提高模型训练速度和效率,已成功推出了400亿参数量的大模型,快速满足不同领域和场景需求。

生成式AI应用场景

依托商汤大装置,商汤联合中公教育发布虚拟数字讲师“小鹿老师”,相比传统人工直播,不仅降低了80%录课成本,还提高了2~3倍的课程丰富度,实现教学质量和效率双重提升。

商汤还助力微博打造“营销大模型”,让每位博主都能拥有自己的AI营销助手,短短数月便有超7000位微博达人采用AIGC生成69万篇文案,采用率高达95%。

智算中心建设与运营

商汤与重庆南岸区携手打造的“重庆人工智能计算中心(AIDC)”,以国产化算力为核心,首期建设峰值算力达100Petaflops,为西南地区的各行各业、科研机构提供AI算力、大模型训练、推理部署和应用开发等服务。

商汤助力打造福建省大数据算力平台,第一阶段已建成125Petaflops算力规模,并有多家数字生态领军企业入驻,有望推动生成式AI技术在医疗、金融、制造等各个产业中的落地。

《白皮书》最后指出,随着新一代AI基础设施的边际成本持续下降、边际效益持续增长,AI将普惠每一个人。

审核编辑:汤梓红

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • AI
    AI
    +关注

    关注

    89

    文章

    38085

    浏览量

    296316
  • 人工智能
    +关注

    关注

    1813

    文章

    49734

    浏览量

    261392
  • 大模型
    +关注

    关注

    2

    文章

    3440

    浏览量

    4960

原文标题:AI 2.0时代需要怎样的AI基础设施?《新一代人工智能基础设施白皮书》给出答案

文章出处:【微信号:SenseTime2017,微信公众号:商汤科技SenseTime】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    耐能正式推出新一代边缘AI芯片KL1140

    总部位于圣迭戈的 AI 科技企业 Kneron 耐能今日正式发表新一代 AI 系列芯片,并由全新旗舰产品 KL1140 领衔,全面构建从终端到云端的完整AI
    的头像 发表于 11-28 15:01 295次阅读

    思岚科技推出新一代全集成AI空间感知系统Aurora S

    我们非常荣幸地通知大家:思岚新一代全集成AI空间感知系统——Aurora S正式发布!
    的头像 发表于 10-14 15:39 701次阅读

    【内测活动同步开启】这么小?这么强?新一代大模型MCP开发板来啦!

    【内测活动同步开启】这么小?这么强?新一代大模型MCP开发板来啦! 聆思全新一代六合芯片「LS26系列」,搭载WIFI / BLE & BT / NPU,与「小聆AI」强强
    发表于 09-25 11:47

    睿海光电推出新一代光互联解决方案 加速AI算力基础设施升级

    睿海光电推出新一代光互联解决方案 加速AI算力基础设施升级   在全球算力需求爆发性增长的背景下,深圳睿海光电科技有限公司近日发布基于QSFP-DD架构的400G SR8光互联模组。该产品通过突破性
    的头像 发表于 08-19 17:15 558次阅读

    派恩杰第四碳化硅产品在AI基建的应用

    AI 基建中,碳化硅(SiC)凭借高频高效、耐高温、高功率密度等特性,成为解决 “算力飙升与能耗、空间、散热瓶颈” 矛盾的核心材料。从数据中心的电源系统到边缘 AI 设备的稳定运行
    的头像 发表于 08-18 15:56 907次阅读

    摩尔线程“AI工厂”:以系统级创新定义新一代AI基础设施

    演讲中表示,为应对生成式AI爆发式增长下的大模型训练效率瓶颈,摩尔线程将通过系统级工程创新,构建新一代AI训练基础设施,致力于为AGI时代
    发表于 07-28 10:34 2385次阅读
    摩尔线程“<b class='flag-5'>AI</b>工厂”:以系统级创新定义<b class='flag-5'>新一代</b><b class='flag-5'>AI</b><b class='flag-5'>基础设施</b>

    谷歌新一代生成式AI媒体模型登陆Vertex AI平台

    我们在 Vertex AI 上推出新一代生成式 AI 媒体模型: Imagen 4、Veo 3 和 Lyria 2。
    的头像 发表于 06-18 09:56 877次阅读

    广和通发布新一代AI语音智能体FiboVista

    近日,2025火山引擎Force原动力大会正式开幕。广和通发布新一代AI语音智能体FiboVista,并已率先应用于车联网,成为智能驾驶的“用车伙伴”和“出行伴侣”。通过创新AI大模型
    的头像 发表于 06-17 09:22 990次阅读

    欧洲联手NVIDIA打造AI基础设施

    NVIDIA 于近日宣布,其正在携手欧洲各国、科技和行业领导者,共同建造 NVIDIA Blackwell AI 基础设施,以强化数字主权、支撑经济增长,并推动欧洲大陆成为 AI 工业
    的头像 发表于 06-16 14:25 1096次阅读

    芯驰科技重磅发布最新一代AI座舱芯片X10

    近日,上海国际车展期间,芯驰科技重磅发布最新一代AI座舱芯片X10。在X9系列智能座舱产品数百万片量产交付的基础上,芯驰以X10卓越的性能、创新的架构以及丰富的AI生态,率先引领座舱处理器的A
    的头像 发表于 04-27 15:56 1000次阅读

    适用于数据中心和AI时代的800G网络

    成为新一代AI数据中心的核心驱动力。 AI时代的两大数据中心:AI工厂与
    发表于 03-25 17:35

    华为发布新一代站点能源架构及AI数据中心建设理念

    SitePower"及AI数据中心建设原则RASTM,旨在加速运营商成为能源产消者,打造更优ICT能源基础设施,把握AI时代机遇。 华为
    的头像 发表于 03-13 15:38 627次阅读
    华为发布<b class='flag-5'>新一代</b>站点能源架构及<b class='flag-5'>AI</b>数据中心建设理念

    华为打造移动AI时代领先电信基础设施

    使能平台,助力运营商电信基础设施从架构、自动化、绿色、AI等方面全面升级,从容应对复杂网络挑战,使能AI业务创新,打造移动AI时代领先电信
    的头像 发表于 03-08 11:39 1102次阅读

    华为发布新一代站点能源架构及AI数据中心建设原则

    在MWC25巴塞罗那期间举办的产品与解决方案发布会上,华为数据中心能源及关键供电产品线总裁何波发布新一代站点能源架构“Single SitePower”及AI数据中心建设原则RASTM,旨在加速运营商成为能源产消者,打造更优IC
    的头像 发表于 03-06 11:16 905次阅读

    新一代GaN器件,满足AI服务器电源需求

    电子发烧友网站提供《新一代GaN器件,满足AI服务器电源需求.pdf》资料免费下载
    发表于 01-24 13:56 0次下载
    <b class='flag-5'>新一代</b>GaN器件,满足<b class='flag-5'>AI</b>服务器电源需求