0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

大模型引爆市场,训推一体机成算力行业趋势

Carol Li 来源:电子发烧友网 作者:李弯弯 2023-12-05 00:14 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

电子发烧友网报道(文/李弯弯)2022年底,以ChatGPT为标志的生成式AI场景引爆市场,引发了全行业对于AI大模型等技术的关注,AI发展跨越拐点,大模型逐渐成为新一轮科技革命和产业变革的重要驱动力量。然而大模型的训练和部署需要大量的计算资源。

训推一体机成为算力行业趋势

今年7月,华为携手伙伴联合发布昇腾AI大模型训推一体化解决方案,加速大模型在各行业应用落地,并有23家昇腾AI伙伴推出AI服务器、智能边缘与终端新品,共同为行业智能化升级提供丰富的产品与解决方案。

昇腾一体机主要是为特定的AI应用设计的集成解决方案。它们整合了昇腾AI处理器、软件平台、开发工具和其他关键组件,如存储和网络设施,以提供针对特定AI任务(如深度学习、图像处理)的优化性能。这类设备通常更加用户友好,支持即插即用,特别适合于那些需要快速部署并立即投入使用AI技术的场景。

业界认为,训推一体机是适合我国市场的优选解决方案。当前我国大模型产业正高速发展,与此同时,技术变革带来的大模型应用研发周期长、研发门槛高、业务安全隐患等问题一定程度上阻碍里技术落地,尤其是在中国存在大量的G 端和B 端客户,而训推一体机很好地解决了这些痛点:

开箱即用,直接享用新技术成果。训推一体机可实现定制化的大模型应用软硬一体解决方案,一般可集成优选的成熟大模型产品,厂家可以协助大模型预训练定制、微调定制、训练标注、技术培训等;

2、简化部署,一般一体机均会提前做好适配调优,算法迁移,帮助客户简化大模型部署;3、数据安全,我国高度重视数据安全,尤其是政企客户,常规链接通用大模型存在数据泄露安全隐患,政府等客户更希望能本地化部署,训推一体机可完成本地训练和推理,解决大模型应用数据安全难题,试用于高安全要求场景和客户。

对于训推一体机市场需求情况,云从科技此前对媒体表示,对于国产信创需求的增加和对合规、私有化部署的重视,对数据要素和基于大模型的应用侧变化的重视,预计将会涌现出较大的应用场景,市场规模庞大,尤其在IT部分的升级和场景需求明确的私有化部署方面,将有巨大的市场机会。

训推一体机已在多个场景实现落地

据介绍,昇腾AI训推一体机单体价值量比昇腾服务器提高了很多,可以将其理解为昇腾服务器叠加大模型私有化部署迁移。根据中国招标投标公共服务平台公告,中贝通信和恒为科技分别中标了AI算力一体机采购项目,该项目采购总价为21.12亿元,单价为440万元。

众多厂商与华为携手推出大模型训推一体机。云从科技表示,公司正在与华为合作推出大模型训推一体机,方式是共同打造产品。华为的代工厂会将芯片与云从的大模型集成,然后共同推广给客户。云从在这个合作中不仅卖产品,还会提供其他应用开发相关的服务。

整个市场空间不同于以往的分成模式,而是通过联合推广的方式,与华为各地销售团队一起推广。价格上训推一体机大约在三四百万元的范围内,在中档旗舰训练部分报价大致在一百万元以下,更低端的一体机报价大约在30万左右。

云天励飞近日表示,公司联合华为于今年9月推出了大模型训推一体化产品—云天天书大模型训推一体机。该产品内置了公司自主研发的天书千亿级大模型。通过与昇腾硬件加速平台的联合深度优化,并集成“开箱即用”系列训推工具,产品可满足面向多业务场景的大模型高并发高能效处理、业务快速上线的需求。同时,产品具有丰富的接口,支持灵活的二次开发和敏捷部署。

智谱AI、昇腾、华鲲振宇在今年9月也联合预发布了三款智谱GLM昇腾大模型一体机,包括智谱-昇腾ChatGLM训推一体机、智谱-昇腾CodeGeeX代码生成一体机、智谱-昇腾ChatGLM推理一体机,旨在推动千行百业数字化转型升级。

智谱AI CEO张鹏表示,智谱AI专注于大模型的自主创新,一方面通过人工智能助手产品智谱清言将大模型能力开放给公众,另一方面也践行“模型即服务”的理念,让大模型应用落地千行百业。本次基于昇腾AI打造的大模型一体机,相信将为各行各业带来更便捷、更安全的大模型软硬件协同解决方案,推动建设更完善、健全的大模型应用生态。

此外,软通动力、科大讯飞、医渡科技、安恒信息、中软国际此前都陆续发布了其昇腾一体机解决方案,有望赋能千行百业。并且不少方案已经在诸多场景中实现落地,例如AI训练开发一体机解决方案赋能山东大学科研创新、软通动力AI机器人昇腾一体机助力深圳机场国际快件海关监管EIMS系统智能化升级等。

总结

随着科技的不断发展,人工智能已经逐渐渗透到我们生活的方方面面,从智能手机智能家居自动驾驶汽车、医疗诊断等,都离不开人工智能技术的支持。大模型的出现更是为更多领域带来助力,然而算力也因此面临挑战。而训推一体机让企业能够便捷的构建解决方案。





声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 昇腾
    +关注

    关注

    1

    文章

    175

    浏览量

    7295
  • 算力
    +关注

    关注

    2

    文章

    1385

    浏览量

    16562
  • 大模型
    +关注

    关注

    2

    文章

    3440

    浏览量

    4964
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    基于行业需求的工控一体机定制化技术实践

    工业场景痛点的关键路径。本文将从行业需求分析、技术实践案例、未来发展趋势三个维度,探讨工控一体机定制化技术的落地价值。 行业需求驱动的定
    的头像 发表于 06-17 17:05 482次阅读

    开普云「开悟智核」:极致性价比的智能一体机,破局大模型应用难题

    当下,AI一体机凭借开箱即用、数据可控等优势,成为行业模型落地的重要载体之。然而实际应用时,用户却面临诸多问题:算力成本与性能难以平衡;非满血版
    的头像 发表于 06-09 10:34 865次阅读
    开普云「开悟智核」:极致性价比的智能<b class='flag-5'>体</b><b class='flag-5'>一体机</b>,破局大<b class='flag-5'>模型</b>应用难题

    中软国际推出昇腾金融AI解决方案和一体机v1.0

    解决金融客户面临的诸多业务难题。 中软国际昇腾金融AI一体机硬件配置强大,整体性能卓越稳定。软件层面,该方案集成了丰富的功能组件。大模型平台内置多个
    的头像 发表于 03-28 17:05 1001次阅读

    夜爆火的DeepSeek一体机,如何改写AI游戏规则?

    DeepSeek一体机,都不好意思说自己懂AI。” 所谓一体机,通常汇集了中央处理器(CPU)、图形处理器(GPU)、存储器、操作系统、AI 软件平台以及各类模型算法,是个软硬件组件
    的头像 发表于 03-11 15:52 1006次阅读
    <b class='flag-5'>一</b>夜爆火的DeepSeek<b class='flag-5'>一体机</b>,如何改写AI游戏规则?

    360发布DeepSeek大模型一体机!开箱即用

    日前,360正式发布DeepSeek大模型一体机,以低门槛、高性能、强安全、多场景的站式解决方案……
    的头像 发表于 03-03 14:46 979次阅读
    360发布DeepSeek大<b class='flag-5'>模型</b><b class='flag-5'>一体机</b>!开箱即用

    DeepSeek一体机:加速AI超融合,推动行业智能化落地

    本地部署推出FusionCube A3000超融合一体机,以“数据-模型-应用”全流程创新,破解大模型落地难题,助力企业低成本、高质量推
    的头像 发表于 02-20 11:14 1261次阅读
    DeepSeek<b class='flag-5'>一体机</b>:加速AI<b class='flag-5'>训</b><b class='flag-5'>推</b>超融合,推动<b class='flag-5'>行业</b>智能化落地

    格灵深瞳发布全国产超融合大模型一体机

    近日,人工智能领域的创新者格灵深瞳宣布推出全国产化的超融合大模型一体机,该产品在业界引起了广泛关注。这款一体机不仅展现了格灵深瞳在技术研发上的深厚实力,更为国内AI市场注入了新的活力。
    的头像 发表于 02-19 15:37 1080次阅读

    梯度科技推出DeepSeek智算一体机

    近日,梯度科技搭载DeepSeek大模型的智算一体机正式发布。该产品基于“国产服务器+国产GPU+自主算法”核心架构,搭载梯度科技人工智能应用开发平台,形成了软硬一体解决方案。
    的头像 发表于 02-17 09:53 1309次阅读

    宁畅推出DeepSeek大模型一体机

    为加速人工智能大模型技术在企业级场景中的规模化落地,宁畅正式发布DeepSeek大模型一体机解决方案。作为款面向企业的“开箱即用”智能算力平台,宁畅大
    的头像 发表于 02-15 14:51 1950次阅读

    曙光云推出DeepSeek大模型一体机

    近日,曙光云震撼发布全国产DeepSeek大模型超融合一体机。这创新产品将为政府和企业的数字化、智能化转型按下“加速键”。
    的头像 发表于 02-14 18:02 1659次阅读

    云从科技从容大模型一体机成功适配DeepSeek

    近日,国内领先的人工智能企业云从科技宣布,其从容大模型一体机已成功适配国产开源大模型DeepSeek。这
    的头像 发表于 02-14 15:44 1354次阅读

    云天天书大模型一体机成功适配DeepSeek

    近日,云天天书大模型一体机成功适配DeepSeek。该一体机由云天励飞与华为联合推出,可以部署在华为昇腾服务器上,支持私有化部署,实现开
    的头像 发表于 02-14 11:02 1292次阅读

    新华三发布DeepSeek大模型一体机UniCube

    ,为各行各业的智能进化注入了全新动力。 UniCube一体机实现了671B DeepSeek大模型的单机推理及单机一体服务,这意味着用户
    的头像 发表于 02-11 15:21 1853次阅读

    智海AI教育一体机:加速人工智能教育普及

    壁仞科技携手中兴通讯、浙江大学上海高等研究院及蓦科技,共同推出了智海AI教育一体机。这款一体机产品是壁仞科技针对行业特定需求,联合多方力量共同打造的自主原创之作。 智海AI教育
    的头像 发表于 02-11 11:47 1445次阅读