0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

燧原科技全新一代“邃思”云端AI推理芯片帮助客户进行云端系统部署

燧原科技Enflame 来源:燧原科技Enflame 作者:燧原科技Enflame 2021-12-09 15:16 次阅读

2021年12月,燧原科技重磅发布第二代云端人工智能推理加速卡“云燧i20”——这是时隔仅五个月,继今年7月发布云端人工智能训练加速卡“云燧T20”之后,燧原科技又推出的全新一代针对云端推理场景的AI加速产品

第二代人工智能推理加速卡“云燧i20”

作为全新一代云端AI推理加速产品,云燧i20拥有迄今为止业内最大的AI加速卡存储带宽,高达819 GB/s,远超行业同类产品水平;同时全面支持从FP32、TF32、FP16、BF16到INT8的计算精度。单精度FP32峰值算力达到32 TFLOPS,单精度张量TF32峰值算力达到128 TFLOPS,整型INT8峰值算力达到256 TOPS。对比第一代推理产品,云燧i20将浮点算力提升到1.8倍,整型算力提升到3.6倍。

升级后的“驭算TopsRider”软件栈,在性能、开发效率和模型覆盖面上得到大幅提升。通过引入通用高层图优化和大规模算子融合技术,充分释放了大容量片内存储和高带宽存储的利用率,将模型平均性能提升3.5倍,硬件算力利用率平均提升2倍;通过升级的编程模型以及算子自动分片、自动生成技术,自定义算子开发效率翻倍,模型迁移成本大大降低;此外,驭算增强了对动态性的支持,使云燧i20在检测语音识别、语义理解等场景更具竞争力。

在经济效益和部署灵活性层面,基于虚拟化和多实例加速技术,云燧i20能够实现单卡多用户,同时支持6个业务互不干扰、安全隔离运行。让更多云端推理应用同时享受专有的算力加速,为客户业务架构带来轻耦合、灵活可靠的实现方式,显著提升资源利用率与投入产出比。

燧原科技CEO赵立东和COO张亚林发布第二代云端AI推理产品

“云燧i20的发布标志着燧原科技在云端AI算力加速领域,从训练到推理的完整产品线已全面迭代到第二代,能够以更有竞争力的产品,为互联网、智慧城市、智慧政务,以及金融、交通、能源等传统行业客户提供更优的AI计算方案。”燧原科技CEO赵立东表示,“当前,我国芯片产业正处于激烈的成长与蜕变时代,燧原科技以‘做大芯片,拼硬科技’为时代使命,基于原始创新的软硬件架构,正在不断加速技术创新与产品迭代。性能赶超业内旗舰GPU的云燧i20正是我们的关键成果之一。”

超大带宽推理加速卡

兼具高吞吐、低延时特性

目前以语音识别、图片识别、视频内容分析为主的感知类应用,内容推荐和欺诈交易拦截等决策类应用在云端大部分都是以实时在线的方式提供服务;同时神经网络参数越来越多,数据带宽需求也越来越高,兼顾高带宽和低延迟变得至关重要。云燧i20创新性地采用了高带宽HBM2E存储,实现了高达819GB/s的超大带宽,为各类云端推理业务提供高吞吐、低延时的性能,保障其准确、平稳、高效的运行。

自主创新芯片架构

以更高性价比提供极致化性能

新一代“邃思”AI推理芯片采用第二代高性能计算核心和数据引擎,由12nm工艺打造,通过架构升级,大大提高了单位面积的晶体管效率,从而实现了与目前业内7nm GPU相匹敌的计算能力。不仅如此,基于12nm成熟工艺带来的成本优势,使得云燧i20在相同性能表现下更具性价比优势。并且供应链体系更加稳定成熟,客户的业务需求可以得到及时满足。

全新一代“邃思”云端AI推理芯片

燧原科技COO张亚林指出:“云燧i20全面提升了算力,在兼顾全精度算力的同时大幅度提高了整型运算,大力加强了模型覆盖率和泛化支持的能力,在多项基准测试中,其模型性能、能效比均处于国内领先水平,可以满足云端推理业务高度多样化的需求。燧原科技目前已经拥有第二代的训练和推理产品,针对客户的业务场景提供原始创新的、具有高性能及性价比的‘训练+推理’完整解决方案,并支持国产服务器和操作系统,可以帮助客户进行云端系统部署,全面且持续为客户创造价值。”

产学研协同

引领原始创新国产AI算力落地

自第一代云端AI推理加速卡“云燧i10”发布后,燧原科技在构建原始创新的通用算力和自主生态上付出了卓绝的努力。以其国产AI算力产品为核心,以商业生态和科研生态为支撑,实现燧原科技的云端AI推理产品在互联网、金融、政务等多家客户的商业落地,并获得认可。

之江实验室发展合作部副部长吴丽娟表示:“之江实验室今年3月与燧原科技成立联合研究中心,围绕人工智能应用场景,共同开发具有标杆性的技术解决方案,构建开源开放的创新生态系统。目前,燧原科技的第一代人工智能训练产品‘云燧T11’正在之江实验室搭建千卡高性能计算的液冷集群,打造符合国家碳中和政策导向的低碳绿色数据中心。未来,我们还会在智能计算的更多领域合作研发。”

上海银行自贸区陈行长表示:“燧原科技的第一代人工智能推理产品云燧i10具有科技独创性和技术领先优势。上海银行和燧原科技已经签署了深度战略合作协议,在智慧金融领域开展了战略合作,通过场景化、智能化、融合化的创新产品,将金融科技融入银行服务的全流程,用便捷流畅的客户体验、优质高效的服务品质,实现传统银行服务方式的突破式变革。燧原科技将助力上海银行向实现数字化、智能化转型迈出坚实的一步。”

浪潮信息副总裁刘军表示:“燧原科技是国产人工智能计算芯片的领军企业,浪潮信息与燧原科技通过元脑生态联合创新,在AI整机系统、AI算力优化、场景方案落地等多方面深入合作。此次云燧i20的发布,标志着燧原从训练到推理全面进入2.0时代,这也是国产AI算力发展的里程碑。我们期待和燧原一起紧密合作,共同推进中国人工智能产业的快速发展。”

原文标题:燧原科技发布业内带宽最大的云端AI推理卡“云燧i20”

文章出处:【微信公众号:燧原科技Enflame】欢迎添加关注!文章转载请注明出处。

审核编辑:彭菁
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 芯片
    +关注

    关注

    445

    文章

    47476

    浏览量

    407875
  • AI
    AI
    +关注

    关注

    87

    文章

    26129

    浏览量

    263709
  • 燧原科技
    +关注

    关注

    0

    文章

    97

    浏览量

    8135

原文标题:燧原科技发布业内带宽最大的云端AI推理卡“云燧i20”

文章出处:【微信号:gh_1222367b8780,微信公众号:燧原科技Enflame】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    iot可以使用手机开发APP来云端控制吗?

    iot可以使用手机开发APP来云端控制吗?
    发表于 03-20 08:00

    高通推出全新AI Hub,使AI推理速度最高提升4倍

    在今年的世界移动通信大会(MWC)上,高通公司展示了其最新的技术成果——全新的高通AI Hub。这一创新平台为开发者提供了全面优化的AI模型库,涵盖传统AI和生成式
    的头像 发表于 02-28 10:28 200次阅读

    云端技术助力边缘AI应用:恩智浦与AWS的合作新篇章

    随着数据规模的爆炸性增长,云端技术正逐渐成为处理大规模数据和开发高效模型的重要平台。通过云端,我们不仅可以实现大规模的数据收集,还能构建和优化相关的模型开发环境,从而提高模型的推理可信度和性能。在这一领域,恩智浦与AWS的合作成
    的头像 发表于 02-03 13:59 211次阅读

    【爱芯派 Pro 开发板试用体验】在爱芯派部署ChatGLM3(

    ChatGLM3是由智谱AI和清华大学KEG实验室联合发布的第三大型语言模型,是基于GLM-130B的对话微调版本,国内首个全线对标OpenAI产品线,官网:https://chatglm.cn
    发表于 12-17 22:54

    HarmonyOS:使用MindSpore Lite引擎进行模型推理

    场景介绍 MindSpore Lite 是AI 引擎,它提供了面向不同硬件设备 AI 模型推理的功能,目前已经在图像分类、目标识别、人脸识别、文字识别等应用中广泛使用。 本文介绍
    发表于 12-14 11:41

    周四研讨会预告 | 注册报名 NVIDIA AI Inference Day - 大模型推理线上研讨会

    ,使用 NVIDIA Triton TM  推理服务器进行端到端部署 LLM Serving,以及金融行业的 AI、NLP/LLM 应用场景、客户
    的头像 发表于 10-26 09:05 178次阅读

    【KV260视觉入门套件试用体验】Vitis AI 构建开发环境,并使用inspector检查模型

    推断开发平台,它可以帮助开发者在赛灵的 FPGA 和自适应 SoC 上实现高效的 AI 应用部署。它是个强大而灵活的
    发表于 10-14 15:34

    HarmonyOS/OpenHarmony原生应用开发-华为Serverless云端服务支持说明(

    Serverless又叫无服务器计算,是种按需提供云端服务的架构和服务模型。应用运行所需的服务器和环境可以皆由云端平台提供,开发者只需关注应用的业务逻辑,而无需关心基础设施(例如:服务器、操作
    发表于 10-08 10:22

    NVIDIA Grace Hopper超级芯片横扫MLPerf推理基准测试

    Hopper超级芯片首次亮相 MLPerf 行业基准测试,其运行了所有数据中心推理测试,进一步扩大了NVIDIA H100 Tensor Core GPU的领先优势。   总体测试结果表明,NVIDIA AI
    发表于 09-13 09:45 141次阅读
    NVIDIA Grace Hopper超级<b class='flag-5'>芯片</b>横扫MLPerf<b class='flag-5'>推理</b>基准测试

    NVIDIA Grace Hopper 超级芯片横扫 MLPerf 推理基准测试

    平台无论是在云端还是网络边缘均展现出卓越的性能和通用性。 此外,NVIDIA 宣布推出全新推理软件,该软件将为用户带来性能、能效和总体拥有成本的大幅提升。 GH200 超级芯片
    的头像 发表于 09-12 20:40 251次阅读

    联发科年底将推出新一代旗舰SOC,加速生成式AI终端部署

    ,赋能终端设备生成式AI应用。   将生成式AI 部署在终端设备上   目前大部分生成式AI都是通过云端运算
    的头像 发表于 08-29 01:19 1197次阅读

    Ai 部署的临界考虑电子指南

    虽然GPU解决方案对训练,AI部署需要更多。 预计到2020年中期,人工智能行业将增长到200亿美元,其中大部分增长是人工智能推理。英特尔Xeon可扩展处理器约占运行
    发表于 08-04 07:25

    统统上云!NexSight功能上新,这些场景在云端就解决了

    ,超低门槛!云端训练,支持GPU/CPU推理,超轻投入!继分割和分类模块后,应广大用户需求,NexSight迎来四大全新模块:字符识别、检测、非监督分割和非监督分类模
    的头像 发表于 07-04 10:06 516次阅读
    统统上云!NexSight功能上新,这些场景在<b class='flag-5'>云端</b>就解决了

    云端项目因为不当更新操作导致改电脑无法下载云端特定的项目

    如图,云端的项目在家里的电脑上有本地备份,之前直下载上传更新正常。有次在公司电脑上直接重命名了项目名称,做了更改。回家后在家里电脑直接更新本地文件提示和云端
    发表于 06-26 21:10

    Ansys加入台积电OIP云端联盟,助力实现云端安全的多物理场分析

    结合EDA并行性和云端可扩展性,台积电及其OIP云端联盟合作伙伴正在创造新一代云端优化设计方法,进一步缩短重要设计任务的周期。Ansys和其他EDA合作伙伴将针对多线程、全面分布式运行
    的头像 发表于 05-12 14:24 531次阅读
    Ansys加入台积电OIP<b class='flag-5'>云端</b>联盟,助力实现<b class='flag-5'>云端</b>安全的多物理场分析