据悉,亚马逊云服务部门于5月23日宣布,与人工智能新贵Hugging Face达成合作协议,在定制化计算芯片Inferentia2上以更优惠价格运行上千种AI模型。
Hugging Face作为一家估值为45亿美元的公司现已成为了众多AI研究员和开发者分享Chatbot和相关软件的核心平台,受到亚马逊、谷歌、英伟达等巨头的青睐。
据了解,Hugging Face是开发者获取和调整诸如Meta Platforms的Llama 3等开源AI模型的首选平台。
当开发者完成对开源AI模型的调整后,往往希望能利用此模型驱动软件。因此,亚马逊和Hugging Face决定联手,通过在Inferentia2定制化亚马逊网络服务(AWS)芯片上实现这一目标。
Hugging Face的产品及增长主管Jeff Boudier表示,对于他们而言,效率至关重要——即确保尽可能多的用户能够运行模型,且以最具性价比的方式进行。
尽管英伟达在训练模型领域处于领先地位,但AWS坚信其芯片有能力以更低成本运行已训练好的模型。
AWS人工智能产品负责人Matt Wood指出,用户可能每月仅需训练一次这些模型,而实际应用中,可能需要每小时对其进行数万次推理,这正是Inferentia2的独特优势所在。
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。
举报投诉
-
AI
+关注
关注
91文章
41115浏览量
302607 -
模型
+关注
关注
1文章
3818浏览量
52269 -
英伟达
+关注
关注
23文章
4115浏览量
99630 -
亚马逊
+关注
关注
8文章
2736浏览量
85890
发布评论请先 登录
相关推荐
热点推荐
NVIDIA Alpamayo 1模型在Hugging Face平台下载量已突破10万次
NVIDIA Alpamayo 1 在 Hugging Face 的下载量已突破 10 万次,且仍在持续增长,已成为 Hugging Face
亚马逊云科技推出全新的Amazon AI Factories 将客户现有基础设施转化为高性能AI环境
亚马逊云科技在2025 re:Invent全球大会上,宣布推出全新的Amazon AI Factories,助力企业将现有基础设施转化为高
什么是AI模型的推理能力
NVIDIA 的数据工厂团队为 NVIDIA Cosmos Reason 等 AI 模型奠定了基础,该模型近日在 Hugging
【「AI芯片:科技探索与AGI愿景」阅读体验】+AI芯片到AGI芯片
和探索;人类级别的理解能力;常识推理;现实世界的知识整合。
3、测试时计算
测试时计算(TTC)是指在模型推理阶段利用额外的计算资源来提升泛
发表于 09-18 15:31
【「AI芯片:科技探索与AGI愿景」阅读体验】+AI的科学应用
流体芯片
⑤AI计算平台
⑥基于AI的自主决策系统
⑦基于AI的自主学习系统
2、面临的挑战
①需要造就一个跨学科、全面性覆盖的知识库和科学
发表于 09-17 11:45
【「AI芯片:科技探索与AGI愿景」阅读体验】+AI的未来:提升算力还是智力
持续发展体现在:
1、收益递减
大模型的基础的需要极大的算力,这首先源于昂贵的高性能AI芯片,然后是宝贵的电力、水等与环境相关的资源。
收益递减体现在:
①
发表于 09-14 14:04
【「AI芯片:科技探索与AGI愿景」阅读体验】+第二章 实现深度学习AI芯片的创新方法与架构
的同时,能够利用更小、更快的数字格式,提升模型的整体性能。
1.3Transformer 模型中的矩阵乘法计算
2、存内
发表于 09-12 17:30
【「AI芯片:科技探索与AGI愿景」阅读体验】+AI芯片的需求和挑战
②Transformer引擎③NVLink Switch系统④机密计算⑤HBM
FPGA:
架构的主要特点:可重构逻辑和路由,可以快速实现各种不同形式的神经网络加速。
ASIC:
介绍了几种ASIC AI芯片
发表于 09-12 16:07
AI 芯片浪潮下,职场晋升新契机?
、新架构不断涌现。能够在工作中提出创新性的解决方案,推动 AI 芯片性能、功耗、成本等关键指标的优化,将极大提升在职称评审中的竞争力。例如,在
发表于 08-19 08:58
【书籍评测活动NO.64】AI芯片,从过去走向未来:《AI芯片:科技探索与AGI愿景》
创新、应用创新、系统创新五个部分,接下来一一解读。
算法创新
在深度学习AI芯片的创新上,书中围绕大模型与Transformer算法的算力需求,提出了一系列架构与方法创新,包括存内
发表于 07-28 13:54
亚马逊云科技在2025纽约峰会发布多项AI agent创新
七大核心服务,帮助企业大规模、安全部署与运行AI agents 亚马逊云科技Marketplace新增多项产品,助力企业发现、采购并部署领先
Dify携手亚马逊云科技加速全球企业生成式AI应用规模化落地
简单易用的AI应用开发平台Dify通过深度集成亚马逊云科技的生成式AI技术与云服务,在保障
亚马逊云携手AI新创企业Hugging Face,提升AI模型在定制芯片计算性能
评论