0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

亚马逊云携手AI新创企业Hugging Face,提升AI模型在定制芯片计算性能

微云疏影 来源:综合整理 作者:综合整理 2024-05-23 14:24 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

据悉,亚马逊云服务部门于5月23日宣布,与人工智能新贵Hugging Face达成合作协议,在定制化计算芯片Inferentia2上以更优惠价格运行上千种AI模型。

Hugging Face作为一家估值为45亿美元的公司现已成为了众多AI研究员和开发者分享Chatbot和相关软件的核心平台,受到亚马逊、谷歌、英伟达等巨头的青睐。

据了解,Hugging Face是开发者获取和调整诸如Meta Platforms的Llama 3等开源AI模型的首选平台。

当开发者完成对开源AI模型的调整后,往往希望能利用此模型驱动软件。因此,亚马逊和Hugging Face决定联手,通过在Inferentia2定制化亚马逊网络服务(AWS)芯片上实现这一目标。

Hugging Face的产品及增长主管Jeff Boudier表示,对于他们而言,效率至关重要——即确保尽可能多的用户能够运行模型,且以最具性价比的方式进行。

尽管英伟达在训练模型领域处于领先地位,但AWS坚信其芯片有能力以更低成本运行已训练好的模型。

AWS人工智能产品负责人Matt Wood指出,用户可能每月仅需训练一次这些模型,而实际应用中,可能需要每小时对其进行数万次推理,这正是Inferentia2的独特优势所在。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • AI
    AI
    +关注

    关注

    91

    文章

    41115

    浏览量

    302607
  • 模型
    +关注

    关注

    1

    文章

    3818

    浏览量

    52269
  • 英伟达
    +关注

    关注

    23

    文章

    4115

    浏览量

    99630
  • 亚马逊
    +关注

    关注

    8

    文章

    2736

    浏览量

    85890
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    AI模型微调企业项目实战课

    自主可控大模型企业微调实战课,筑牢未来 AI 底座 人工智能席卷全球商业版图的今天,企业对大模型
    发表于 04-16 18:48

    NVIDIA Alpamayo 1模型Hugging Face平台下载量已突破10万次

    NVIDIA Alpamayo 1 Hugging Face 的下载量已突破 10 万次,且仍在持续增长,已成为 Hugging Face
    的头像 发表于 03-04 16:27 983次阅读

    亚马逊科技推出全新的Amazon AI Factories 将客户现有基础设施转化为高性能AI环境

    亚马逊科技2025 re:Invent全球大会上,宣布推出全新的Amazon AI Factories,助力企业将现有基础设施转化为高
    的头像 发表于 12-13 13:44 858次阅读

    亚马逊发布新一代AI芯片Trainium3,性能提升4倍

    Trainium 4的开发计划。亚马逊表示,这款芯片能够比英伟达市场领先的图形处理单元(GPU)更便宜、更高效地驱动AI模型背后的密集计算
    的头像 发表于 12-09 08:37 8873次阅读
    <b class='flag-5'>亚马逊</b>发布新一代<b class='flag-5'>AI</b><b class='flag-5'>芯片</b>Trainium3,<b class='flag-5'>性能</b><b class='flag-5'>提升</b>4倍

    什么是AI模型的推理能力

    NVIDIA 的数据工厂团队为 NVIDIA Cosmos Reason 等 AI 模型奠定了基础,该模型近日 Hugging
    的头像 发表于 09-23 15:19 1472次阅读

    【「AI芯片:科技探索与AGI愿景」阅读体验】+AI芯片到AGI芯片

    和探索;人类级别的理解能力;常识推理;现实世界的知识整合。 3、测试时计算 测试时计算(TTC)是指在模型推理阶段利用额外的计算资源来提升
    发表于 09-18 15:31

    【「AI芯片:科技探索与AGI愿景」阅读体验】+AI的科学应用

    流体芯片AI计算平台 ⑥基于AI的自主决策系统 ⑦基于AI的自主学习系统 2、面临的挑战 ①需要造就一个跨学科、全面性覆盖的知识库和科学
    发表于 09-17 11:45

    【「AI芯片:科技探索与AGI愿景」阅读体验】+AI的未来:提升算力还是智力

    持续发展体现在: 1、收益递减 大模型的基础的需要极大的算力,这首先源于昂贵的高性能AI芯片,然后是宝贵的电力、水等与环境相关的资源。 收益递减体现在: ①
    发表于 09-14 14:04

    【「AI芯片:科技探索与AGI愿景」阅读体验】+第二章 实现深度学习AI芯片的创新方法与架构

    的同时,能够利用更小、更快的数字格式,提升模型的整体性能。 1.3Transformer 模型中的矩阵乘法计算 2、存内
    发表于 09-12 17:30

    【「AI芯片:科技探索与AGI愿景」阅读体验】+AI芯片的需求和挑战

    ②Transformer引擎③NVLink Switch系统④机密计算⑤HBM FPGA: 架构的主要特点:可重构逻辑和路由,可以快速实现各种不同形式的神经网络加速。 ASIC: 介绍了几种ASIC AI芯片
    发表于 09-12 16:07

    【「AI芯片:科技探索与AGI愿景」阅读体验】+内容总览

    提升AI智力 第4章 AI芯片:汇聚半导体芯片产业前沿技术 第5章 从AI硬件到
    发表于 09-05 15:10

    AI 芯片浪潮下,职场晋升新契机?

    、新架构不断涌现。能够在工作中提出创新性的解决方案,推动 AI 芯片性能、功耗、成本等关键指标的优化,将极大提升在职称评审中的竞争力。例如,
    发表于 08-19 08:58

    【书籍评测活动NO.64】AI芯片,从过去走向未来:《AI芯片:科技探索与AGI愿景》

    创新、应用创新、系统创新五个部分,接下来一一解读。 算法创新 深度学习AI芯片的创新上,书中围绕大模型与Transformer算法的算力需求,提出了一系列架构与方法创新,包括存内
    发表于 07-28 13:54

    亚马逊科技2025纽约峰会发布多项AI agent创新

    七大核心服务,帮助企业大规模、安全部署与运行AI agents 亚马逊科技Marketplace新增多项产品,助力企业发现、采购并部署领先
    的头像 发表于 07-17 16:06 965次阅读
    <b class='flag-5'>亚马逊</b><b class='flag-5'>云</b>科技<b class='flag-5'>在</b>2025纽约峰会发布多项<b class='flag-5'>AI</b> agent创新

    Dify携手亚马逊科技加速全球企业生成式AI应用规模化落地

    简单易用的AI应用开发平台Dify通过深度集成亚马逊科技的生成式AI技术与服务,保障
    的头像 发表于 06-07 16:00 1017次阅读