0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

NVIDIA工具和技术为混合式AI工作流提供支持

NVIDIA英伟达 来源:NVIDIA英伟达 2024-09-09 09:25 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

生成式 AI 为 Windows 应用和游戏带来了各种新功能。它为无脚本、动态的 NPC 提供动力,助力创作者生成新颖的艺术作品,并帮助游戏玩家将帧率提升高达 4 倍。但这些不过是冰山一角。

随着生成式 AI 的功能和使用场景不断增加,相关计算需求也水涨船高。

混合式 AI 将 NVIDIA RTX 的端侧 AI 加速与云端的可扩展 GPU 相结合,可有效且高效地满足 AI 工作负载的需求。

混合式 AI,鱼与熊掌兼得

随着 AI 的普及,应用开发者正在寻找各种可行的部署方式:在 RTX GPU 上本地运行的 AI 兼具高性能和低延迟,即使在离线情况下也可随时使用。另一方面,在云端运行的 AI 能够运行规模更大的模型并且可以跨多个 GPU 进行扩展,还可以同时为多个用户提供服务。在许多情况下,一个应用程序会同时使用这两种方式部署的服务。

混合式 AI 组合与协调本地 PC 和工作站的算力与云的扩展能力。它可以根据特定使用场景、成本和性能要求灵活优化 AI 工作负载,帮助开发者确保 AI 任务在其特定应用场景下最合适的设备上运行。

无论 AI 是在本地还是在云端运行,它都可以通过 NVIDIA GPU 和 NVIDIA 的 AI 技术栈(包括 TensorRT 和 TensorRT-LLM)进行加速。这意味着我们可以减少无谓的等待时间,并可为用户提供更多的先进 AI 功能。

这一系列 NVIDIA 工具和技术可为创作者、游戏玩家和开发者的混合式 AI 工作流提供支持。

理想的云端应用由 RTX 实现

生成式 AI 已经证明它能够为艺术家的创作提供灵感,加速设计,启发构思。此类解决方案包括 iStock 推出的云端生成式 AI,这是一项由 NVIDIA Edify 驱动的生成式摄影图片服务,专为艺术家打造。另一方面,艺术家也为该生成式 AI 的模型训练贡献了各种授权内容,而做出贡献的艺术家也会因此获得报酬。

iStock 的生成式 AI 不仅可以用于图像生成,还可以为艺术家提供丰富的工具,以便他们探索各种风格和变化,修改图像的某个部分或扩展画布。借助这些工具,艺术家可以快速完成多次概念设计,并将创意转变为现实方案。

创意概念准备完成后,艺术家就可以将其转移到本地设备上。RTX 助力的 PC 和工作站可在超过 125 款热门创意应用中为艺术家提供 AI 加速,帮助他们最大化实现自己的创意愿景:无论是使用本地 AI 工具在 Photoshop 中创建令人惊叹的艺术作品,在 DaVinci Resolve 中使用视差效果为图像制作动画,还是使用光线追踪加速在 Blender 中借助参考图像构建 3D 场景,亦或是使用 Optix 进行 AI 降噪。

云端 ACE 让 NPC 栩栩如生

混合式 AI 还通过 NVIDIA ACE 实现了交互式 PC 游戏的新高度,让游戏开发者和数字创作者能够将先进的生成式 AI 模型集成到 RTX AI PC 上的数字虚拟形象中。

NVIDIA ACE NIM 由 AI 神经网络提供支持,让开发人员和设计师创建能够理解并响应人类玩家文本和语音的非玩家角色(NPC)。NVIDIA ACE NIM 可利用 AI 模型(包括语音转文本模型)来处理人类语音输入,以便 NPC 实时生成回应。

在这些新技术的加持下,NPC 的回应将不再受限于预定义的脚本。ACE NIM 既可以在 RTX GPU 设备上本地运行,也可以部署在云端,基于各种计算选项实现动态、逼真的交互。

可灵活部署的混合式开发者工具

混合式 AI 还可以帮助开发者构建和调整新的 AI 模型。NVIDIA AI Workbench 可帮助开发者在 RTX GPU 上快速创建、测试和定制预训练生成式 AI 模型和 LLM。数据科学家和开发者可通过 NVIDIA AI Workbench 简化对 Hugging Face、GitHub 和 NVIDIA NGC 等热门仓库的访问,并且能够通过简化的用户界面轻松地复现、协作和迁移项目。

当有额外的性能需求时,项目还可轻松扩展至数据中心(无论是公有云还是 NVIDIA DGX Cloud),之后部署到 PC 或工作站上的本地 RTX 系统进行推理和轻量定制。数据科学家和开发者可以利用预先构建的 Workbench 项目,使用检索增强生成(RAG)与文档交互,使用微调功能自定义 LLM,通过流畅的 CPU 到 GPU 转换加速数据科学工作负载等等。

混合式 RAG Workbench 项目提供可自定义的 RAG 应用,以便开发者自主运行和调整。他们可以在本地对文档进行向量化,并在本地 RTX 系统或托管在 NVIDIA API Catalog 上的接入点运行推理,或使用 NVIDIA NIM 微服务。开发者可以调整混合式 RAG Workbench 项目,以便使用各种模型、接入点和容器。他们还可以通过该项目量化要在所选 GPU 上运行的模型。

NVIDIA GPU 可在 NVIDIA GeForce RTX PC 和 RTX 工作站本地以及云端为各种出色的 AI 解决方案提供支持。借助不断发展的混合式 AI 工作流,创作者、游戏玩家和开发者可以充分发挥本地和云端的强大能力。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • NVIDIA
    +关注

    关注

    14

    文章

    5513

    浏览量

    109178
  • 云计算
    +关注

    关注

    39

    文章

    8004

    浏览量

    143294
  • AI
    AI
    +关注

    关注

    90

    文章

    38346

    浏览量

    297477

原文标题:解码 NVIDIA RTX AI PC 和工作站如何协同云计算来强效助力生成式 AI

文章出处:【微信号:NVIDIA_China,微信公众号:NVIDIA英伟达】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    NVIDIA 收购开源工作负载管理提供商 SchedMD

    软件的主要开发商,Slurm 是一款用于 HPC 和 AI 的开源工作负载管理系统。此次收购旨在帮助强化开源软件生态系统,并推动研究人员、开发者和企业的 AI 创新。 NVIDIA
    的头像 发表于 12-16 18:24 998次阅读

    NVIDIA如何简化企业AI工作负载

    AI 基础架构中,数据计算引擎提供关键燃料。随着代理式 AI 系统的持续演进,多个模型与服务相互协作,需要获取外部上下文并实时做出决策,企业面临如何高效、智能且可靠地处理大规模数
    的头像 发表于 09-23 15:21 841次阅读
    <b class='flag-5'>NVIDIA</b>如何简化企业<b class='flag-5'>AI</b><b class='flag-5'>工作</b>负载

    NVIDIA在Hot Chips 2025大会展示创新技术

    本周在加利福尼亚州帕洛阿尔托(Palo Alto)举行的 Hot Chips 大会上,NVIDIA 专家详细介绍了 NVIDIA NVLink 和Spectrum-X 以太网技术、Blackwell 以及 CUDA 如何为全球数
    的头像 发表于 08-27 12:52 1675次阅读

    Votee AI借助NVIDIA技术加速方言小语种LLM开发

    了精准的方言及小语种大语言模型 (LLM)。此举成功解决了数据稀缺、语言复杂及计算效率等挑战,全球数以百万计、缺乏数字化资源的语言使用者提供技术支持
    的头像 发表于 08-20 14:21 677次阅读

    混合式 FTTA-PTTA 光缆产品性能如何?-赫联电子

    。   Molex 的混合式光缆组件提供多种加固的功能,包括密封式分支端、紫外线处理光缆以及铠装混合光缆,可以耐受苛刻的天气条件并防止潜在的干扰。Molex提供定制的配置,通过行业标准
    发表于 07-25 11:31

    NVIDIA RTX AI PCAnythingLLM加速本地AI工作流

    大语言模型(LLM)基于包含数十亿个 Token 的数据集训练而来,能够生成高质量的内容。它们是众多最热门 AI 应用的核心支撑技术,包括聊天机器人、智能助手、代码生成工具等。
    的头像 发表于 07-04 15:05 812次阅读

    NVIDIA RTX Blackwell GPU专业级视频剪辑提供加速

    42 摄像机正在消费级市场日益普及,它能够捕捉到比大多数标准摄像机高一倍的颜色信息。与此同时,生成式 AI 视频模型的功能与质量均在迅速提升,使全新工具工作流成为可能。
    的头像 发表于 07-04 15:00 895次阅读

    破解高密散热难题, 维谛技术(Vertiv) 360AI混合制冷方案重塑AI时代热管理

    会上,维谛技术(Vertiv)现场分享了“360AI高效混合制冷解决方案”,以混合式管理体系打破高密制冷瓶颈,智算时代构建更可靠的温控底座
    的头像 发表于 06-20 16:34 844次阅读
    破解高密散热难题, 维谛<b class='flag-5'>技术</b>(Vertiv) 360<b class='flag-5'>AI</b><b class='flag-5'>混合</b>制冷方案重塑<b class='flag-5'>AI</b>时代热管理

    联想混合式AI战略的落地实践

    近日,以“Smarter AI for All 让AI成为创新生产力”为主题的联想创新科技大会(Tech World)在上海举办。大会全面展示了联想在混合式AI领域的关键性
    的头像 发表于 05-12 11:19 766次阅读

    技术人员如何用n8n + DeepSeek打造AI自动化工作流

    ‌ 是一个开源的低代码自动化工作流工具,允许用户通过可视化界面连接不同的应用程序和服务,实现任务自动化。 掌握n8n,公司中的非技术人员也能快速上手自动化,通过画布的方式,构建自动化工作流
    的头像 发表于 04-09 14:28 7937次阅读
    非<b class='flag-5'>技术</b>人员如何用n8n + DeepSeek打造<b class='flag-5'>AI</b>自动化<b class='flag-5'>工作流</b>?

    混合式氮化镓VCSEL的研究

    混合式氮化镓 VCSEL 的研究,2010年本研究团队优化制程达到室温连续波操作电激发氮化镓 VCSEL,此元件是以磊晶成长 AlN/GaN DBR 以及 InGaN MQW 发光层再搭配
    的头像 发表于 02-19 14:20 1005次阅读
    <b class='flag-5'>混合式</b>氮化镓VCSEL的研究

    借助NVIDIA AI Foundry平台推动医疗健康与生命科学行业发展

    借助 NVIDIA AI Foundry,全球领先的临床研究与商业服务提供商 IQVIA 将为其全球生命科学领域的客户提供 AI 智能体,助
    的头像 发表于 01-17 09:59 1301次阅读

    NVIDIA推出AI零售购物助手蓝图

    NVIDIA 于近日发布了用于零售购物助手的 NVIDIA AI Blueprint,这个生成式 AI 参考工作流旨在变革网购和实体店购物的
    的头像 发表于 01-14 11:17 1044次阅读

    NVIDIA在CES 2025带来多项发布

    NVIDIA 创始人兼首席执行官黄仁勋在北京时间 1 月 7 日发表了 CES 开幕主题演讲,介绍了加速计算技术AI、机器人、游戏和自动驾驶领域取得的突破性进展。主题演讲展示了 NVIDI
    的头像 发表于 01-13 11:30 1305次阅读

    AI工作流自动化是做什么的

    AI工作流自动化是指利用人工智能技术,对工作流程中的重复性、规则明确的任务进行自动化处理的过程。那么,AI
    的头像 发表于 01-06 17:57 1486次阅读