0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

NVIDIA工具和技术为混合式AI工作流提供支持

NVIDIA英伟达 来源:NVIDIA英伟达 2024-09-09 09:25 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

生成式 AI 为 Windows 应用和游戏带来了各种新功能。它为无脚本、动态的 NPC 提供动力,助力创作者生成新颖的艺术作品,并帮助游戏玩家将帧率提升高达 4 倍。但这些不过是冰山一角。

随着生成式 AI 的功能和使用场景不断增加,相关计算需求也水涨船高。

混合式 AI 将 NVIDIA RTX 的端侧 AI 加速与云端的可扩展 GPU 相结合,可有效且高效地满足 AI 工作负载的需求。

混合式 AI,鱼与熊掌兼得

随着 AI 的普及,应用开发者正在寻找各种可行的部署方式:在 RTX GPU 上本地运行的 AI 兼具高性能和低延迟,即使在离线情况下也可随时使用。另一方面,在云端运行的 AI 能够运行规模更大的模型并且可以跨多个 GPU 进行扩展,还可以同时为多个用户提供服务。在许多情况下,一个应用程序会同时使用这两种方式部署的服务。

混合式 AI 组合与协调本地 PC 和工作站的算力与云的扩展能力。它可以根据特定使用场景、成本和性能要求灵活优化 AI 工作负载,帮助开发者确保 AI 任务在其特定应用场景下最合适的设备上运行。

无论 AI 是在本地还是在云端运行,它都可以通过 NVIDIA GPU 和 NVIDIA 的 AI 技术栈(包括 TensorRT 和 TensorRT-LLM)进行加速。这意味着我们可以减少无谓的等待时间,并可为用户提供更多的先进 AI 功能。

这一系列 NVIDIA 工具和技术可为创作者、游戏玩家和开发者的混合式 AI 工作流提供支持。

理想的云端应用由 RTX 实现

生成式 AI 已经证明它能够为艺术家的创作提供灵感,加速设计,启发构思。此类解决方案包括 iStock 推出的云端生成式 AI,这是一项由 NVIDIA Edify 驱动的生成式摄影图片服务,专为艺术家打造。另一方面,艺术家也为该生成式 AI 的模型训练贡献了各种授权内容,而做出贡献的艺术家也会因此获得报酬。

iStock 的生成式 AI 不仅可以用于图像生成,还可以为艺术家提供丰富的工具,以便他们探索各种风格和变化,修改图像的某个部分或扩展画布。借助这些工具,艺术家可以快速完成多次概念设计,并将创意转变为现实方案。

创意概念准备完成后,艺术家就可以将其转移到本地设备上。RTX 助力的 PC 和工作站可在超过 125 款热门创意应用中为艺术家提供 AI 加速,帮助他们最大化实现自己的创意愿景:无论是使用本地 AI 工具在 Photoshop 中创建令人惊叹的艺术作品,在 DaVinci Resolve 中使用视差效果为图像制作动画,还是使用光线追踪加速在 Blender 中借助参考图像构建 3D 场景,亦或是使用 Optix 进行 AI 降噪。

云端 ACE 让 NPC 栩栩如生

混合式 AI 还通过 NVIDIA ACE 实现了交互式 PC 游戏的新高度,让游戏开发者和数字创作者能够将先进的生成式 AI 模型集成到 RTX AI PC 上的数字虚拟形象中。

NVIDIA ACE NIM 由 AI 神经网络提供支持,让开发人员和设计师创建能够理解并响应人类玩家文本和语音的非玩家角色(NPC)。NVIDIA ACE NIM 可利用 AI 模型(包括语音转文本模型)来处理人类语音输入,以便 NPC 实时生成回应。

在这些新技术的加持下,NPC 的回应将不再受限于预定义的脚本。ACE NIM 既可以在 RTX GPU 设备上本地运行,也可以部署在云端,基于各种计算选项实现动态、逼真的交互。

可灵活部署的混合式开发者工具

混合式 AI 还可以帮助开发者构建和调整新的 AI 模型。NVIDIA AI Workbench 可帮助开发者在 RTX GPU 上快速创建、测试和定制预训练生成式 AI 模型和 LLM。数据科学家和开发者可通过 NVIDIA AI Workbench 简化对 Hugging Face、GitHub 和 NVIDIA NGC 等热门仓库的访问,并且能够通过简化的用户界面轻松地复现、协作和迁移项目。

当有额外的性能需求时,项目还可轻松扩展至数据中心(无论是公有云还是 NVIDIA DGX Cloud),之后部署到 PC 或工作站上的本地 RTX 系统进行推理和轻量定制。数据科学家和开发者可以利用预先构建的 Workbench 项目,使用检索增强生成(RAG)与文档交互,使用微调功能自定义 LLM,通过流畅的 CPU 到 GPU 转换加速数据科学工作负载等等。

混合式 RAG Workbench 项目提供可自定义的 RAG 应用,以便开发者自主运行和调整。他们可以在本地对文档进行向量化,并在本地 RTX 系统或托管在 NVIDIA API Catalog 上的接入点运行推理,或使用 NVIDIA NIM 微服务。开发者可以调整混合式 RAG Workbench 项目,以便使用各种模型、接入点和容器。他们还可以通过该项目量化要在所选 GPU 上运行的模型。

NVIDIA GPU 可在 NVIDIA GeForce RTX PC 和 RTX 工作站本地以及云端为各种出色的 AI 解决方案提供支持。借助不断发展的混合式 AI 工作流,创作者、游戏玩家和开发者可以充分发挥本地和云端的强大能力。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • NVIDIA
    +关注

    关注

    14

    文章

    5694

    浏览量

    110118
  • 云计算
    +关注

    关注

    39

    文章

    8043

    浏览量

    144771
  • AI
    AI
    +关注

    关注

    91

    文章

    41147

    浏览量

    302609

原文标题:解码 NVIDIA RTX AI PC 和工作站如何协同云计算来强效助力生成式 AI

文章出处:【微信号:NVIDIA_China,微信公众号:NVIDIA英伟达】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    扣子AI智能体工作流(完结)

    的核心诉求。然而传统开发模式的高技术门槛、长交付周期和昂贵成本,将多数非技术部门拒之门外。扣子工作流的出现,彻底打破了这种技术垄断,通过可视化、模块化的设计理念,让业务人员首次真正掌握
    的头像 发表于 04-25 11:21 294次阅读

    解析AD公司12位和14位混合式同步/旋转变压器 - 数字转换器

    解析AD公司12位和14位混合式同步/旋转变压器-数字转换器 在电子工程领域,同步/旋转变压器 - 数字转换器是实现模拟信号到数字信号转换的关键器件,在众多领域有着广泛应用。今天大家详细介绍
    的头像 发表于 04-09 17:40 991次阅读

    混合式步进电机

    混合式步进电机产品具备1.8°标准步距角,配合驱动器可实现高细分驱动,运行平稳、噪音低。保持转矩覆盖0.8~2.8N·m,机身长度规格齐全,适配不同负载需求。采用脉冲+方向控制方式,接口通用,可直接
    发表于 04-09 15:18

    工作流节点说明---工作流节点

    工作流定义的输入输出结构,不支持自定义设置。在工作流节点中开发者需要为必选的输入参数指定数据来源,支持设置固定值或引用上游节点的输出参数。
    发表于 03-24 21:05

    工作流插件节点节点说明

    插件节点用于在工作流中调用插件运行指定工具。 插件是一系列工具的集合,每个工具都是一个可调用的API。插件广场上架的插件或已上架的团队插件支持
    发表于 03-23 16:54

    NVIDIA发布面向媒体工作流AI技术

    在 GTC 2026上,NVIDIA 宣布了多项强大的新技术,旨在变革直播媒体和后期制作工作流
    的头像 发表于 03-23 15:15 452次阅读

    工作流大模型节点说明

    ,单步0.01。 Temperature:用于调整输出结果的随机性(温度越高越随机创新,越低越确定保守);支持调试范围:0-1,单步0.01。 技能 支持大模型节点配置插件、工作流
    发表于 03-19 14:56

    工作流节点说明结束节点

    结束节点是工作流的最终节点,用于返回工作流运行后的结果。结束节点支持两种返回方式:返回变量、返回文本。 返回变量 在返回变量模式下,工作流运行结束后会以JSON格式输出所有返回参数,适
    发表于 03-16 16:43

    全新NVIDIA Nemotron 3 Super模型重磅发布

    一款全新的开放 1,200 亿参数混合式 MoE (mixture‑of‑experts) 模型,专为 NVIDIA Blackwell 进行了优化,可解决拖慢自主智能体工作流的长时推理和上下文爆炸的成本难题。
    的头像 发表于 03-16 16:22 508次阅读

    工作流节点说明开始节点

    节点支持添加String、Boolean、Integer、Time、Object类型自定义参数,注意:因无法从用户输入中接收自定义参数内容,所以有自定义输入参数的工作流,不支持工作流
    发表于 03-13 14:52

    开发工作流创建工作流

    择要使用的节点。 2、将节点按任务流程相连接。 3、配置节点的输入和输出参数 测试并发布工作流 开发者如需在智能体内使用该工作流,必须先完成工作流的上架。 1、单击【试运行】,运行成功的节点边框将显示
    发表于 03-10 10:05

    高速混合式跟踪保持放大器HTC - 0300A:技术解析与应用指南

    高速混合式跟踪保持放大器HTC - 0300A:技术解析与应用指南 作为电子工程师,在信号处理电路设计过程中,常常会遇到高速信号采样和处理的问题,而跟踪保持放大器在这方面起到了关键作用。今天我就给
    的头像 发表于 01-12 09:35 334次阅读

    混合式 FTTA-PTTA 光缆产品性能如何?-赫联电子

    。   Molex 的混合式光缆组件提供多种加固的功能,包括密封式分支端、紫外线处理光缆以及铠装混合光缆,可以耐受苛刻的天气条件并防止潜在的干扰。Molex提供定制的配置,通过行业标准
    发表于 07-25 11:31

    NVIDIA RTX AI PCAnythingLLM加速本地AI工作流

    大语言模型(LLM)基于包含数十亿个 Token 的数据集训练而来,能够生成高质量的内容。它们是众多最热门 AI 应用的核心支撑技术,包括聊天机器人、智能助手、代码生成工具等。
    的头像 发表于 07-04 15:05 1081次阅读

    联想混合式AI战略的落地实践

    近日,以“Smarter AI for All 让AI成为创新生产力”为主题的联想创新科技大会(Tech World)在上海举办。大会全面展示了联想在混合式AI领域的关键性
    的头像 发表于 05-12 11:19 1015次阅读