0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

NVIDIA NIM微服务现已推出

NVIDIA英伟达 来源:NVIDIA英伟达 2025-04-08 16:56 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

生成式 AI 为 PC 和工作站带来了全新功能,包括游戏助手、增强的内容创作和生产力工具等。

现已推出的 NVIDIA NIM 微服务和即将推出的 AI Blueprints 可加速 AI 开发和提升其可用性。NVIDIA NIM 于 1 月在 CES 上推出,提供针对 NVIDIA RTX 平台优化的预打包先进 AI 模型,包括 NVIDIA GeForce RTX 50 系列及全新 NVIDIA Blackwell RTX PRO GPU。微服务易于下载及运行。微服务涵盖了顶级 PC 开发模态,并与顶级生态系统应用和工具兼容。

在计算领域的关键时刻,突破性的 AI 模型和全球开发者社区正在推动 AI 赋能工具和工作流的爆炸式增长,NIM 微服务和 AI Blueprint 正助力为 PC 带来关键创新。

NIM 助您马上出发

尽管 AI 的创新速度惊人,但 PC 开发者社区仍然很难上手这项技术。

将 AI 模型从研究引入 PC 需要模型变体管护、输入输出数据的自适应管理和量化以优化资源的使用。此外,模型必须转化为与优化的推理后端软件配合使用,并连接到全新的 AI 应用编程接口(API)。这需要付出巨大的努力,可能会减缓 AI 的普及。

NVIDIA NIM 微服务通过提供预打包、经优化,易于下载且连接到行业标准 API 的 AI 模型,帮助解决了这一问题。它们针对 RTX AI PC 和工作站上的性能进行了优化,并包含了来自社区的顶级 AI 模型以及 NVIDIA 开发的模型。

NIM 微服务支持各种 AI 应用,包括大语言模型(LLMs)、视觉语言模型、图像生成、语音处理、基于检索增强生成(RAG)的搜索、PDF 提取和计算机视觉。提供十种面向 RTX 的 NIM 微服务,支持各种应用,包括语言和图像生成、计算机视觉、语音 AI 等。

立即访问https://www.nvidia.cn/ai/开始使用以下 NIM:

语言和推理:Deepseek-R1-distill-llama-8B、Mistral-nemo-12B-instruct 和 Llama3.1-8B-instruct

图像生成:Flux.dev

音频:Riva Parakeet-ctc-0.6B-asr 和 Maxine Studio Voice

RAG:Llama-3.2-NV-EmbedQA-1B-v2

计算机视觉和理解:NV-CLIP、PaddleOCR 和 Yolo-X-v1

NIM 微服务还可以通过顶级 AI 生态系统工具和框架提供。

对于 AI 发烧友,AnythingLLM 和 ChatRTX 现在支持NIM,可以通过简单、友好的用户界面轻松与 LLM 和 AI 智能体聊天。借助这些工具,用户可以创建个性化 AI 助手并集成自己的文档和数据,帮助自动化任务并提高生产力。

对于希望构建、测试和集成 AI 到其应用中的开发者,FlowiseAI 和 Langflow 现在支持 NIM,并提供带有视觉界面的低代码和无代码解决方案,以最低限度的编程专业知识设计 AI 工作流。即将推出对 ComfyUI 的支持。借助这些工具,开发者可以轻松创建复杂的 AI 应用,如聊天机器人、图像生成器和数据分析系统。

此外,Microsoft VS Code AI Toolkit、CrewAI 和 Langchain 现在支持 NIM,并提供将微服务集成到应用代码中的高级功能,有助于确保无缝集成和优化。

NVIDIA AI Blueprint,提供预构建工作流

NVIDIA AI Blueprint 为 AI 开发者提供了借助 NVIDIA NIM 微服务构建生成式 AI 工作流的先机。

Blueprint(蓝图)是即用、可拓展的参考样本,可以打包所有必要元素(源代码、示例数据、文档和演示应用),以创建和自定义本地运行的高级 AI 工作流。开发者可以修改和拓展 AI Blueprint,以调整其行为、使用不同的模型或实现全新的功能。

PDF 转播客 AI Blueprint可以将文档转换为音频内容,以便用户可以随时随地学习。通过从 PDF 中提取文本、图像和表格,工作流利用 AI 生成信息丰富的播客。为了更深入地探讨主题,用户可以与由 AI 赋能的播客主持人进行互动式讨论。

借助适用于 Linux 的 Windows 子系统,在 RTX 上运行 NVIDIA NIM 和 AI Blueprint

使 NIM 微服务能够在 PC 上运行,关键技术之一是适用于 Linux 的 Windows 子系统(WSL)。

微软和 NVIDIA 合作 为 WSL 引入了 CUDA 和 RTX 加速,使在 Windows 上运行优化的、容器化的微服务成为可能。从 PC 和工作站到数据中心云计算,这使得相同的 NIM 微服务可以随时随地运行。

构建、创造、创新

用于 RTX 的 NVIDIA NIM 微服务 和 AI Blueprint 现已在www.nvidia.cn/ai/提供,为开发者和 AI 发烧友构建 AI 应用提供功能强大、随时可用的工具。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • NVIDIA
    +关注

    关注

    14

    文章

    5682

    浏览量

    110094
  • AI
    AI
    +关注

    关注

    91

    文章

    40919

    浏览量

    302511
  • 微服务
    +关注

    关注

    0

    文章

    150

    浏览量

    8139

原文标题:NVIDIA NIM 微服务现已推出,可简化 RTX AI PC 和工作站上的智能体工作流

文章出处:【微信号:NVIDIA_China,微信公众号:NVIDIA英伟达】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    Springboot+SpringData+SpringCloud微服务架构课程

      后端进阶必学:SpringCloud 微服务高可用落地实战 在互联网技术飞速迭代的今天,单体应用架构已逐渐难以承载亿级流量的重担。对于渴望突破瓶颈、迈向架构师行列的后端开发者而言,掌握微服务架构
    的头像 发表于 03-19 16:08 305次阅读

    NVIDIA RTX PRO 5000 72GB Blackwell GPU现已全面上市

    NVIDIA RTX PRO 5000 72GB Blackwell GPU 现已全面上市,将基于 NVIDIA Blackwell 架构的强大代理式与生成式 AI 能力带到更多桌面和专业用户手中。
    的头像 发表于 12-24 10:32 1073次阅读
    <b class='flag-5'>NVIDIA</b> RTX PRO 5000 72GB Blackwell GPU<b class='flag-5'>现已</b>全面上市

    NVIDIA Omniverse基于Container的部署推流方案

    为了让客户能够高效安装和部署 NVIDIA Omniverse 及 NVIDIA Isaac 平台,NVIDIA 现已推出简单便捷的容器化部
    的头像 发表于 12-17 10:17 904次阅读
    <b class='flag-5'>NVIDIA</b> Omniverse基于Container的部署推流方案

    NVIDIA推出全新BlueField-4 DPU

    全新 NVIDIA BlueField DPU 具有 800Gb/s 的吞吐量,其集成的 NVIDIA ConnectX-9 SuperNIC 和 NVIDIA DOCA 微服务为 A
    的头像 发表于 11-03 14:48 1197次阅读

    NVIDIA ACE现已支持开源Qwen3-8B小语言模型

    为助力打造实时、动态的 NPC 游戏角色,NVIDIA ACE 现已支持开源 Qwen3-8B 小语言模型(SLM),可实现 PC 游戏中的本地部署。
    的头像 发表于 10-29 16:59 1390次阅读

    华纳云VPS容器服务网格流量管理:实现微服务高效路由

    在云计算和微服务架构日益普及的今天,华纳云香港VPS凭借其优越的地缘优势和网络自由,成为众多企业部署容器化应用的热门选择。复杂的微服务架构带来了流量管理的巨大挑战。本文将深入探讨如何利用容器服务
    的头像 发表于 10-16 17:09 648次阅读

    如何基于Nginx构建微服务网关

    今天,我将分享我们团队如何基于Nginx构建了一个日均处理10亿+请求的微服务网关,以及踩过的那些坑。这套方案已经稳定运行2年+,经历过多次大促考验。
    的头像 发表于 09-02 16:29 950次阅读

    Jtti海外VPS微服务架构下的日志采集与分析优化方案

    随着跨境业务和分布式应用的普及,越来越多的企业在海外VPS上构建微服务架构,以提升系统扩展性和灵活性。然而,微服务化带来了一个新的挑战:日志数据分散在多个服务和节点中,若缺乏统一采集与分析机制,将
    的头像 发表于 08-27 17:13 689次阅读

    NVIDIA Omniverse Extension开发秘籍

    NVIDIA Omniverse 是一个模块化平台,使用高级 API 和微服务来构建由 OpenUSD 和 NVIDIA RTX 提供支持的 3D 应用。OpenUSD 功能强大的 3D 框架与
    的头像 发表于 08-22 15:52 3832次阅读
    <b class='flag-5'>NVIDIA</b> Omniverse Extension开发秘籍

    超过175款游戏和应用现已支持NVIDIA DLSS 4

    超过 175 款游戏和应用现已支持 DLSS 4,包括《生化危机:安魂曲》(Resident Evil Requiem)、《影之刃零》(Phantom Blade Zero)等支持光线追踪的大作,升级的 NVIDIA RTX Remix、Project G-Assist
    的头像 发表于 08-20 14:26 1516次阅读

    电商API的微服务架构优化策略

    ​ 随着电子商务的快速发展,API(应用程序编程接口)已成为电商平台的核心组件,负责连接用户、商家和后台系统。微服务架构通过将应用拆分为独立、可扩展的服务单元,显著提升了系统的灵活性和可维护性。然而
    的头像 发表于 07-23 14:30 712次阅读
    电商API的<b class='flag-5'>微服务</b>架构优化策略

    NVIDIA RTX AI加速FLUX.1 Kontext现已开放下载

    NVIDIA RTX 与 NVIDIA TensorRT 现已加速 Black Forest Labs 的最新图像生成和编辑模型;此外,Gemma 3n 现可借助 RTX 和 NVIDIA
    的头像 发表于 07-16 09:16 2155次阅读

    AMD Power Design Manager 2025.1现已推出

    AMD Power Design Manager 2025.1 版(PDM)现已推出——增加了对第二代 AMD Versal AI Edge 和 第二代 Versal Prime 系列的支持,并支持已量产的 AMD Spartan UltraScale+ 系列。
    的头像 发表于 07-09 14:33 1377次阅读

    NVIDIA技术助力企业创建主权AI智能体

    AI Factory 的经验证设计将加速基础设施与软件(包括全新 NVIDIA NIM 微服务和经扩展的 NVIDIA Blueprint)相结合,为各国和企业简化了全栈式 AI 开发
    的头像 发表于 06-16 14:28 1510次阅读

    企业使用NVIDIA NeMo微服务构建AI智能体平台

    已发布的 NeMo 微服务可与合作伙伴平台集成,作为创建 AI 智能体的构建模块,使用商业智能与强大的逻辑推理模型 (包括 NVIDIA Llama Nemotron) 处理更多任务。
    的头像 发表于 04-27 15:05 1467次阅读