0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

NVIDIA NIM微服务现已推出

NVIDIA英伟达 来源:NVIDIA英伟达 2025-04-08 16:56 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

生成式 AI 为 PC 和工作站带来了全新功能,包括游戏助手、增强的内容创作和生产力工具等。

现已推出的 NVIDIA NIM 微服务和即将推出的 AI Blueprints 可加速 AI 开发和提升其可用性。NVIDIA NIM 于 1 月在 CES 上推出,提供针对 NVIDIA RTX 平台优化的预打包先进 AI 模型,包括 NVIDIA GeForce RTX 50 系列及全新 NVIDIA Blackwell RTX PRO GPU。微服务易于下载及运行。微服务涵盖了顶级 PC 开发模态,并与顶级生态系统应用和工具兼容。

在计算领域的关键时刻,突破性的 AI 模型和全球开发者社区正在推动 AI 赋能工具和工作流的爆炸式增长,NIM 微服务和 AI Blueprint 正助力为 PC 带来关键创新。

NIM 助您马上出发

尽管 AI 的创新速度惊人,但 PC 开发者社区仍然很难上手这项技术。

将 AI 模型从研究引入 PC 需要模型变体管护、输入输出数据的自适应管理和量化以优化资源的使用。此外,模型必须转化为与优化的推理后端软件配合使用,并连接到全新的 AI 应用编程接口(API)。这需要付出巨大的努力,可能会减缓 AI 的普及。

NVIDIA NIM 微服务通过提供预打包、经优化,易于下载且连接到行业标准 API 的 AI 模型,帮助解决了这一问题。它们针对 RTX AI PC 和工作站上的性能进行了优化,并包含了来自社区的顶级 AI 模型以及 NVIDIA 开发的模型。

NIM 微服务支持各种 AI 应用,包括大语言模型(LLMs)、视觉语言模型、图像生成、语音处理、基于检索增强生成(RAG)的搜索、PDF 提取和计算机视觉。提供十种面向 RTX 的 NIM 微服务,支持各种应用,包括语言和图像生成、计算机视觉、语音 AI 等。

立即访问https://www.nvidia.cn/ai/开始使用以下 NIM:

语言和推理:Deepseek-R1-distill-llama-8B、Mistral-nemo-12B-instruct 和 Llama3.1-8B-instruct

图像生成:Flux.dev

音频:Riva Parakeet-ctc-0.6B-asr 和 Maxine Studio Voice

RAG:Llama-3.2-NV-EmbedQA-1B-v2

计算机视觉和理解:NV-CLIP、PaddleOCR 和 Yolo-X-v1

NIM 微服务还可以通过顶级 AI 生态系统工具和框架提供。

对于 AI 发烧友,AnythingLLM 和 ChatRTX 现在支持NIM,可以通过简单、友好的用户界面轻松与 LLM 和 AI 智能体聊天。借助这些工具,用户可以创建个性化 AI 助手并集成自己的文档和数据,帮助自动化任务并提高生产力。

对于希望构建、测试和集成 AI 到其应用中的开发者,FlowiseAI 和 Langflow 现在支持 NIM,并提供带有视觉界面的低代码和无代码解决方案,以最低限度的编程专业知识设计 AI 工作流。即将推出对 ComfyUI 的支持。借助这些工具,开发者可以轻松创建复杂的 AI 应用,如聊天机器人、图像生成器和数据分析系统。

此外,Microsoft VS Code AI Toolkit、CrewAI 和 Langchain 现在支持 NIM,并提供将微服务集成到应用代码中的高级功能,有助于确保无缝集成和优化。

NVIDIA AI Blueprint,提供预构建工作流

NVIDIA AI Blueprint 为 AI 开发者提供了借助 NVIDIA NIM 微服务构建生成式 AI 工作流的先机。

Blueprint(蓝图)是即用、可拓展的参考样本,可以打包所有必要元素(源代码、示例数据、文档和演示应用),以创建和自定义本地运行的高级 AI 工作流。开发者可以修改和拓展 AI Blueprint,以调整其行为、使用不同的模型或实现全新的功能。

PDF 转播客 AI Blueprint可以将文档转换为音频内容,以便用户可以随时随地学习。通过从 PDF 中提取文本、图像和表格,工作流利用 AI 生成信息丰富的播客。为了更深入地探讨主题,用户可以与由 AI 赋能的播客主持人进行互动式讨论。

借助适用于 Linux 的 Windows 子系统,在 RTX 上运行 NVIDIA NIM 和 AI Blueprint

使 NIM 微服务能够在 PC 上运行,关键技术之一是适用于 Linux 的 Windows 子系统(WSL)。

微软和 NVIDIA 合作 为 WSL 引入了 CUDA 和 RTX 加速,使在 Windows 上运行优化的、容器化的微服务成为可能。从 PC 和工作站到数据中心云计算,这使得相同的 NIM 微服务可以随时随地运行。

构建、创造、创新

用于 RTX 的 NVIDIA NIM 微服务 和 AI Blueprint 现已在www.nvidia.cn/ai/提供,为开发者和 AI 发烧友构建 AI 应用提供功能强大、随时可用的工具。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • NVIDIA
    +关注

    关注

    14

    文章

    5496

    浏览量

    109110
  • AI
    AI
    +关注

    关注

    89

    文章

    38153

    浏览量

    296819
  • 微服务
    +关注

    关注

    0

    文章

    147

    浏览量

    8050

原文标题:NVIDIA NIM 微服务现已推出,可简化 RTX AI PC 和工作站上的智能体工作流

文章出处:【微信号:NVIDIA_China,微信公众号:NVIDIA英伟达】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    NVIDIA推出全新BlueField-4 DPU

    全新 NVIDIA BlueField DPU 具有 800Gb/s 的吞吐量,其集成的 NVIDIA ConnectX-9 SuperNIC 和 NVIDIA DOCA 微服务为 A
    的头像 发表于 11-03 14:48 601次阅读

    NVIDIA技术助力企业创建主权AI智能体

    AI Factory 的经验证设计将加速基础设施与软件(包括全新 NVIDIA NIM 微服务和经扩展的 NVIDIA Blueprint)相结合,为各国和企业简化了全栈式 AI 开发
    的头像 发表于 06-16 14:28 1091次阅读

    企业使用NVIDIA NeMo微服务构建AI智能体平台

    已发布的 NeMo 微服务可与合作伙伴平台集成,作为创建 AI 智能体的构建模块,使用商业智能与强大的逻辑推理模型 (包括 NVIDIA Llama Nemotron) 处理更多任务。
    的头像 发表于 04-27 15:05 1004次阅读

    使用NVIDIA RTX PRO Blackwell系列GPU加速AI开发

    NVIDIA GTC 推出新一代专业级 GPU 和 AI 赋能的开发者工具—同时,ChatRTX 更新现已支持 NVIDIA NIM,RTX
    的头像 发表于 03-28 09:59 1081次阅读

    英伟达GTC2025亮点:Oracle与NVIDIA合作助力企业加速代理式AI推理

    Enterprise 软件平台之间的集成,将使 160 多个 AI 工具和 100 多个 NVIDIA NIM 微服务通过 OCI 控制台以原生方式提供。此外,Oracle 和 NVIDIA
    的头像 发表于 03-21 12:01 1186次阅读
    英伟达GTC2025亮点:Oracle与<b class='flag-5'>NVIDIA</b>合作助力企业加速代理式AI推理

    Oracle 与 NVIDIA 合作助力企业加速代理式 AI 推理

    Oracle Cloud Infrastructure (OCI) 与 NVIDIA AI Enterprise 软件平台之间的集成,将使 160 多个 AI 工具和 100 多个 NVIDIA NIM
    发表于 03-19 15:24 471次阅读
    Oracle 与 <b class='flag-5'>NVIDIA</b> 合作助力企业加速代理式 AI 推理

    英伟达发布DeepSeek R1于NIM平台

    .com网站上发布。 据悉,DeepSeek R1 NIM微服务是英伟达在人工智能领域的一项重要创新,旨在为用户提供高效、精准的推理服务。在单个英伟达HGX H200系统上,该微服务
    的头像 发表于 02-05 14:48 921次阅读

    nim-2.2.0 install FAILURE

    [root@LS-GD nim-2.2.0]# ls binbuild32.bat c_codecompilerdeinstall.shicons
    发表于 01-19 16:45

    NVIDIA发布全新NIM AI Guardrail微服务

    NVIDIA近期推出了一项旨在保障代理式AI应用安全性的重要技术——NIM AI Guardrail微服务。这一全新微服务
    的头像 发表于 01-18 11:48 1049次阅读

    NVIDIA NeMo Guardrails引入三项全新NIM微服务

    NVIDIA NeMo Guardrails 包含全新 NVIDIA NIM 微服务,能够为各行业构建 AI 的企业提高 AI 的准确性、安全性和可控性。
    的头像 发表于 01-18 09:39 1140次阅读

    NVIDIA 发布保障代理式 AI 应用安全的 NIM 微服务

    NVIDIA NeMo Guardrails 包含全新 NVIDIA NIM 微服务,能够为各行业构建 AI 的企业提高 AI 的准确性、安全性和可控性。   AI 智能体有望成为能够
    发表于 01-17 16:29 282次阅读

    NVIDIA Media2重新定义媒体和娱乐的未来

    总规模达到 3 万亿美元的媒体行业计划使用 NIM 微服务、AI Blueprint 等 NVIDIA 技术简化 AI 视频管线并提高受众的参与度。
    的头像 发表于 01-16 10:59 1091次阅读

    NVIDIA推出开放式Llama Nemotron系列模型

    作为 NVIDIA NIM 微服务,开放式 Llama Nemotron 大语言模型和 Cosmos Nemotron 视觉语言模型可在任何加速系统上为 AI 智能体提供强效助力。
    的头像 发表于 01-09 11:11 1193次阅读

    NVIDIA与合作伙伴推出代理式AI Blueprint

    开发者现在可以使用全新 NVIDIA AI Blueprint 构建和部署具备推理、规划和行动能力的定制化 AI 智能体。这些蓝图囊括了 NVIDIA NIM 微服务
    的头像 发表于 01-09 11:08 1023次阅读

    宝藏级微服务架构工具合集

    宝藏级热门微服务架构工具包含Spring Boot、Eclipse Vert.X、Kubernetes、Tyk、RabbitMQ、Apache Kafka等。其中,Spring Boot简化了微服务
    的头像 发表于 12-21 16:33 910次阅读