NVIDIA助力提供多样、灵活的模型选择

案例简介

在本案例中，Dify 以模型中立以及开源生态的优势，为广大 AI 创新者提供丰富的模型选择。其集成的 NVIDIAAPI Catalog、NVIDIA NIM和Triton 推理服务器产品，为 Dify.AI 提供了灵活多样的模型集成选择，专业、高效的模型接入方式让开发者用户能够构建丰富的 AI 应用场景。

AI 应用面临落地挑战

随着 AI 应用场景的不断丰富，Dify 在 AI 应用的落地方面面临了几个关键挑战，这些挑战成为了采用 NVIDIA 产品和技术的主要驱动力：

复杂应用场景需要多个模型结合使用：随着越来越丰富的 AI 应用情景探索，越来越多的企业都期望能灵活使用当前最先进的闭源或开源模型，来定制落地方案，以获得模型在不同情境下的能力表现、成本、性能等方面的最佳组合结果。

大模型的性能和稳定性风险：⼤模型的训练和推理对算力、算法、数据都有很高要求，如果选型不当或优化不足，可能影响应⽤的性能和稳定性。

数据安全和隐私保护风险：企业在落地 AI 应用时，出于对敏感场景应用和企业数据安全的考虑，会更倾向本地部署推理框架来运行他们的本地模型。

NVIDIA 助力提供多样、灵活的模型选择

Dify 平台与数百种专有/开源模型以及数十种推理提供商、自托管解决方案无缝集成，包括 LLM 推理框架、Rerank 模型、Embedding 模型等类型，允许用户根据其具体场景需要，随时切换/使用不同的模型能力。其中，Dify 集成了 API Catalog、NVIDIA NIM 和 Triton 推理服务器开源软件产品作为可选模型平台之一，具体作用如下所述：

提供丰富的预训练模型，满足多样化需求

API Catalog 提供了大量针对NVIDIA GPU优化的预训练模型，涵盖了 LLM、Embedding、Rerank 和 Vision 多个种类。它主要用于评估和测试，提供一个统一的接口，可以测试各种模型，节省开发成本。API Catalog 会持续更新最新的模型，帮助 Dify 用户加速前期的测试和评估，并为之后的量产部署做好铺垫，加速 AI 应用的开发和落地。

简化部署流程，加速生成式 AI 模型上线

NVIDIA NIM 将 AI 模型打包为容器化微服务，开发者只需几行代码即可完成部署，部署时间可从数周缩短到数分钟。这种简化的部署流程可以显著加速生成式 AI 模型的上线，使企业能够快速将模型集成到 Dify 的 AI 工作流中，实现 AI 应用落地。

优化推理性能，提供高效稳定的 AI 服务

Triton 推理服务器提供了一个优化和标准化的平台，用于部署和执行来自多种深度学习和机器学习框架的 AI 模型。它适用于通用的 AI 推理工作负载，为开发者在 Dify 平台上编排 AI 应用提供高效稳定的模型服务。

灵活调用模型，适应不同场景需求

通过 Triton 推理服务器和 NVIDIA NIM 完成模型部署后，用户可以在 Dify 平台中轻松调用所需的模型。只需在模型设置中填写 Server URL、Model Name 等凭据，即可根据具体的场景需求，随时切换或使用不同的模型能力。这种灵活的模型调用方式可以帮助企业快速适应不断变化的业务需求，提高 AI 应用的适应性和可扩展性。

加入 NVIDIA Inception，

融入全球开发者社区生态

Dify 不仅与 NVIDIA 在模型层面实现了深度集成，其还于 2024 年 4 月入选了NVIDIA Inception 初创加速计划。Dify 也受邀参加了 NVIDIA 初创加速计划最新开启的系列技术加速营，获得了与众多 AI 创新者、行业客户、生态上下游企业交流合作和极大的市场曝光机会。

加入 NVIDIA 初创加速计划对 Dify 来说，标志着一个新的里程碑，Dify 将借助 NVIDIA 的影响力链接全球开发者，在其领先技术的助力下，不断突破，打造更繁荣的生态和产品。

Dify 创始人兼 CEO 张路宇表示：“Dify 成立的第一天，就定位是一个面向全球开发者用户的产品，我们希望接入全球领先的大模型，共创 AI 解决方案，为不同行业落地 AI 的企业、AI 创新者们提供开箱即用的 LLM 应用开发平台，这也是我们首选 NVIDIA 的原因。在全球的客户生态、开发者生态经营上，NVIDIA 毋庸置疑是我们最好的选择。”

繁荣的开源社区生态，

加速 AI 创新应用落地

Dify 团队成立于 2023 年 3 月，同年 5 月发布 Dify.AI 第一个版本并开源。基于 LLMOps 及后端即服务的理念，为企业提供从 Agent 构建到 AI workflow 编排、RAG 检索、模型管理等能力，致力于打造⼀个开放的 LLM 应⽤开发平台，降低 LLM 应⽤程序的开发和部署复杂性，帮助应⽤开发者更快地搭建和运营⽣产级的⽣成式 AI 应⽤。

Dify 在开源社区受到全球开发者的关注和喜爱，在短短一年的时间内，stars 数已超过 36,000+，达到数十万次下载量，多次登榜 GitHub 全球趋势榜单。GitHub stars 已超越知名 AI Infra 产品如 LlamaIndex、flowise 等，仅次于 LangChain。面向需要探索 AI 应用创新、AI 应用落地业务的开发者或企业客户，Dify 提供成熟的应用开发工具平台，加速 AI 落地业务的过程。

截至 2024 年 4 月，Dify.AI 已经服务了十余家 500 强企业和数十家上市公司。全球领先企业选择 Dify 作为 LLM App Stack，标杆客户覆盖汽车、先进制造、消费、半导体、医药等行业，如理想汽车、研华股份、百胜中国、Panasonic、Advantech、安克创新、得到等。Dify.AI 同时也吸引了全球范围内关注 LLM 应用技术的创业者和服务商，他们可以基于 NVIDIA 的资源和生态，利用 Dify 作为开发工具，创造出更多创新性 AI 产品和服务，带来更多生态合作的空间。

NVIDIA 初创加速计划

Dify.AI是 NVIDIA 初创加速计划 (NVIDIA Inception) 会员企业。 NVIDIA 初创加速计划为免费会员制，旨在培养颠覆行业格局的优秀创业公司。该计划联合国内外知名的风投机构、创业孵化器、创业加速器、行业合作伙伴以及科技创业媒体等，打造创业加速生态系统。能够提供产品折扣、技术支持、市场宣传、融资对接、业务推荐等一系列服务，加速创业公司的发展。