将AI保持在正轨：NVIDIA开源软件帮助开发者为AI聊天机器人添加护栏

NeMo Guardrails 帮助企业确保建立在大型语言模型上的应用符合其功能安全和信息安全要求。

全新发布的开源软件能够帮助开发者指导生成式 AI 应用生成令人印象深刻的文本响应，并保持在正轨上。

NeMo Guardrails有助于确保大型语言模型（LLM）驱动的智能应用准确、恰当、符合主题且安全。该软件包含了企业为提高可以生成文本的 AI 应用程序的安全性所需的所有代码、示例和文档。

LLM 正在被用于回答客户的问题、总结冗长的文件，甚至编写软件和加速药物研发。作为这些 AI 应用背后的强大引擎，LLM 正在被越来越多的行业所采用，此次发布恰逢其时。

NeMo Guardrails 专为帮助用户保证这类新型 AI 赋能的应用的安全性而开发。

强大的模型，强大的护栏

生成式 AI 的安全性是人们普遍关心的问题。NVIDIA 设计 NeMo Guardrails 是为了让它适用于所有 LLM，例如 OpenAI 的 ChatGPT。

该软件可以让开发者调整 LLM 驱动的应用，以确保模型的安全性并在公司的专业领域内。

NeMo Guardrails 使开发者能够构建三种边界：

主题护栏防止应用偏离进非目标领域，例如防止客服助理回答关于天气的问题。

功能安全护栏确保应用能够以准确、恰当的信息作出回复。它们能过滤掉不希望使用的语言，并强制要求模型只引用可靠的来源。

信息安全护栏限制应用只与已确认安全的外部第三方应用建立连接。

几乎每个软件开发人员都可以使用 NeMo Guardrails，他们不需要成为机器学习专家或数据科学家，只需几行代码就可以快速创建新的规则。

与熟悉的工具集成

NeMo Guardrails 是开源的，因此它可以与企业应用开发人员使用的所有工具搭配使用。

例如，它可以在 LangChain 上运行。LangChain 是一个开源工具包，越来越多的开发者用它来将第三方应用嵌入到 LLM 中。

LangChain 工具包的创建者 Harrison Chase 表示：“用户可以轻松地将 NeMo Guardrails 添加到 LangChain 工作流程中，以快速为其 AI 应用设置安全边界。”

此外，NeMo Guardrails 专为适用于广泛的基于 LLM 的应用而设计，例如 Zapier。Zapier 是一个被超过 200 万家企业使用的自动化平台，它见证了用户如何将 AI 集成到他们的工作中。

Zapier 的 AI 首席产品经理 Reid Robinson 表示：“功能安全，信息安全和信任是负责任的 AI 开发的基石，我们对 NVIDIA 主动将这些护栏嵌入 AI 智能系统感到兴奋”

“我们期待着让 AI 成为未来可靠并值得信赖的一部分所带来的益处。”

由 NVIDIA 提供，现已开源可用

NVIDIA 正在将 NeMo Guardrails 整合到 NVIDIA NeMo 框架中，该框架包含用户使用公司的专有数据来训练和调整语言模型所需的一切。

NeMo 框架的大部分内容已在 GitHub 上作为开放源码提供。作为 NVIDIA AI Enterprise 软件平台的一部分，它还可以以完整的支持包的形式提供给企业。

NeMo 还可作为一项服务使用。作为 NVIDIA AI Foundations 的一部分，这套云服务面向希望基于自己的数据集和领域知识创建、运行自定义生成式 AI 模型的企业。

通过使用 NeMo，韩国领先的移动运营商构建了一个智能助手，该助手目前已经与客户进行了 800 万次对话；瑞典的一个研究团队使用 NeMo 创建了 LLM，为该国医院、政府和商业机构自动生成文本。

需要整个社区的长期共同努力

为生成式 AI 构建有效的护栏是一项难题，随着 AI 的发展将需要大量持续的研究。

NVIDIA 将其多年研究成果——NeMo Guardrails 开源，为释放开发者社区的巨大能量及推动 AI 安全工作作出了贡献。

NVIDIA 在护栏方面的努力将帮助企业确保他们的智能服务满足功能安全、隐私和信息安全的要求，从而使这些创新引擎保持在正轨上。

审核编辑：汤梓红