【比特熊充电栈】Azure OpenAI 守护大模型数据与安全！

随着智能化的深入发展，大模型的时代已经到来。现在，大模型如雨后春笋般层出不穷，微软 Azure OpenAI 等新服务的推出，不断开创着人机交互的新形态，也在助力每一位开发者把握技术变革带来的创新机遇，构建更多创新应用，释放数据价值，加速降本增效。

但在大模型实际应用的过程中，还面临着海量的知识库数据难梳理、难理解，大语言模型 LLM 应用安全性等挑战。智能技术如何助力企业化解大模型应用中的种种挑战和难题？

本期【比特熊充电栈】联名系列，特邀凯捷咨询(中国)有限公司工程师王胜杨和 NVIDIA 企业级开发者社区经理李奕澎，解读 Microsoft Build 中国黑客松挑战赛 AOAI 企业解决方案，及 NVIDIA NeMo Guardrails，化解应用挑战，加速应用智能化更新。

王胜杨

凯捷咨询(中国)有限公司工程师

云原生，DevOps，Azure

李奕澎

NVIDIA 企业级开发者社区经理

NLP，Conversational-AI，LLM

海量医疗文献数据难研究？

基于 Azure OpenAI 搭建论文研究助手

生命科学行业，在基因组单细胞和空间转录的医学应用中，主题知识库不可或缺。但现有知识库的建设，需要大量人工去校正和审核，导致新知识共享非常缓慢。想要构建生命科学行业全新知识库，加速科学研究与医学应用，辅助药物研发或临床决策，还面临三大难点：

✦快：如何从海量文献提取医学专业的实体信息？

✦准：专业要求高，如何能理解医学专业文献，理解文献的总思路？

✦狠：如何总结文献关键信息，提升科研工作效率与成功的可能性？

智能技术如何促进生命科学行业转型升级？借助大语言模型的自然语言理解能力及自然语言生成能力，能从海量数据中快速提取出有效信息，并理解专业医学文献的关键信息。

凯捷咨询基于 Azure OpenAI 搭建论文研究助手，使用 Azure OpenAI 对用户问题意图进行意图判断；利用 Azure OpenAI NLU 和 NLG 功能，加速业务人员对专业论文的概括、总结、实体提取等；集成 Lang chain 和自定义 Tool，构建针对 DOI 的论文下载管道；文件上传至 Embedding 管道，方便日后重复对某篇论文进行进一步研究；集成 LangSmith，实现对 GPT 调用的的监视。

✦知识图谱功能：通过角色扮演的方式，让 GPT 作为基因领域的专家，为不熟悉医学专业名词的技术人员提供关键词，通过 Azure Search，对文章进行关键词提取，以此来构建知识图谱。

✦论文研究 Copilot：当不想阅读或遇到不熟悉的关键词时，选中文章就能进行段落实时总结、名词解释、段落概括和翻译。

大模型安全难掌控？

基于 Azure 结合 NeMo Guardrails 构建 LLM 可编程护栏

大语言模型 LLM 是功能强大的工具，企业和开发者都在探索 LLM 的落地应用，但在实际使用过程中也存在着大量的风险。用户可能会接触到 LLM 生成的不当、有害和有偏见的内容，甚至是危险信息，存在安全隐患。

智能技术如何为 LLM 应用戴上安全“护栏”？NVIDIA NeMo Guardrails 是一个开源工具库，致力于使 LLM 大语言模型的使用更加合法合规。它可以轻松将可编程护栏添加到基于 LLM 的对话系统中，控制大型语言模型输出的特定方式，例如不谈论违规内客、以特定方式响应特定用户请求、遵循预定义的对话路径、使用特定语言风格、提取结构化数据等。NeMo Guardrails 的核心价值是能够编写防护围栏来指导对话，定义 LLM 驱动的机器人在某些主题上的行为，构建值得信赖、安全可靠的 LLM 对话系统。

✦ 话题限定护栏 (topical guardrails)：防止大模型“跑题”；

✦对话安全护栏 (safety guardrails)：避免大模型输出时“胡言乱语”；

✦攻击防御护栏 (security guardrails)：防止 AI 平台收到恶意攻击。

基于 Azure 云平台将 NeMo Guardrails 与 Azure OpenAI 相结合，能快速为 Azure OpenAI 中的 ChatGPT 大模型添加 LLM 可编程护栏系统，避免潜在风险。构建 LLM 可编程护栏的步骤如下：

✦ 申请 Azure 账号；

✦ 开通 Azure Machine Learning 服务（注意选择计算资源）；

✦打开终端执行：安装 OpenAI、NeMo Guardrails；

✦开通 Azure OpenAI 服务，导入 NeMo Guardrails 大模型护栏及护栏配置文件工具类/从 langchain 中导入 Azure Chat OpenAI 工具类，传入 Azure OpenAI 的 API-KEY、endpoint、deployment_name 等关键参数；

✦在Azure Machine Learning中，把NeMo Guardrails 与 Azure OpenAI 结合使用，读取配置文件和 Colang 文件，进行人机交互对话逻辑的设计，构建更加安全可靠的 LLM 对话引擎。

想了解更多 NeMo Guardrails 与 Azure OpenAI 的结合使用的操作指南和干货知识，点击文末“阅读原文”，就可以回看【比特熊充电栈】学习实践。

扫描比特熊个熊微信二维码

加入【比特熊粉丝后援会】

与开发者一起嗨聊，期待成为你的好友~