AI数据飞轮的工作原理

来源：NVIDIA英伟达

数据飞轮是一种反馈循环机制，通过从交互或流程中收集数据，持续优化 AI 模型，进而产生更优的结果和更有价值的数据。

1AI 数据飞轮的工作原理是什么？

AI 数据飞轮的工作原理是通过创造循环机制，帮助 AI 模型整合机构知识与用户反馈，从而实现持续的改进。当模型生成输出结果时，数据飞轮会将反馈与新数据收集起来，用于模型的优化与增强。这一流程涉及数据管护与数据质量的提升，以便确保 AI 模型的精度和性能均得到持续改善。

数据飞轮：由数据处理、模型定制、评估、护栏和及部署构成的持续运转周期，能够利用企业数据改进 AI 系统

此外，数据飞轮内置 AI 护栏，以保持数据的完整性和可靠性，确保输出结果准确、合规、安全。这种持续的反馈和增强周期能够使 AI 模型的效能与日俱增。这一工作流由六大步骤组成：

数据处理：AI 数据飞轮的基础是企业数据。这类数据形式多样，包括文本文档、图像、视频、表格和图表。AI 数据飞轮需要通过对原始数据进行数据处理来提取和优化信息。随后，原始数据将接受进一步的筛选，去除低质量文档、个人身份信息 (PII) 与不良、有害数据，生成高质量数据。这样的数据管护能够有效提高应用的准确性。

模型定制：借助领域自适应预训练 (DAPT) 和监督式微调 (SFT) 等大语言模型 (LLM) 技术，您能够在资源要求较低情况下，快速为模型增添领域特定知识与任务专属技能。到这一步，模型已对公司的特有词汇和上下文有了更深的理解。

模型评估：接下来，您可以评估模型性能、验证答案（输出）是否符合应用的要求。以迭代的方式执行前三步，能够确保模型质量得到改进，且结果符合目标应用的要求。

AI 护栏实施：将 AI 护栏添加到定制模型中，可确保应用的部署符合企业对隐私、安全保障和安全的特定要求。

自定义模型部署：在同时部署生成式 AI 和代理式 AI 应用时，从不断扩大的数据库中持续检索信息。用户反馈和系统运行数据会被反复收集。借助 AI 数据飞轮，您可以在基于应用交互构建机构知识的同时，生成经优化、更智能的答案。

企业数据优化：由此产生的结果就是，随着时间推移，机构数据会基于收集自人类反馈和 AI 模型反馈的新数据持续更新。随着流程的重复，这一过程将反馈到数据处理中。

2扩展 AI 数据飞轮策略的目的是什么？

现实世界的 AI 智能体系统可能包含数百至数千个 AI 智能体，通过同时工作来实现流程的自动化。数据飞轮对于简化智能体操作（如审查新数据）至关重要，特别是在业务需求发生变化的情况下。这可确保 AI 智能体编排更加流畅，因为专业化的 AI 智能体团队可以提供针对资源优化的规划，并以更少的人工输入执行这些计划。

代理式 AI 的可扩展性依赖于由数据管护、模型训练、部署以及机构知识收集审查构成的自动化周期，最终实现智能体性能的不断提升。

此外，AI 应用还涉及若干身担特定职责的人类协作者：

3为什么数据飞轮对于代理式 AI和生成式 AI 的采用至关重要？

在采用 AI 智能体和生成式 AI 应用时，需要借助数据飞轮来推动软件持续改进、提升适应性。例如，随着业务需求发生变化或复杂性增加，性能和成本往往成为决定商业成败的关键。

借助高效的 AI 数据飞轮，企业组织可以：

开发符合业务或客户需求且经济高效的应用。

对产品进行个性化和优化，改善用户体验。

达成切实的目标，如提高销售转化率或通过实施自动化提升生产力。

为保持竞争优势，企业组织可以收集处理新的交互数据、优化 AI 模型，并逐步提升其 AI 应用的性能。从 LLM 到视觉语言模型 (VLM)，可用于集成的数据类型丰富多样。

开发团队也可以加快模型训练速度，专注于利用其专有数据对现有基础模型进行调优。生成式 AI 微服务可通过 API 调用进一步简化这一流程。

这种方法能够大幅减少开发和部署代理式 AI 和生成式 AI 解决方案所需的时间和资源。

4应该在何时对数据飞轮进行加速？

加速 AI 数据飞轮对解决与代理式 AI 技术相关的依赖关系具有重要意义。

例如，如果没有集中式反馈和日志记录系统，我们就难以对系统性能进行跟踪和分析，而这有可能影响数据飞轮的运行速度。如果评估数据集不能准确反映现实世界场景，就有可能导致模型性能欠佳。

随着知识库的更新，系统反馈的相关性可能会下降，从而使飞轮难以实现持续改进。人工干预虽然有益，但需要耗费大量资源和时间。解决这一问题，将有助于在加速数据飞轮同时保持其效能。

这样一来，当系统层面发生大量影响性能的交互时，加速就变得很有必要。例如，在生成式 AI 应用中，准确性和与符合人类偏好很重要。在代理式 AI 应用中，则需要 AI 知识工作者对计划进行简化和执行。

5如何开始使用数据飞轮？

要借助数据飞轮构建新一代代理式 AI 和生成式 AI 应用，需要对机构数据进行快速迭代和利用。

NVIDIA NeMo 是一个用于构建数据飞轮的端到端平台，可助力企业利用最新信息对 AI 智能体进行持续优化。

借助 NeMo，企业 AI 开发者能够轻松完成对数据的大规模管护，利用热门调优技术定制 LLM，根据行业和自定义基准测试对模型进行具有一致性的评估，并在护栏的保障下得到适用且可靠的输出结果。

NeMo 平台包含：

NeMo Curator：可高效管护用于训练 LLM 的高质量数据集，从而起到提高模型性能、加速 AI 解决方案部署的作用。

NeMo Customizer：一项高性能、可扩展的微服务，可运用 LoRA、DPO 等热门参数高效调优技术，简化 LLM 的微调和校准工作。

NeMo Evaluator：一项企业级微服务，用于提供生成式 AI 模型的行业标准基准测试、合成数据生成以及端到端的 RAG 工作流。

NeMo Guardrails：一项面向开发者的微服务，可帮助开发者在基于 LLM 的应用中实现强大的安全性和保障措施，确保这些应用始终具有可靠性，且符合组织的政策和指南。

NeMo Retriever：一组微服务，可通过可扩展的数据采集和高精度的隐私保护检索为 AI 数据飞轮赋能。依靠源自大型数据集合、具有上下文感知能力的快速响应能力，开发者能够将 AI 应用与不同数据源连接起来，构建 AI 查询引擎，并利用实时洞察对 AI 模型进行持续优化。