0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

借助浪潮信息元脑企智EPAI高效创建大模型RAG

浪潮AIHPC 来源:浪潮AIHPC 2024-12-19 14:32 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

面对大量不断迭代的新知识,大模型必须“终身学习”才能满足实际应用的需求。RAG(Retrieval-augmented Generation,检索增强生成)让生成式大模型能够利用外部的知识源来增强生成能力,提高生成质量和可靠性。但企业构建知识检索系统并非易事,通常面临开发门槛高、生成内容差等难题。而借助浪潮信息元脑企智EPAI企业大模型开发平台,企业仅需三步即可高效创建大模型RAG,让企业内部积累的大量数据得到有效利用,唤醒企业沉睡的知识,显著提升大模型回答的准确性。

RAG:生成式大模型落地的最佳实践方案

在AIGC大模型落地企业应用过程中,必然会碰到的一个问题是,大模型从训练到完成部署,并不意味着抵达了开发工作的“终点”。在真实场景中,每时每刻都在产生大量数据,知识会迭代得飞快,如新学说的出现、领域知识的更新、某个定义的延展、某个指标的调整等,“终身学习”不仅适用于人类本身,对AI来说同样是必须具备的能力。一旦丧失这种能力,大模型会很快表现出能力的“天花板”,包括产生幻觉、缺乏对生成文本的可解释性、专业领域知识理解差,以及对最新知识的了解有限等等。

针对这一问题,业界主要有两种解决途径:一种是微调(Fine Tune)来更新模型,另一种是让AI能够与外部世界互动,以不同的形式和方式获取知识,即大模型+RAG。

微调固然效果好,可以让模型真正的“学会”一些私域知识。但是微调也会带来几个问题:首先,由于生成模型依赖于内在知识(权重),因此模型还是无法摆脱幻觉的产生,在对理解门槛高且准确性要求严格的场景下,这是完全无法接受的。其次,模型微调并不是一个简单的工作,无论是从数据准备、算力消耗、微调效果、训练时间等各个角度来看,随时用新产生的数据来进行微调都是不现实的,且最终微调的效果也无法保证,能够做到每月更新一次都已经是很理想的状态。

相比之下,RAG让生成式大模型能够利用外部的知识源(非模型本身的知识库)来增强模型的生成能力,减少生成内容的偏差和错误,提高生成质量和可靠性,在有效缓解模型幻觉的同时,也能够“唤醒沉睡的知识”,让企业内部积累的大量数据得到有效利用。由于接入外部实时动态数据,RAG在理论上没有知识边界的限制,且无需频繁进行模型训练,故已经成为生成式大模型行业落地最佳实践方案。

RAG很好,但好的RAG不好开发

RAG虽好,但在实际开发应用的场景中,企业构建知识检索系统并非易事,通常面临较高的开发门槛和较差的生成内容等难题。

■ 技术门槛高,开发效率低

首先,即便技术人员编程能力扎实、深悟大模型架构原理,从海量开源方案里挑选出最合适的大模型+ RAG组合,也需要不断的试错,定制化开发的时间成本高昂。其次,RAG的构建包含知识文档的准备、嵌入模型(embedding model)、向量数据库、查询检索和生成回答五个基本环节,各个环节均有着极大的优化空间。如在处理企业数据时,仍需设计流程,清洗、分类、标注各类数据,保其质量达模型训练标准;检索参数配置同样如此,向量模型选取与优化若有差池,也易使模型训练失败、检索不准。而遵循效果相乘叠加的定律,90%×90%×90%×90%×90%=59%,这意味着任何一个环节优化效果不佳,将会导致最终的生成效果与最初设想相距甚远。

■ 复杂文档解析能力不足,生成效果差

企业数据文档种类繁杂,高质量的文档解析能力会极大影响最终的知识检索成效。以金融机构为例,合同、报告、Excel 财务数据表及 PPT 产品介绍等文档多格式并行,开源RAG方案对此的解析能力较差,如在合同关键条款的提取方面失准,条款解读发生偏差;进行产品比对推荐时,易导致检索参数及大模型抉择失当,推荐金融产品难以满足个性化需求,使客户对企业信任与满意度滑坡。

元脑企智EPAI:构建大模型RAG仅需三步,唤醒企业沉睡的知识

针对当前企业在构建RAG上普遍面临的难题,浪潮信息元脑企智EPAI(Enterprise Platform of AI)为企业发掘数据资产、“唤醒沉睡的知识”提供了强大的开发平台,文档解析、知识库构建、检索增强生成等特色功能,不仅极大提升了企业知识管理系统的构建效率,还显著增强了大模型回答的准确性。

■ 高效的文档解析与知识库构建

元脑企智EPAI适配PDF、TXT、DOCX等多类文档格式上传解析,可深度处理文档内容,通过强大数据清洗和灵活的知识分块,帮助企业建立高质量私域知识库,并支持复杂问题、大型数据集或跨多个文档查询。

■ 更优的检索增强生成效果

元脑企智EPAI囊括关键词检索、语义检索、混合检索等多元检索模式,精准适配各类场景检索诉求。用户可依自身特定需求,选择最合适的检索方法。借由自动化 RAG pipeline技术,能敏捷抓取最新知识融入大模型,实现检索库的定期更新,从而确保生成的文本内容基于最新的信息,提升生成内容的准确性和效率,切实满足企业多样化的使用需求。

经过浪潮信息在大模型+RAG开发上的反复实践与验证,元脑企智EPAI封装了浪潮信息深度优化的RAG环境,开发者仅需三步即可快速完成检索增强生成系统的构建。

Step1创建知识库,奠定知识基石

首先,用户需要在元脑企智EPAI上创建一个知识库并上传企业文档。元脑企智EPAI支持多种文档格式,包括PDF、TXT、DOCX等。然后选配解析参数,如编码模型、文本分块长度等。开始文档解析。文档解析是将文档的内容进行抽取并对其进行分块,元脑企智EPAI在解析中支持文档版式识别,对表格、图片的文字都能做到精准提取。

文档解析成功后,内容将被存储在知识库中,形成结构化的知识块。

Step2配置检索参数,优化检索效能

在文档解析完成后,用户需要配置大模型和检索参数,以优化检索效果。元脑企智EPAI提供了多种检索参数,包括粗排引用数量、引用数量、检索类型等。在检索策略上,支持混合检索、关键词检索、向量检索等。

配置好检索参数后,用户可以进行检索测试,以验证文档分块和检索效果。在检索测试界面,用户可以输入测试文本,查看检索结果。

Step3对话交互,实现智能应用

测试完成后,元脑企智EPAI可以将知识库发布为知识助手,并且提供在线交互和API两种使用方式。

在线交互中,用户输入问题,元脑企智EPAI将结合知识库内容,通过大模型生成准确的回答,并展示引用源。下图展示,元脑企智EPAI作为营养问答助手,通过检索增强生成,提供营养方面的回答。

如果选择用API的方式,用户可以通过元脑企智EPAI创建自定义助手,将配置好的模型和知识库保存为助手,并通过API接口调用。这一功能使得用户可以轻松地将元脑企智EPAI的RAG能力集成到现有的信息系统中,提升系统的智能化水平。

eb78afdc-bd9c-11ef-8732-92fbcf53809c.png元脑企智EPAI让某领先IT企业智能生产力激增

业界领先的某IT企业积极利用元脑企智EPAI平台推动内部的智能化转型,目前已“零代码”开发出IT售前助手“元小智”和撰稿助手“元小墨”。

在“元小智”开发过程中,该企业售前团队(非专业开发人员)利用元脑企智EPAI内置的数据处理工具,自动化解析结构及非结构化数据,从超 1500份涵盖 PDF、DOCX、DOC、XLS等多样格式的数据资源里,成功构筑8大业务线所有在售产品知识库,整个开发时间仅耗时1人1月,有力驱动知识集成与业务精进。

在“元小墨”开发过程中,该企业市场部团队(非专业开发人员)按照不同业务线、稿件类型收集了1300+篇成文稿件、背景资料、速记、白皮书,一键打包上传,不用任何代码即构建起专用知识库。同时通过自动化的RAG pipeline 技术将最新的知识融入大模型,通过选择关键词检索、语义检索、混合检索等不同的检索策略,有效提升检索生成内容的准确性。

在“元小墨”的加持下,该企业市场部团队资料搜索时间缩减80%,同时内容生成质量跃升,紧密贴合多元需求,驱动市场传播创新。如在内容策划时,关键词检索锁定产品亮点与市场趋势报告;定制文案阶段,语义检索精准捕捉品牌意图,推送契合风格文案;官微运营中,利用混合检索融合优势,从海量素材中精准定位热点关联素材助力推文。

元脑企智EPAI(Enterprise Platform of AI)是浪潮信息的大模型应用落地解决之道,能够为企业AI大模型落地应用提供高效、易用、安全的端到端开发平台,提供数据准备、模型训练、知识检索、应用框架等系列工具,支持调度多元算力和多模算法,帮助企业高效开发部署生成式AI应用、打造智能生产力。在大模型技术持续演进的进程中,元脑企智EPAI 将以持续创新,助力企业智能应用创新与效率提升。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 浪潮
    +关注

    关注

    1

    文章

    490

    浏览量

    25483
  • AI
    AI
    +关注

    关注

    91

    文章

    41103

    浏览量

    302585
  • 大模型
    +关注

    关注

    2

    文章

    3771

    浏览量

    5270

原文标题:唤醒企业沉睡的知识,元脑企智EPAI三步高效创建大模型RAG

文章出处:【微信号:浪潮AIHPC,微信公众号:浪潮AIHPC】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    高质量RAG系统的五个核心设计要点

    检索增强生成(Retrieval-Augmented Generation, RAG)已成为构建大模型应用的标准架构。然而,大多数RAG系统在设计初期会因为忽略核心设计原则而在实际部署中暴露严重问题。本文从工程实践角度出发,梳理
    的头像 发表于 04-24 14:42 104次阅读

    中小车 ASPICE 落地实战:低成本高效能研发体系搭建

    汽车行业智能化、软件化转型的浪潮下,ASPICE 已成为车提升研发能力的核心标准,但其落地对资源有限的中小车而言难度重重。本文依托 20 余年汽车研发质量管理实战经验,结合 PingCode
    发表于 04-13 10:48

    浪潮信息直播发布业界首个企业级OpenClaw方案“千虾”

    月2日,浪潮信息直播发布业界首个企业级OpenClaw方案——「千虾」,为企业规模化部署、管理和应用OpenClaw,打造了安全、高效、易用的全链路方案。实操演示了「千虾」基于
    的头像 发表于 04-05 17:44 2087次阅读

    RAG、MCP与智能体:大模型落地的三道关

    模型能力越来越强,但落地没那么快。从单次对话到多步任务,中间隔着系统工程。这篇文章聊三个绕不开的技术方向:RAG、MCP和智能体。 一、RAG:让模型学会翻资料 大
    的头像 发表于 03-19 13:55 141次阅读

    RAG(检索增强生成)原理与实践

    思想 RAG的核心思想非常直观:在生成答案之前,先从知识库中检索相关信息,然后将这些信息作为上下文提供给大语言模型,让模型基于这些\"参考资
    发表于 02-11 12:46

    发布服务填写审核信息与联系方式

    ,填写审核相关信息。 需要登录进行审核:如果存在需要登录后才可使用的功能,需要勾选,并提供测试账号和密码。 备注:提供有助于审核人员更准确、高效测试您服务的额外信息,比如在审核时需要
    发表于 12-01 14:30

    RAG实践:一文掌握大模型RAG过程

    RAG(Retrieval-Augmented Generation,检索增强生成), 一种AI框架,将传统的信息检索系统(例如数据库)的优势与生成式大语言模型(LLM)的功能结合在一起。不再
    的头像 发表于 10-27 18:23 1711次阅读
    <b class='flag-5'>RAG</b>实践:一文掌握大<b class='flag-5'>模型</b><b class='flag-5'>RAG</b>过程

    发布服务配置本地化基础信息(应用名称、图标)

    的本地化基础信息已填写并保存完毕。 当还有语言对应的本地化信息尚未完善,则会有红色字体进行提示。 5.填写服务名称。 服务名称默认为创建
    发表于 10-24 17:42

    脉冲神经元模型的硬件实现

    ;其中配置信息通过 APB 接口配置到神经状态存储模块和突触存储模块,对神 经核使用的神经元模型参数,突触权重,神经个数等参数进行初始化。控制模块负责安排神经
    发表于 10-24 08:27

    【「AI芯片:科技探索与AGI愿景」阅读体验】+神经形态计算、类芯片

    。是实现类芯片的基本模型。SNN中的神经通过短的电脉冲相互沟通,脉冲之间的时间间隔起着重要作用。 最有利于硬件实现的脉冲神经元模型是“漏电整合-激发”
    发表于 09-17 16:43

    杭州灵汐类智算集群实现大模型快速推理

    据悉,“杭州灵汐类智算集群”已于7月底实现了大模型快速推理API的企业服务试运行。该集群由杭州灵汐类科技有限公司牵头搭建运营,中国电信、中国电子科技南湖研究院以及启社区作为合作方
    的头像 发表于 08-18 16:06 1112次阅读

    浪潮信息发布&quot;SD200&quot;超节点,面向万亿参数大模型创新设计

    北京2025年8月8日 /美通社/ -- 8月7日,浪潮信息发布面向万亿参数大模型的超节点AI服务器"SD200"。该产品基于浪潮信息
    的头像 发表于 08-08 22:17 779次阅读
    <b class='flag-5'>浪潮信息</b>发布&quot;<b class='flag-5'>元</b><b class='flag-5'>脑</b>SD200&quot;超节点,面向万亿参数大<b class='flag-5'>模型</b>创新设计

    万亿参数!智一体机率先支持Kimi K2大模型

    北京2025年7月21日 /美通社/ -- 浪潮信息宣布智一体机已率先完成对Kimi K2 万亿参数大模型的适配支持,并实现单用户70
    的头像 发表于 07-22 09:27 686次阅读
    万亿参数!<b class='flag-5'>元</b><b class='flag-5'>脑</b><b class='flag-5'>企</b>智一体机率先支持Kimi K2大<b class='flag-5'>模型</b>

    飞利信与浪潮信息达成战略合作

    近日,2025年浪潮信息北京ISP战略伙伴签约授牌仪式成功举办。浪潮信息与北京飞利信电子技术有限公司等22家战略合作伙伴达成签约,其中将面向北京人工智能应用大市场,在产品技术共创、行业场景深化及区域
    的头像 发表于 06-24 17:37 1240次阅读

    使用 llm-agent-rag-llamaindex 笔记本时收到的 NPU 错误怎么解决?

    使用 conda create -n ov-nb-demos python=3.11 创建运行 llm-agent-rag-llamaindex notebook 的环境。 执行“创建
    发表于 06-23 06:26