0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

浪潮信息发布“源”Yuan-EB助力RAG检索精度新高

浪潮AIHPC 来源:浪潮AIHPC 2024-11-26 13:54 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

近日,浪潮信息发布 “源”Yuan-EB(Yuan-embedding-1.0,嵌入模型),在C-MTEB榜单中斩获检索任务第一名,以78.41的平均精度刷新大模型RAG检索最高成绩,将基于元脑企智EPAI为构建企业知识库提供更高效、精准的知识向量化能力支撑,助力用户使用领先的RAG技术加速企业知识资产的价值释放。

2a0c093e-a659-11ef-93f3-92fbcf53809c.png

“源”Yuan-EB 在HuggingFace的C-MTEB榜单中排名第一

Yuan-EB(版本号Yuan-embedding-1.0) 是专为增强中文文本检索能力而设计的嵌入模型(也称Embedding模型),在 “源2.0” 大模型的工作基础上,创新性地采用了“源2.0-M32”大模型进行数据重写与合成,并通过索引技术、样本排序等系列方法完成高质量微调数据集构建,能够有效提升RAG系统的检索精度。

C-MTEB是目前业内最权威的嵌入模型测试榜单。其中,检索任务(Retrieval)是检索增强生成(RAG)场景下最为重要、应用最广泛的任务能力,考察的是Embedding模型从大量的数据集中找到并返回与给定查询最相关或最匹配的信息的过程。“源”Yuan-EB基于该任务提供的医疗、新闻、电商、娱乐等8个中文文本数据集,实现了业界领先的海量文本检索精度。

2a18dba0-a659-11ef-93f3-92fbcf53809c.png

C-MTEB榜单Retrieval任务提供8个测试数据集

“源” Yuan-EB 助力RAG检索精度新高

嵌入模型在RAG流程中扮演着关键角色,它能够将复杂的高维数据(例如文本、图像或音频)转换为机器可理解的向量形式,直接决定了RAG检索的精准性和效率。

2a3da4ee-a659-11ef-93f3-92fbcf53809c.png

“源”Yuan-EB通过数据准备与模型微调两个方面的技术创新,实现了模型精度的大幅提升:

■ 在数据方面,基于“源2.0”微调阶段的问答数据进行清洗与筛选,构建问题(query)与文本(corpus)数据集;使用“源2.0-M32”对C-MTEB 训练数据进行重写与合成,通过索引技术与排序模型进行高效的难负样本提取,完成大规模难负例样本挖掘,形成高质量微调数据集;

■ 在微调方面,通过两个阶段的领先微调方法实现模型能力提升。第一阶段,使用各个领域(医疗、新闻、长文本、娱乐等方向)的大规模数据进行对比学习训练;第二阶段,采用“源2.0-M32”生成的合成数据进一步微调,并使用MRL方法完成“源”Yuan-EB训练;

“源”Yuan-EB为用户提供了大模型企业知识库应用开发的最优模型选择,能够在 RAG流程的多个方面起到显著的精度提升,包括信息检索的准确性、处理大规模数据的效率、消除语义歧义、降低计算成本、增强对长文档的处理能力以及模型鲁棒性等,最大化提升RAG流程的整体性能和应用效果。

元脑企智EPAI集成“源”Yuan-EB,加速知识库构建与性能提升

目前,“源”Yuan-EB已经在开源社区和企业大模型开发平台元脑企智EPAI中全面开放下载。用户可以在元脑企智EPAI平台中快速使用“源”Yuan-EB,并结合EPAI自研的多阶段RAG技术,零代码、低成本地基于企业数据构建大模型知识库应用。

企业大模型开发平台“元脑企智”EPAI(Enterprise Platform of AI),是浪潮信息为企业AI大模型落地应用打造的高效、易用、安全的端到端开发平台,提供数据准备、模型训练、知识检索、应用框架等系列工具,支持调度多元算力和多模算法,帮助企业高效开发部署生成式AI应用、打造智能生产力。

元脑企智EPAI已经支持超过13种类型文档的信息识别与提取,结合创新的多级混合检索策略,有效提升元脑企智EPAI在管理、解析、检索知识库与生成内容方面的最终效果,帮助企业用户实现基于私有数据、行业数据下的精准检索、精准问答,确保专业场景下大模型生成内容的准确性和可靠性,加速大模型创新力释放。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 浪潮
    +关注

    关注

    1

    文章

    491

    浏览量

    25499
  • 开源
    +关注

    关注

    3

    文章

    4422

    浏览量

    46582
  • 大模型
    +关注

    关注

    2

    文章

    3863

    浏览量

    5296

原文标题:浪潮信息发布“源”Yuan-EB,刷新大模型RAG检索精度纪录!

文章出处:【微信号:浪潮AIHPC,微信公众号:浪潮AIHPC】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    RAG效果不佳的常见问题与优化思路

    RAG(Retrieval-Augmented Generation)在2024-2026年已经成为企业级AI应用的主流架构。开源社区涌现了大量RAG框架——LangChain RAG
    的头像 发表于 05-08 14:22 262次阅读

    高质量RAG系统的五个核心设计要点

    检索增强生成(Retrieval-Augmented Generation, RAG)已成为构建大模型应用的标准架构。然而,大多数RAG系统在设计初期会因为忽略核心设计原则而在实际部署中暴露严重问题。本文从工程实践角度出发,梳理
    的头像 发表于 04-24 14:42 239次阅读

    浪潮信息直播发布业界首个企业级OpenClaw方案“企千虾”

    月2日,浪潮信息直播发布业界首个企业级OpenClaw方案——「企千虾」,为企业规模化部署、管理和应用OpenClaw,打造了安全、高效、易用的全链路方案。实操演示了「企千虾」基于元脑服务器实现
    的头像 发表于 04-05 17:44 2181次阅读

    精度5V参考电压AD586:设计与应用解析

    精度5V参考电压AD586:设计与应用解析 在电子设计领域,高精度的电压参考是许多电路稳定运行的关键。今天,我们就来深入探讨一下ADI公司的AD586这款高
    的头像 发表于 03-29 14:50 316次阅读

    RAG、MCP与智能体:大模型落地的三道关

    天生局限。RAG的思路很简单:用户提问时,先从知识库里检索相关内容,再让模型基于这些资料生成答案。 数据分片是关键第一步 。文档切太碎,上下文割裂;切太整,检索不精准。技术手册按章节切,问答对按条目切,不同类型策略不同。分片后生
    的头像 发表于 03-19 13:55 196次阅读

    RAG(检索增强生成)原理与实践

    思想 RAG的核心思想非常直观:在生成答案之前,先从知识库中检索相关信息,然后将这些信息作为上下文提供给大语言模型,让模型基于这些\"参考资料\"来生成更准确的回答。 这就像是让AI在
    发表于 02-11 12:46

    Elektrobit EB civion平台助力SDV 2.0智能座舱开发

    基于此,Elektrobit推出EB civion——一套专为SDV 2.0设计的智能座舱工程化工具链与开发平台,助力行业实现从研发到量产的高效一体化转型。
    的头像 发表于 01-26 10:05 2310次阅读

    发布元服务填写审核信息与联系方式

    填写审核信息 登录AppGallery Connect,点击“APP与元服务”。 选择要发布的元服务。 左侧导航选择“应用上架 > 版本信息”下待发布的版本。 进入“应用审核
    发表于 12-01 14:30

    元服务发布配置开发者服务信息

    您作为开发者的相关信息将面向元服务发布区域的用户公开,其中客服联系方式可能会提供给用户,用于咨询相关问题。 登录AppGallery Connect,点击“APP与元服务”。 选择要发布的元服务
    发表于 10-31 17:58

    RAG实践:一文掌握大模型RAG过程

    RAG(Retrieval-Augmented Generation,检索增强生成), 一种AI框架,将传统的信息检索系统(例如数据库)的优势与生成式大语言模型(LLM)的功能结合在一
    的头像 发表于 10-27 18:23 1759次阅读
    <b class='flag-5'>RAG</b>实践:一文掌握大模型<b class='flag-5'>RAG</b>过程

    浪潮信息发布&quot;元脑SD200&quot;超节点,面向万亿参数大模型创新设计

    北京2025年8月8日 /美通社/ -- 8月7日,浪潮信息发布面向万亿参数大模型的超节点AI服务器"元脑SD200"。该产品基于浪潮信息创新研发的多主机低延迟内存语义通信架构,以开放系统设计向上
    的头像 发表于 08-08 22:17 831次阅读
    <b class='flag-5'>浪潮信息</b><b class='flag-5'>发布</b>&quot;元脑SD200&quot;超节点,面向万亿参数大模型创新设计

    上海贝岭发布第三代高精度基准电压

    BLR3XX系列是上海贝岭推出的第三代高精度基准电压。具有高输出精度、低功耗、低噪声以及低温度系数的特性。
    的头像 发表于 07-10 17:48 1479次阅读
    上海贝岭<b class='flag-5'>发布</b>第三代高<b class='flag-5'>精度</b>基准电压<b class='flag-5'>源</b>

    飞利信与浪潮信息达成战略合作

    近日,2025年浪潮信息北京ISP战略伙伴签约授牌仪式成功举办。浪潮信息与北京飞利信电子技术有限公司等22家战略合作伙伴达成签约,其中将面向北京人工智能应用大市场,在产品技术共创、行业场景深化及区域
    的头像 发表于 06-24 17:37 1303次阅读

    使用 llm-agent-rag-llamaindex 笔记本时收到的 NPU 错误怎么解决?

    使用 conda create -n ov-nb-demos python=3.11 创建运行 llm-agent-rag-llamaindex notebook 的环境。 执行“创建
    发表于 06-23 06:26

    软通动力发布智慧园区RAG解决方案

    近日,鲲鹏昇腾开发者大会2025(KADC 2025)在北京正式启幕。软通动力作为鲲鹏路线坚定的拥护者与实践者,受邀出席大会,正式发布软通动力智慧园区RAG(Retrieval Augmented Generation 检索增强
    的头像 发表于 05-29 10:00 1091次阅读
    软通动力<b class='flag-5'>发布</b>智慧园区<b class='flag-5'>RAG</b>解决方案