云知声山海多模态大模型UniGPT-mMed登顶MMMU测评榜首

近日，多模态人工智能模型基准评测集MMMU更新榜单，云知声山海多模态大模型UniGPT-mMed以通用能力、医疗专业能力双双排名第一的优异成绩登顶榜首，力压GPT-4V，充分彰显其硬核实力。

作为国内权威多模态基准评测，MMMU由IN.AI Research等多家机构联合构建，专注于考量人工智能在解决大学层次多学科问题时的多模态理解与推理能力。

该评测集涉及艺术与设计、商科、科学、健康与医学、人文与社会科学、技术与工程等六个常见学科，包含 1.15 万个精心选取的多模态问题，涵盖 30 个不同的科目和183 个子领域。同时，MMMU 中许多问题都需要专家级的推理能力，例如，使用傅立叶变换或均衡理论来推导问题的解，这在满足评测内容广泛性的同时，也确保了其深度。

此外，MMMU还提出了两个独特的挑战：一是其涵盖多种图像格式，从照片和绘画等视觉场景到图表和表格，可用于测试 LMM 的感知能力；二是MMMU的输入形式是文本和图像的混合，要求AI模型能够将图像和文本信息结合起来进行深入理解，并在此基础上执行复杂推理。这不仅考验了模型的学科知识储备，也对其综合分析和应用能力提出了更高要求。

评测结果显示，云知声山海多模态大模型UniGPT-mMed以总分57的优异成绩登顶榜首，并在健康与医学细分赛道超越GPT-4V，力压一众大模型拔得头筹，充分展现出其在拥有业内一流的通用能力之外，更具备打造世界领先的行业大模型的能力。

UniGPT-mMed是云知声基于山海大模型底座构建的多模态大模型。其通过分析和整合海量论文、书籍及网站数据，利用精细化数据处理技术，自动识别并提取图片及其相关文本描述，并通过多模态分析技术评估图片的质量和图文之间的匹配度，筛选出最优数据。与此同时，系统能够参考图片和上下文信息对图片进行重新描述，使得图文数据更加对齐。

通过预设问答场景，UniGPT-mMed能够将图文对齐数据转化为高质量的场景问答数据集，并采用思维链和自我反思技术，进一步优化生成数据，最终构建起一个包含数亿条高质量图文问答的数据集，进而为用户提供更加丰富、准确和可靠的信息检索和问答服务。

此次评测，是云知声在多模态大模型赛道持续深耕、不断技术创新的成果体现。

作为中国AGI技术产业化的先行者，云知声于2016年开始打造Atlas人工智能基础设施，并以此为基础，构建云知大脑(UniBrain)技术中台——以山海（UniGPT）通用认知大模型为核心，结合多模态感知与生成、知识图谱、物联平台等智能组件，为云知声智慧物联、智慧医疗、智慧座舱、智慧交通等业务提供高效的产品化支撑，持续推动“U(云知大脑)+X(应用场景)”战略布局，致力推动千行百业的智慧化升级。

作为云知大脑的核心，山海大模型具备语言生成、语言理解、知识问答、逻辑推理、代码能力、数学能力、安全合规能力七项通用能力及插件扩展、领域增强、企业定制三项行业落地能力，能够满足更多场景的应用需求。今年8月，云知声推出山海多模态大模型，通过整合跨模态信息，山海多模态大模型能够接收文本、音频、图像等多种形式作为输入，并实时生成文本、音频和图像的任意组合输出，带来实时多模态拟人交互体验，开启AGI新范式。

目前，山海大模型已相继在OpenCompass大模型评测、SuperCLUE中文大模型基准测评、MedBench评测、Flageval大模型评测、SuperBench等多个权威评测中屡创佳绩，稳居国内大模型第一梯队；在医疗专业能力上，其基于山海大模型孵化的医疗大模型在CCKS 2023 PromptCBLUE医疗大模型评测中夺得通用赛道一等奖，并在MedBench评测中位列全球第一，各项指标全面超越GPT-4。

登顶MMMU评测榜，充分印证了云知声山海多模态大模型在通用能力、专业能力层面的突出实力，也将鞭策云知声持续迭代多模态大模型技术底座，实现大模型技术在多领域场景下的渗透和应用，以技术创新为各行各业带来更多智能化变革。