Databricks发布DBRX开源AI模型，性能优于Meta的Lama 2

3月28日，初创公司Databricks宣布其开源AI模型DBRX面世，宣称为目前全球功能最强的开源大语言模型，超过了Meta公司的Llama 2系列产品。

据了解，DBRX模型运用的是Transformer架构，内置参数高达1320亿，拥有由16个专家网络组成的复杂系统。每次进行推理时，仅需使用其中的四个专家网络就能激活360亿的复杂参数。

公司在博客文章中详解道，就算与Meta公司的 Llama 2-70B、法国MixtralAI公司的Mixtral以及马斯克旗下xAI公司研发的Grok-1这些知名开源模型相比，DBRX仍在语言理解、编程、数学和逻辑等多个领域表现出色。

具体来说，DBRX在语言理解性能上得分73.7%，领先于GPT-3.5的70.0%、Llama 2-70B的69.8%、Mixtral的71.4%以及Grok-1的73.0%；而在编程能力测试中，得分为70.1%，傲视群雄地抛离GPT-3.5的48.1%、Llama 2-70B的32.3%、Mixtral的54.8%以及Grok-1的63.2%；至于数学水平，DBRX得分66.9%，同样优于包括GPT-3.5在内的其他竞品。

据悉，DBRX模型的构建借鉴了MegaBlocks的研究成果及开源项目，每秒能高速处理大量数据。Databricks坚信，这种性能卓越性必将引领未来开源MoE模型的创新发展。