谷歌发布史上最强大模型Gemini，全方位领先GPT-4，MMLU基准达人类专家水平-电子发烧友网

电子发烧友网报道（文/吴子鹏）美国当地时间周三，谷歌发布了其新一代人工智能模型Gemini（双子星）。谷歌CEO桑达尔・皮查伊和Deepmind CEO戴密斯·哈萨比斯在谷歌官网联名发文，官宣了最新多模态大模型Gemini 1.0版本正式上线。

这次发布是按照谷歌此前的预期，但是对于业界而言非常突然。因为就在一周前还有报告指出，谷歌原本计划本周（当时称下周）发布Gemini，但现在已经推迟到2024年1月。报告给出的原因是，谷歌“发现人工智能不能可靠地处理一些非英语查询”，该公司认为全球语言支持是最重要的，这是谷歌追赶和超越OpenAI GPT-4的关键性能之一。

现在，谷歌还是如期将Gemini 1.0上线了。

史上最强的AI大模型

从定位来看，Gemini 1.0版本是桑达尔・皮查伊亲自督导，筹备一年多时间，并瞄准OpenAI GPT-4的大模型。很显然，Gemini 1.0版本的效果是远超预期的，成为目前已经上线发布的最强大的AI大模型，也是有史以来最强大的AI大模型。

据介绍，Gemini 1.0版本会有三个细分的版本：
·Gemini Ultra：谷歌最大、最强模型，适用于高度复杂的任务
·Gemini Pro：可扩展至各种任务的Gemini模型
·Gemini Nano：适用于端侧设备的高效Gemini版本（1.8B/3.25B）

Gemini 1.0版本是一个纯正的多模态AI大模型，为什么要这样说呢？因为Gemini是以多模态模型为目标重新构建的，在复杂操作以及处理不同类型信息方面，其效率和丝滑度是当前其他模型不可比拟的，这些信息包括文本、代码、音频、图像和视频。所以，Gemini也是迄今为止最灵活的大模型。

在基础设施方面，谷歌使用自研的Tensor处理单元（TPU）v4和v5e对Gemini 1.0进行训练。因此，在Gemini 1.0版本发布的同时，谷歌也宣布推出迄今为止最强大、最高效、最可扩展的TPU系统Cloud TPU v5p，专为训练尖端人工智能模型而设计。根据此前的爆料，Gemini 1.0版本训练需要的算力规模是GPT-4的5倍。

全新的设计和强大的算力底座，让Gemini 1.0版本成了一个性能怪兽。根据谷歌发布的报告，在32项广泛使用的基准测试中，Gemini Ultra获得了30个SOTA（State of the art，特指领先水平的大模型）。能够看出，Gemini 1.0版本在文本、代码、音频、图像和视频处理能力方面，以及推理、数学、代码等方面的能力均比GPT-4更加出色，可以说是全方位吊打GPT-4。

图源：谷歌

图源：谷歌

根据以上两图，Gemini在MMLU（大规模多任务语言理解数据集）和MMMU（基于大学考试的测试基准）的成绩格外值得关注。其中，Gemini Ultra在MMLU测试中的得分率高达 90.0%，首次超越了人类专家。MMLU数据集包含数学、物理、历史、法律、医学和伦理等 57 个科目，用于测试大模型的知识储备和解决问题能力。

在权威MMMU测试中，Gemini Ultra也获得了59.4%的SOTA分数。MMMU由IN.AI Research 等多所机构组成的研究团队一同推出，可用于评估AI在大学水平的多学科问题上的多模态理解和推理能力。其中包含的问题来自大学考试、测验和教科书，涉及六个常见学科：艺术与设计、商科、科学、健康与医学、人文与社会科学、技术与工程。MMMU包含1.15万个精心选取的多模态问题，涵盖30个不同的科目和183个子领域，因此满足广度目标。谷歌认为，在MMMU中取得这样的分数，证明Gemini在更复杂推理任务中还有更大的潜力值得挖掘。

谷歌认为，Gemini作为一个原生的多模态大模型，和单独训练拼接而成的多模态大模型有很大的不同，带来了巨大的性能提升，并通过多模式级联的数据进行了调优，以进一步完善其有效性。这就是为什么，Gemini几乎在任何领域都是最领先的。

在谷歌发布的报告中，该公司基于Gemini进行了复杂推理的显示，比如Gemini可以非常高效地从数十万份文件中获取对科学家有用的数据，并创建数据集。你甚至可以让它帮你给这些有价值的数据做进一步的标注。

在另一个案例中，Gemini可以在世界上最受欢迎的编程语言（如Python、Java、C++和Go）中理解、解释和生成高质量的代码。由于对全球语言都有很好的支持，Gemini可以跨语言工作并对复杂信息进行推理，使其成为世界上领先的编码的基础模型之一。基于Gemini，谷歌创建了一个更先进的代码生成系统AlphaCode 2，该系统擅长解决超越编码的竞争性编程问题，涉及复杂的数学和理论计算机科学。

凭借GPT大模型，OpenAI这几年的风头盖过了谷歌，现在凭借Gemini，谷歌打了一个漂亮的翻身仗。不过，桑达尔・皮查伊在接受采访时表示，Gemini只是领先GPT-4一点点，“想想看，向人工智能的转变是多么深刻，我们还处于早期阶段，前方的世界充满机遇。”

谷歌表示，Gemini将通过谷歌产品推向数十亿用户。从12月13日开始，开发者和企业客户可以通过Google AI Studio或Google Cloud Vertex AI中的Gemini API访问Gemini Pro。2024年初，谷歌还将推出Bard Advanced，这是一种新的顶级人工智能体验，让用户从Gemini Ultra开始访问谷歌最好的模型和功能。

更强的功能与更大的担忧

在Gemini的介绍报告中，谷歌花费很大篇幅来阐述责任和安全。在报告中谷歌提到，“在谷歌，我们致力于在我们所做的一切工作中推进大胆和负责任的人工智能。基于谷歌的人工智能原则和我们产品的强大安全政策，我们正在添加新的保护措施来保证Gemini的多模式联运能力。在开发的每个阶段，我们都在考虑潜在风险，并努力测试和减轻它们。”

“我们对迄今为止的任何谷歌人工智能模型进行了最全面的安全评估，包括偏见和数据毒性。我们对网络犯罪、说服和自主意识等潜在风险领域进行了新的研究，并应用了谷歌一流的对抗性测试技术，以帮助在Gemini部署之前识别关键安全问题。”

同时，为了减少测试的盲点，谷歌也在与外部专家和合作伙伴一起进行压力测试。然而，就像桑达尔・皮查伊提到，很多基准测试还在逐步完善一样，实际上对于AI大模型的安全测试也是如此，很多方面的测试都还是空白，人们在使用一些对付传统人工智能的手段来对AI大模型进行压力测试，但这显然是不够的。

目前，行业将AI大模型的安全风险分为三个方向，分别是训练数据、模型本身和使用场景。在训练数据方面，数据采集不当、存在偏见或标签错误、数据被投毒等都被视为安全风险；在模型本身，模型的可靠性、稳定性、鲁棒性等都是测试项，同时企业也在关注模型被误导性；然后在使用阶段，主要防范欺诈、歧视、政治倾向等风险内容，以及用户数据的保护。

表面上看，好像已经能够覆盖大模型各方面的风险，但是在目前的方案中，企业发现由于大模型处于野蛮生长的阶段，很多问题都是未知的。于是乎，ChatGPT被发现存在大量具有攻击性的行为。行业想到的办法是用魔法打败魔法——以AI对抗AI。

然而，魔高一尺还是道高一丈，这实际上也是不可控的。

今年3月份，一封千位大佬的联名信呼吁，应该立即停止训练比GPT-4更强大的AI系统，暂停期至少6个月。签名的有图灵奖得主Yoshua Bengio、Stability AI首席执行官Emad Mostaque、苹果联合创始人Steve Wozniak、纽约大学教授马库斯、马斯克，以及《人类简史》作者Yuval Noah Harari等。但此事似乎并没有什么结论。

也就在日前，OpenAI公布了该公司在安全方面的举措，实际上和谷歌等公司都是大同小异，且都说明对于AI大模型的防护也是需要不断完善，通过实践和研究来解决安全问题。

不难预见，新一轮AI大模型“竞赛”开始了，安全和责任制措施当然也会升级，但模型和防护谁发展更快，相信更多人都倾向于相信前者发展更加野蛮。