Meta推出Llama 2 免费开放商业和研究机构使用

近日，Meta推出了Llama 2，这是一个新的大型语言模型，参数高达700亿。新的生成型人工智能系统代表了OpenAI的变化，但是几乎没有分享包括GPT-3/3.5和GPT-4在内的大多数人工智能模型的细节。根据维基百科的数据，Llama 2的发布包含了ChatGPT 3.5的40%的参数，其中包括与微软的重要合作。Redmond也不仅仅是一个名义上的合作伙伴，他最近宣布支持Azure和Windows中的Llama 2。与此同时，高通公司现在表示，它将与Llama 2一起加入LLM竞争，并公布了将Llama 2带入智能手机中的计划。

Meta方面在微软的Inspire合作伙伴大会上宣布，将与包括微软在内的主要云计算服务提供商合作，推出新一代开源大模型Llama 2，并将该模型免费开放给商业和研究机构使用。

这样的发展意味着，无论来源如何，开源人工智能模型的能力和覆盖范围都将大幅扩大。

Llama 2: Fine-tuned and Ready to Chat

Perplexity.ai提供了一个令人印象深刻的多个Llama 2模型的免费在线演示。它的结果与包括ChatGPT和谷歌Bard在内的当今顶级聊天机器人具有竞争力。Llama 2快速生成干净、自然的文本，尽管不太可能非常出彩，但易于阅读和理解。Llama 2还可以生成通常理解的事实、生成代码和求解数学方程。

与所有LLM一样，Llama 2偶尔会产生不正确或不可用的答案，但Meta介绍Llama的论文声称，它在学术基准方面与OpenAI的GPT 3.5不相上下，如MMLU（衡量LLM在57门STEM科目中的知识）和GSM8K（衡量LLM对数学的理解）。

Meta的研究人员部分是通过纯粹的模型大小实现的 —— 但这只是故事的一半。根据Meta的论文，Llama 2使用了有监督的微调、带有人类反馈的强化学习和一种名为Ghost Attention（GAtt）的新技术，该技术“能够在多个回合中进行对话控制”。更简单地说，GAtt帮助Llama在被要求在特定约束下工作时产生所需的结果，就像被要求“扮演”历史人物时可能发生的那样，或者在诸如架构之类的特定主题的上下文中产生响应。

META

这些技术有助于Llama 2提供各种型号，相对于其尺寸，具有可靠的基准性能。最大的模型Llama 2 70B（有700亿个参数）在所有基准测试中表现最好，但Meta也提供Llama 27 B和Llama 13 B。

参数较少的变体性能不如Llama 2 70B，但它们足够紧凑，可以在功能较弱的设备（如智能手机）上本地运行。领先的智能手机片上系统（SoC）生产商高通公司宣布与Meta合作，“从2024年开始”让Llama 2在高通公司支持的智能手机上本地运行”。

高通公司营销传播专家Rodrigo Caruso Neves do Amaral表示：“我们能够使用我们的软件工具来编译和优化模型，特别是在我们的Hexagon处理器上运行。无论是对运行这些型号的公司，还是对有时必须为访问这些应用程序付费的消费者，在设备上运行所节省的能量都会产生巨大影响。”

Open Source Fits Where Closed Models Can’t

在智能手机上离线运行大型语言模型是封闭的人工智能模型（如OpenAI的GPT 3.5和谷歌的PaLM2）无法处理的。这不一定是由于技术限制（据推测，OpenAI和谷歌可以提供一种适合智能手机的模型），而是哲学上的分歧。OpenAI和谷歌提供LLM作为API。访问API需要互联网连接，客户将根据使用情况收费。

相比之下，Llama 2的发布表示允许无限、免费的商业和学术使用。该许可并不符合开源计划制定的所有标准，因为该许可包括一项条款，要求允许将Llama 2用于“月活跃用户超过7亿”的“产品或服务”。然而，该条款仅适用于Meta最大的竞争对手，如OpenAI和谷歌。Meta的Llama 2模型已经出现在HuggingFace的Open LLM排行榜上，截至7月24日星期一收盘，“Llama-2-70b-chat-hf”的延迟和吞吐量基准排名第三。（截至发稿时，目前的顶级模型Stability AI的FreeWilly2实际上已经基于Llama 2，但FreeWilly22使用不同的数据集对模型进行了微调。）

Srinivas认为Llama 2的开源许可证是一个力量倍增器，为开发者和研究人员提供了一个根据他们的特定需求调整模型的机会。“一个人可以启动Llama 2的分支，专注于量化，另一个人可以开启另一个Llama的分支关注于低阶微调，……其他人则可以将更大的模型提炼成更小的模型，从而加速进展。”

事实证明，这对瞄准边缘设备（如智能手机）的开发人员来说尤其重要。考虑到型号的大小，Llama 2 70B表现出色并不令人惊讶。但Llama 2的较小型号相对于其型号大小也排名良好。在Open LLM排行榜上，大多数表现优于Llama 2的小型模型本身都是基于Meta之前的模型Llama。这表明，随着开源社区的开发人员将他们的才能应用到Llama 2中，Llama 2将在排行榜上名列前茅。

Srinivas说：“我认为Llama 2 7B和Llama 2 13B已经很令人兴奋了……这只是一个开始。Meta推出了它，现在人们可以改进它。可以构建其他框架和其他工程层，这赋予了每个人更多的权力。”