Meta Llama 3.1系列模型可在Google Cloud上使用

以下文章来源于谷歌云服务，作者 Google Cloud

Warren Barkley

Cloud AI 产品管理高级总监

我们很高兴宣布，Llama 3.1 系列模型已添加到 Vertex AI Model Garden，这包括全新的 405B，即 Meta 迄今为止功能最强大、用途最广泛的模型。这些模型的添加，表明 Google Cloud 一如既往地践行打造开放、灵活的 AI 生态系统的承诺，帮助您构建最能满足您需求的解决方案。

Vertex AI 提供一系列精选的第一方、开源和第三方模型，其中许多模型 (包括全新的 Llama 模型) 都能以全托管式模型即服务 (MaaS) 产品的形式提供。借助 MaaS，您可以选择符合自己需求的基础模型，通过 API 轻松访问它，使用强大的开发工具进行定制，并在我们的全托管基础设施上进行部署，而无需繁琐的基础设施管理。

Meta 的 Llama 3.1 标志着开放权重模型发生范式转变，与同类模型相比，它们拥有更为卓越的性能和广泛的用途。此次发布包含一系列针对不同应用场景定制的模型:

Llama 3.1 405B

Llama 3.1 405B 是迄今为止最大的公开可用的基础模型，在灵活性、控制力和创新方面为开放模型树立了新标杆。该模型开创了各种新的可能性，包括生成合成数据，为复杂的推理任务提供支持，以及通过极少的微调轻松处理直接推理场景。

Llama 3.1 8B 和 70B

Llama 3 模型的这两个新版本在理解语言细微差别、把握上下文以及执行翻译和对话生成等复杂任务方面表现出色。

只需点击几下，即可使用以模型即服务形式提供的全新预览版 405B 模型，没有任何设置或基础设施方面的烦扰。正式版将在未来几周内推出。8B 和 70B 模型也将在未来几周内以 MaaS 的形式提供。从现在开始，您可以在 Vertex AI Model Garden 中自助使用这三种模型，从而灵活地选择您偏好的基础设施。

这些模型是预训练和指令调优版本，可满足您的特定需求，它们包含长度为 128,000 个词元 (token) 的扩展上下文，与较早的几代模型相比，能更深入地理解更长、更复杂的文本。此外，Llama 3.1 模型支持多达八种语言，进一步扩大了其覆盖面和适用性。

在 Google Cloud 中使用 Llama 3.1

Google Cloud 的 Vertex AI 是一个全面的 AI 平台，可用于试验、自定义、部署和监控 Llama 3.1 等基础模型。Llama 3.1 加入了 Vertex AI Model Garden 上已有的 150 多个精选企业级模型，为您提供更大的选择范围和灵活性，使您可以根据自己的需求和预算选择最合适的模型，跟上飞跃式创新的步伐。

在 Vertex AI 上使用 Llama 3.1，您可以:

信心十足地进行实验

在我们的直观环境中，通过简单的 API 调用和全面的横向评估来探索 Llama 3.1 的功能，而无需担心复杂的部署流程。

根据您的确切需求定制 Llama 3.1

使用自己的数据微调模型，构建可满足您独特需求的定制解决方案。如果您在 Vertex AI Model Garden 中通过自助服务使用 8B 和 70B 模型，可以立即开始微调。微调 405B 模型的功能将在未来几周内推出。

让您的 AI 基于事实

使用 Vertex AI 的多种接地和 RAG 选项，确保您的 AI 输出可靠、相关且值得信赖。例如，您可以将模型连接到企业系统，使用 Vertex AI Search 检索企业信息，利用 Llama3 进行生成等等。

创建 agent

使用 Vertex AI 的全套工具，包括 Vertex AI 上的 LangChain，创建和编排由 Llama 3.1 提供支持的 agent。通过 Genkit 的 Vertex AI 插件将 Llama 3.1 集成到您的 AI 体验中。

无开销部署

支持灵活的自动扩缩，即使是 405B 模型，也能消除部署和扩缩的复杂性。当然，您还可以利用专为 AI 工作负载打造的一流基础设施。

为 Llama 3.1 提供安全的工作环境

不仅支持 Meta 的 Llama Guard，还有 Google Cloud 的内置安全、隐私和合规措施，让您可以放心部署。

开始在 Google Cloud 上使用 Llama 3.1

随着 AI 模型的不断创新，企业 AI 生态系统变得更加多样化。我们与 Meta 的合作，证明两家公司致力于提供由开放且易于使用的 AI 生态系统支持下的一流创新成果。我们将继续与 Meta 和其他合作伙伴密切合作，让我们的客户始终能够享用到前沿的 AI 功能。