借助NVIDIA Nemo开拓生成式AI广阔“疆域”

“Writer”利用 NVIDIA AI 软件构建的大语言模型（LLM）帮助数百家公司创建内容。

机器学习帮助 Waseem Alshikh 在大学里读完了课本。如今，他正在利用生成式 AI 为数百家公司创建内容。

在叙利亚出生和长大的 Alshikh 不会说英语，但他精通软件。他在黎巴嫩上大学期间，将这一天赋发挥得淋漓尽致。

他回忆道：“第一天他们就给了我一摞课本，每本都有上千页厚，而且全是用英语写的。”

于是，他编写了一个粗糙但有效的统计分类器程序来生成这些课本的内容摘要，然后进行学习。

从提出概念到创业

2014 年，他向在迪拜工作时结识的企业家 May Habib 分享了自己的故事。他们一拍即合，决定创办一家初创企业，帮助总是要求“事半功倍”的营销部门利用机器学习快速创建网页、博客、广告等内容。

Alshikh 在该初创企业担任首席技术官。他表示：“最初我们无法实现这种技术。直到 Transformer 模型发布后，我们才基于此构建了这种技术。”

“我们找了几位工程师，花了近六个月的时间建立了我们的第一个模型。这是一个几乎无法运行的神经网络，拥有约 1.28 亿个参数。”参数数量是衡量 AI 模型能力的常用指标。

一路走来，这家年轻的公司逐渐赢得了一些业务，更名为 Writer，并与 NVIDIA 建立了联系。

驶入快车道

他表示：“在开始使用NVIDIA NeMo后，我们就能够建立行业级模型了，参数量从 30 亿个增加到 200 亿个，再到现在的 400 亿个，而且还在不断扩大。”

NeMo 是一个可以帮助企业整理其训练数据集、构建和定制大语言模型（LLM），并在生产中大规模运行这些模型的应用框架。从韩国到瑞典，世界各地的企业都在使用它来定制本地语言和行业的大语言模型（LLM）。

Alshikh 表示：“在使用 NeMo 之前，我们需要四个半月的时间来构建一个新的十亿级参数模型。而现在我们只需要 16 天就能完成，这真令人难以置信。”

模型带来机遇

今年上半年，这家初创企业不到 20 名的 AI 工程师团队利用 NeMo 开发了 10 个模型，每个模型都有超过 300 亿个或更多的参数。

这带来了巨大的机遇。现在，已经有数百家企业在使用 NeMo 为金融、医疗、零售和其他垂直市场定制的 Writer 模型。

▲ Writer 的 Recap 工具可根据采访或活动录音制作书面摘要

这家初创企业的客户包括德勤、欧莱雅、财捷、优步等家喻户晓的 500 强企业。

Writer 使用 NeMo 取得的成功仅仅是故事的开始。目前，已经有数十家其他公司下载了 NeMo。

这款包含在NVIDIA AI Enterprise中的软件将很快可供使用。NVIDIA AI Enterprise 是一套专为加速生成式 AI 工作负载而优化，并以企业级支持、安全性和应用编程接口稳定性为保障的全栈式软件。

▲ Writer 为企业用户提供全栈式平台

每月一万亿次 API 调用

一些客户在自己的系统或云服务上运行 Writer 的模型，另一些客户则要求 Writer 托管模型或者使用 Writer 的 API。

Alshikh 表示：“我们的云基础设施基本上由两个人管理，每月托管的 API 调用达万亿次，每秒生成 90,000 个单词。我们提供的高质量模型可以与团队规模更大、预算更多的公司所提供的产品相媲美。”

▲NVIDIA NeMo 支持从数据整理一直到推理的整个端到端生成式 AI 流程

Writer 使用与 NeMo 打包在一起的 Triton 推理服务器为其客户在生产中运行模型。Alshikh 表示，许多运行 LLM 的公司都在使用 Triton。与其他程序相比，Triton 可实现更低的延迟和更高的吞吐量。

“这意味着你可以将运行一些服务的成本从 10 万美元减少到 2 万美元，这样就能够投入更多资金构建有意义的功能。” Alshikh 说道。