大模型时代：企业如何与AI相生相成？

ChatGPT引发了大型语言模型（LLM）的创新浪潮，比以往任何时候都有更多的公司将自然语言交互的能力融入到他们的产品中。LLM API的应用正在创造一个新的生态，将生成式文字和语音的融合发展到一个新的水平，使得人机交互更加便捷。许多企业都正在积极探索，并制定新的人工智能（AI）战略，以不同的方式来定制各个领域或行业的大型模型。未来充满了发展的潜力，让我们共同期待吧。  

1. 红杉网络中的几乎每家公司都在为他们的产品建立大语言模型。 我们已经看到了神奇的自动完成功能，从代码（Sourcegraph, Warp, Github）到数据科学（Hex）。我们已经看到了更好的聊天机器人：从客户支持、员工支持到消费者娱乐。其他公司正在用“AI优先”的理念重新想象整个工作流程：视觉艺术（Midjourney）、营销（Hubspot、Attentive、Drift、Jasper、Copy、Writer）、销售（Gong）、联络中心（Cresta）、法律（Ironclad、Harvey）、会计（Pilot）、生产力（Notion）、数据工程（dbt）、搜索（Glean、Neeva）、杂货购物（Instacart）、消费者支付（Klarna）和旅行规划（Airbnb）。这些只是几个例子，它们只是开始，未来这类应用会有爆发式增长。

2. 这些应用新生态：以语言模型API、检索和协调为中心，但开源的使用也在增长。

65%的人开始使用这类LLM的应用程序，比两个月前的50%要高，而其余的人仍在试验。

94%的人正在使用基础模型API。在我们的样本中，OpenAI的GPT显然是最受欢迎的，占91%，然而Anthropic的兴趣在上个季度增长到15%。(一些公司正在使用多种模型）。

88%的人认为检索机制，如矢量数据库，仍然是应用生态的一个关键部分。检索相关的上下文供模型推理，有助于提高结果的质量，减少 "幻觉"（不准确），并解决数据新鲜度问题。有些人使用特制的矢量数据库（Pinecone、Weaviate、Chroma、Qdrant、Milvus等等），而其他人则使用pgvector或AWS的产品。

38%的人对LangChain这样的LLM协调和应用开发框架感兴趣。一些人将其用于原型设计，而其他人则在生产中使用。在过去的几个月里，采用率有所增加。

10%以下的人在寻找监测LLM产出、成本或性能以及A/B测试提示的工具。我们认为，随着更多的大公司和受监管的行业采用大语言模型，对这些领域的兴趣可能会增加。

少数公司正在研究互补的生成技术，如生成性文本和语音如何更好结合起来。我们也相信这是一个令人兴奋的增长领域。

15%的公司从零开始或开放源码建立了自定义语言模型，通常在使用LLM的API之外。自定义模型训练比几个月前有意义地增加。这需要自己的计算、模型中心、托管、训练框架、实验跟踪等方面的能力，这些能力的组件来自Hugging Face、Replicate、Foundry、Tecton、Weights & Biases、PyTorch、Scale等公司。

我们采访的每一位从业者都说，人工智能发展太快，对最终状态的堆栈信心不足，但大家一致认为，LLM的API仍将是一个关键支柱，其次是检索机制和LangChain等开发框架的普及。开源和定制的模型训练和调整似乎也在上升，而且有必要，但目前成熟度较低。

3. 公司希望根据其独特的环境定制大语言模型。 通用的大语言模型是强大的，但对于许多用例来说并不具有差异性或充分性。公司希望在自己的数据上实现自然语言交互，能充分使用开发者文档、制品库或测试件、人力资源或IT规则等。在某些情况下，公司也想根据用户的数据定制应用领域大模型：用户的个人笔记、设计布局、数据指标或代码库。 现在，有三种主要的方式来定制领域/行业大模型： 

从头开始训练一个自定义模型，困难程度最高。这是解决这个问题的经典和最难的方法。它通常需要高度熟练的ML科学家、大量的相关数据、训练基础设施和计算。这也是历史上许多自然语言处理（NLP）创新发生在巨型科技公司内的主要原因之一。BloombergGPT是一个很好的例子，它是在巨型科技公司之外的定制模型工作，它使用了Hugging Face和其他开源工具的资源。随着开源工具的改进和更多公司对LLMs的创新，我们希望看到更多的定制和预训练模型的使用。

微调一个基础模型。难度中等。这是通过进一步的专有或特定领域数据的额外训练来更新预训练模型的权重。开放源码的创新也使得这种方法越来越容易获得，但它仍然经常需要一个复杂的团队。一些从业者私下承认，微调比听起来要难得多，而且可能会产生意想不到的后果，比如模型漂移和在没有警告的情况下 "破坏 "模型的其他技能。虽然这种方法有更大的机会变得更普遍，但目前对大多数公司来说仍然遥不可及，但另一方面，这种情况正在迅速得到改善。

使用预先训练好的模型并检索相关背景。最低的难度。人们常常认为他们想要一个只为他们而微调的模型，而实际上他们只是想让模型在正确的时间对他们的信息进行推理。有很多方法可以在正确的时间为模型提供正确的信息：对SQL数据库进行结构化查询，在产品目录中搜索，调用一些外部API或使用嵌入（embedding）检索。嵌入检索的好处是，它使非结构化数据很容易使用自然语言进行搜索。从技术上讲，这是通过收集数据将其转化为嵌入，将其存储在一个矢量数据库中，当查询发生时，搜索这些嵌入数据以获得最相关的背景，并将其提供给模型。这种方法可以帮助我们破解模型有限的上下文窗口，成本较低，解决了数据的新鲜度问题（例如，ChatGPT不知道2021年9月以后的世界），而且它可以由一个没有经过正式机器学习培训的单独开发者完成。

矢量数据库很有用，因为在高规模下，它们使存储、搜索和更新嵌入更容易。到目前为止，我们观察到较大的公司停留在其企业云协议内，并使用其云供应商提供的工具，而初创公司倾向于使用特制的矢量数据库。然而，这类应用也是高度动态的。上下文窗口增长很快（将 LLaMA、GPT-4 上下文都扩展到32k token，这相当于 50 页的文字，基于 OpenLLaMA 大型语言模型将上下文的长度扩展到 256k token），未来上下文的扩展能力不可限量。基础模型和云数据库可能直接将检索嵌入其服务中。我们正在密切关注这个市场的发展。

4. 今天，LLM APIs的生态与定制模型训练生态是分开的，但随着时间的推移，这些正在融合在一起。 我们感觉有两个生态的故事：利用LLM API的生态（更封闭的源代码、面向开发者）与训练自定义LLM的生态（更开放的源代码、面向更复杂的ML团队）。有些人想知道，LLM通过API随时可用是否意味着公司会减少自己的定制训练。到目前为止，我们看到的情况正好相反。随着对AI兴趣的增长和开源开发的加速，许多公司对训练和微调自己的模型越来越感兴趣。我们认为，随着时间的推移，LLM API和自定义模型两种生态将越来越趋于一致。例如，一家公司可能会从开源中训练自己的LLMs，但通过矢量数据库补充检索以解决数据的新鲜度问题。聪明的初创公司为定制LLM建立工具，也在努力扩展他们的产品，使之与LLM API革命更加相关。    

5. LLM生态正变得越来越对开发者友好。 LLM API将强大的现成模型交到普通开发者的手中，而不仅仅是ML团队。现在，使用LLM的人群已经显著地扩展到了所有的开发者，我们相信未来会看到更多面向开发者的工具。例如，LangChain通过抽象化常见的问题来帮助开发者建立LLM应用：将模型结合到更高层次的系统中，将对LLM的多个调用链能组合在一起，通过工具将模型和数据源连接起来，建立可以操作这些工具的代理，并通过使LLM转换更加容易，以帮助我们避免厂商锁定。一些人将LangChain用于原型设计，而另一些人则继续在生产中使用它。

6. LLM需要变得更值得信赖（输出质量、数据隐私、安全）才能被全面采用。 在我们应用中完全释放LLM能量之前，许多公司希望有更好的工具来处理数据隐私、隔离、安全、版权和监控模型输出。从金融科技到医疗保健等受监管行业的公司特别关注这个问题，并报告说很难找到软件解决方案来解决这个问题。好消息是，chatGPT可以在具有防火墙保护的安全沙箱环境中运行，确保代码执行、数据分析和文件管理的最大安全性，具体可以参考：chatGPT 神器 Code Interpreter 的三大超级特性、十大惊人魔法。理想的情况是，有软件可以提醒（如果不是阻止）模型产生错误/幻觉、歧视性内容、危险内容或其他问题。一些公司还关注与模型共享的数据如何用于训练：例如，很少有人清楚：ChatGPT消费者数据是默认用于训练的，而ChatGPT商业版本和API数据则不会用于训练。随着政策的明确和更多护栏的到位，LLM将得到更好的信任，我们可能会看到采用的另一个步骤的变化。

  7. 语言模型应用将变得越来越多模态

公司已经在寻找有趣的方法来结合多种生成模型，以达到巨大的效果：融合了文本和语音生成的聊天机器人体现了更高的对话体验水平。文字和语音模型可以结合起来，帮助我们快速地修正/覆盖视频录制的一些错误，而不是重新录制整个过程。模型本身正变得越来越多的多模态。我们可以想象，未来丰富的消费者和企业AI应用将结合文本、语音/音频和图像/视频生成，创造更有吸引力的用户体验，完成更复杂的任务。 AI刚刚开始渗入技术的每个缝隙。今天，只有65%的受访者在产品开发中应用LLM，而且其中许多是相对简单的应用。随着越来越多的公司推出LLM应用，新的障碍、困难将会出现，需要我们面对挑战、去克服困难。基础设施层将在未来几年内继续快速发展，进一步推动LLM的应用，越来越多的产品会融入LLM，增加产品用户体验，更高效完成任务，未来越来越多的产品将让我们更加兴奋，值得期待。

编辑：黄飞