计算语言学的发展趋势、不足与挑战

01

引言

NAACL 会议是 ACL 的北美分会，每年举办一次，也是 NLP 领域备受关注的顶会之一。NAACL 主要涉及对话、信息抽取、信息检索、语言生成、机器翻译、多模态、统计机器学习等多个方面。

本篇文章的作者Antoine SIMOULIN协助了NAACL 2022，他结合今年一些论文的情况，就大规模预训练语言模型的应用、表现、期望等做了概述，总结并思考了当今计算语言学的发展趋势、不足与挑战。

02

2.1大规模预训练语言模型数量增多

人们越来越乐观地看待大规模预训练语言模型的潜在应用，这使人们的注意力从它们为什么以及如何工作转移到如何确保它们在现实世界中可以更好地工作。

对话是语言模型的直接应用。Amazon Alexa AI高级首席科学家Dilek Hakkani-Tur表示，由于公共数据集、语言模型和产品的蓬勃发展，对话研究正处于激动人心的阶段。她还概述了剩余的挑战：基于知识的回复生成、开放域对话中产生的事实响应、知识摄取以及收集跨长文档或多源信息。

2.2 开放对话

通过给定恰当格式的输入文本并提供相关上下文，模型可以产生符合条件的输出。这种交互对话范式可以应用在很多任务上，如问答（Sanagavarapu et al. 2022 （opens new window）， Qian et al. 2022 （opens new window）， You et al. 2022 （opens new window））或摘要总结（Fang et al. 2022 （opens new window）， Zhao et al. 2022 （opens new window）， Asi et al. 2022 （opens new window））。此外，对话数据可用于学习高效的语言表示 （Zhou et al. 2022 （opens new window））。

2.3 结构融合和常识知识

我们期望大规模预训练语言模型能够准确回答事实问题，让模型拥有如“百科全书”一般的知识。知识图谱提供了可以与神经网络一起使用的硬结构信息。可以在命名实体及其关系之间进行显式通信（Ayoola et al. 2022 （opens new window）），或者将符号和显式知识提炼成模型参数的隐式编码知识 （Moiseev et al. 2022 （opens new window））。

我们还希望大规模预训练语言模型拥有我们所有人拥有的日常知识。例如，我们希望模型不会生成“狗正在从喷气式飞机上经过”这样的句子（Seo et al. 2022 （opens new window）），或牙刷在空间上应与浴室相关而不是与客厅相关（Henlein and Mehler 2022 （opens new window））。

最后，这些事实取决于时间。如果是在模型训练后发生的事件，例如新冠肺炎大流行，那么模型并不会将其考虑在内，否则会导致时间错位 （Luu et al. 2022 （opens new window））。

2.4 推理

我们希望模型可以校对事实并推断它们之间的关系。（Sun et al. 2022 （opens new window））提出了JointLK，这是一个在LM（语言模型）和KG（知识图谱）之间进行多步联合推理的模型，可以解决问答任务。多跳问答任务也涉及推理，因为它需要推断多个间接引用来连接询问（query）中提到的实体。（Kinet al. 2022 （opens new window））提出了一种方法：对这种特定类型的问答使用知识库。

2.5 超越语言本身

模型不仅仅需要精通语言，它们还需要捕捉语言背后的含义和意图，捕捉真实世界的一些直观表述，并对实体和现有的关系进行复杂的推断。要推动大规模预训练的语言模型向前发展，关键是：仅凭文本可以训练高效且有意义的模型吗？

2.6 多模态、多语言、对比学习

我们是否需要在训练过程中引入其他模态，例如音频信息或者图像信息？事实上，婴儿在学习时会受到多种类型信息的刺激。关于多模态学习，（Zhang et al.2022 （opens new window））使用文本和图像混合信息的对比框架来构建句子编码。（Wang et al. 2022 （opens new window））提出将文本和图像结合起来，以更好地确认命名实体识别。

2.7 语言学和符号结构的地位

计算语言学见证了大规模预训练语言模型的广泛使用，但大规模预训练语言模型对语言学和符号的假设很少。在激动人心的小组会议上，Chitta Baral、Dilek Hakkani-Tür、Emily Bender和Chris Manning研究了这一观察可能如何影响未来的研究方向。科研资金通常流向研究神经网络的工作，因此人们对利用语言学进行分析并不感兴趣。但神经网络是我们应该追逐的唯一趋势吗？

Chris Manning根据经验观察到，孩子们可以在没有任何语言学专业知识的情况下学习语言。我们或许可以从语言理论和概念中汲取灵感，如复合性、系统概括、符号的稳定意义和校对相关。但是，我们应该关注意义的直接表征，而不是语言本身，因为语言是一种间接表征。

Emily Bender认为如果没有语言学，包括结构语言学、形态学、语法学、语义学、语言语用学、儿童语言习得、语言类型学和社会语言学，那么NLP就不应该作为一个领域而存在。

2.8 文本内涵的定义

在SemEval研讨会上，Jacob Andreas讨论了语言模型在文本内涵表示方面的潜力，以及是否可以单独从文本中学习到文本的内涵。会议期间多次提到关于文本的内涵。文本内涵是指世界上的外部参考，人们脑海中的内部思想，还是用语言表达的观念？更广泛地说，我们可以期望一个模型在没有任何形式的社交互动或实际经验的情况下，只凭借文本训练就展示人类的行为吗？

2.9 巨大的能力带来巨大的责任

随着大规模预训练语言模型变得越来越可行和广泛采用，工程师们对他们的观念变得更加负责。

2.10 价值敏感设计

Batya Friedman就道德和技术想象力应该如何塑造技术发表了公开演讲。除了安全、可靠性、效率或成本等工程标准外，还应考虑其他标准，包括专注和身体完整性。为了使技术和社会结构和谐发展，我们应该衡量大规模语言模型带来的的影响，例如规模、时间、结构以及应用人类价值观作为评估系统性能的标准。

2.11 拓宽NLP

众所周知，自然语言处理是一个快速发展的领域，但这个领域的演变非常多样化，研究资源也非常集中。科技公司拥有巨大的行动力，使学者难以跟上步伐。此外，研究资源在地理上分布不均，例如Manuel Montes-y-Gómez展示了墨西哥西班牙语NLP社区研究现状，该研究不如美式英语先进。

2.12 NLP未来的一些挑战：组成性、基础或解释

尽管大规模预训练语言模型非常令人兴奋，并且我们对它们的可靠性和效率实现任务自动化的能力越来越乐观，但一些挑战仍然存在。

一个挑战是跟踪模型为什么产生一个给定的输出。（Tan 2022 （opens new window））区分了几种我们能从模型或人类所期望的概念解释和挑战。

根据许多研究，模型在系统推广和显式组成方面是失败的，因为它们依赖于虚假的相关性。在这方面，（Weißenhorn et al. 2022 （opens new window））使用复合语义解析器来解决COGS数据集上的成分概括。（Qui et al. 2022 （opens new window）） 提出了一种基于上下文无关语法主干的数据增强方法。

审核编辑：彭静