人机对话中的语言理解有哪些挑战 - 阿里智能对话交互实践及范式思考

语言理解简单来说就是把用户说的话，转换为一种结构化的语义表示，从方法上会分成两个模块：意图的判定和属性的抽取。

比如用户说：“我要买一张下周去上海的飞机票，国航的“。第一个模块就要返回理解，用户的意图是要买飞机票，第二，使用抽取模块，要把这些关键的信息出处理出来，出发时间、目的地、航空公司，从而得到一个比较完整的结构化的表示。

那么，人机对话中的语言理解面临哪些挑战呢？我总结为四类：

表达的多样性。同样一个意图，不同的用户有不同的表达方式。那对于机器来说，虽然表达方式不一样，但是意图是一样的，机器要能够理解这件事情。

语言的歧义性。比如说，“我要去拉萨“，它是一首歌的名字。当用户说：“我要去拉萨”的时候，他也可能是听歌，也可能是买一张去拉萨的机票，也可能是买火车票，或者旅游。

语言理解的混乱性，因为用户说话过程当中，比较自然随意，语言理解要能够捕获住或者理解用户的意图。

 

上下文的理解。这是人机对话交互一个非常大的不同，它的理解要基于上下文。

在语言理解这一块，我们把用户语言的意图理解抽象为一个分类问题，之后，就有一套相对标准的方法解决，比如CNN神经网络、SVM分类器等等。阿里巴巴现在就是采用CNN神经网络方法，并在词的表示层面做了针对性的改进。机器要理解用户的话的意思，背后一定要依赖于大量的知识。比如说，“大王叫我来巡山”是一首歌的名字，“爱探险的朵拉”是一个视频，互联网上百万量级这样开放领域的实体知识，并且每天都会有新的歌曲/视频出现，如果没有这样大量的知识，机器是很难真的理解用户的意图的。那么，在词的语义表示这块，除了word embedding，还引入了基于知识的语义表示向量。

刚才提到了，用户说的话实际上是比较随意和自然的，那怎么样让这个模型有比较好的鲁棒性来解决口语的随意性问题呢？我们主要针对用户标注的数据，通过算法自动加一些噪音，加噪之后（当然前提是不改变语义），基于这样的数据再training模型，这样处理之后模型就会有比较好的鲁棒性了。

第二个模块是属性抽取，在这一块，我们把它抽象为一个序列标注问题。这个问题，神经网络也有比较成型的方法，我们现在也是用这种双向LSTM，在上面有一层CRF解码器，取得了不错的效果，但是这背后更大的功夫来自于对数据的分析和加工。

以上所述的人机对话语言理解最大的特色就是基于上下文的理解，什么是上下文？我们看一个例子，用户说：“北京天气怎么样？”，回答说，北京的天气今天温度34度。接着用户说“上海呢？”，在这里用户的潜台词是指上海的天气，所以要能够理解用户说的话需要根据上文意思来分析。针对这样的场景，我们再对问题做了一个抽象，在上下文的情况下，这句话和上文有关还是无关，把它抽象为二分的分类问题，做了抽象和简化以后，这个问题就有相对成型的解决方法了。