一种新型的机器学习模型，可以访问样本文本中提到的实体的记忆

谷歌研究公司（Google Research）的合著者本周发表的一项预印研究将实体描述为专家（EAE），这是一种新型的机器学习模型，可以访问样本文本中提到的实体（例如，人、地点、组织、日期、时间和数字）的记忆。 他们声称，它的性能优于两个最先进的模型，数据少得多，同时捕捉更多的事实知识，并且比它所基于的变形金刚体系结构更模块化和更可解释。

如果同行评审证实了研究人员对EAE的说法，它可以解决一个长期存在的自然语言处理挑战：在不注入特定实体知识的情况下获得回答世界问题所需的知识。 在企业环境中，EAE可以为摄入特定领域信息语料库的聊天机器人奠定基础，并用最有可能相关的信息回答有关语料库的问题。

EAE包含神经元（数学函数），它们排列在从输入数据传输信号并调整每个连接的强度（权重）的层中，就像所有深层神经网络一样。 这就是它如何提取特征并学会进行预测，但是由于EAE是基于变压器架构的，所以它受到了关注。 这意味着每个输出元素都连接到每个输入元素，并且动态计算它们之间的权重。

独特的是，EAE还包含实体内存层，使其能够“理解”并以高度数据效率的方式回答有关文本的问题。 该模型直接从文本中学习知识，以及其他模型参数（即从数据中估计的配置变量和模型在进行预测时所需的配置变量），并将内存与特定实体或数据类型（如标题和数字表达式）联系起来。