MIT开发机器学习模型 助力计算机释放情绪

麻省理工学院媒体实验室(MIT Media Lab)的研究人员开发了一种机器学习模型，它使计算机更接近于像人类一样自然地解释我们的情绪。

媒体实验室的研究人员开发了一种机器学习模型，该模型在捕捉这些小的面部表情变化方面优于传统系统，可以在训练数千张面部图像时更好地衡量情绪。此外，通过使用一些额外的训练数据，该模型可以适应全新的一组人，具有相同的功效。目的是改进现有的情感计算技术。

“这是监控我们心情的一种不引人注目的方式。”媒体实验室研究员兼合作者Oggi Rudovic在一篇描述该模型的论文中说道，“如果你想要具有社交智能的机器人，你必须让它们变得聪明，更像人类，可以自然地回应我们的心情和情绪。”

该论文的共同作者是：第一作者为Michael Feffer，电气工程和计算机科学的本科生; Rosalind Picard，媒体艺术和科学教授，情感计算研究小组的创始负责人。

个性化专家

传统的情感计算模型使用“一刀切”的概念。他们在一组图像上进行训练，图像上描绘了各种各样的面部表情，优化了一些特征 —— 例如唇部在微笑时如何卷曲 —— 并将这些一般特征优化映射到整个新图像集。

相反，研究人员将一种称为“混合多专家模型”(MoE)的技术与模型个性化技术相结合，这种技术帮助从个体中挖掘出更细粒度的面部表情数据。Rudovic说，这是第一次将这两种技术结合起来用于情感计算。

在MoE中，许多称为“专家”的神经网络模型都经过训练，专门从事单独的处理任务并产生一个输出。 研究人员还纳入了一个“门控网络”，它可以计算出哪个专家能够最能察觉未被发现情绪的概率。 “基本上，网络可以分辨出不同的个体，并指出，这是给定图像的正确专家。”Feffer说。

对于他们的模型，研究人员通过将每个专家与RECOLA数据库中的18个单独视频录制中的一个进行匹配来个性化MoE。RECOLA数据库是一个公共数据库，在专为情感计算应用设计的视频聊天平台上，人们进行交谈的数据。他们使用9个分类训练模型，并在其他9个分类上对其进行评估，所有视频都分解为单独的帧。

每个专家和门控网络在剩余网络(“ResNet”)的帮助下跟踪每个人的面部表情，该网络是用于物体分类的神经网络。在这样做时，模型基于情绪效价(愉快或伤心)和唤醒(兴奋)对每个帧进行评分，这是一种常用指标来编码不同的情绪状态。另外，六名人类专家根据-1(低水平)到1(高水平)的等级标记每一帧的效价和唤醒，该模型也用于训练。

然后，研究人员进行了进一步的模型个性化，他们从剩下视频片段的一些帧中输入训练过的模型数据，然后在这些视频中对所有看不见的帧进行测试。最后的结果显示，只有5%到10%的数据来自新人群，该模型大大优于传统模型，这意味着它在看不见的图像上获得了效价和唤醒，更接近人类专家的解释。

Rudovic说，这表明模型在极少的数据下，从人群到人群，或个体到个体的适应力。 “这是关键。”他说， “当你有一个新人群时，你必须有办法解释数据分布的变化[微妙的面部变化]。设想一个模型集来分析一种文化中需要适应不同文化的面部表情。如果不考虑这种数据转移，那些模型将会表现不佳。但是，如果你只是从新文化中抽取一点来调整我们的模型，这些模型可以做得更好，特别是在个人层面。这是最能体现模型个性化重要性的地方。”

目前可用于这种情感计算研究的数据在肤色方面并不是很多样，因此研究人员的训练数据是有限的。但是，当这些数据可用时，可以训练模型以用于更多不同的人群。 Feffer说，下一步是将模型训练为“一个更加多元化文化的更大数据集”。

更好的人机交互

研究人员说，训练模型的另一个目标是，帮助计算机和机器人自动从少量变化的数据中学习，以更自然地检测我们的感受并更好地满足人类的需求。

例如，它可以在计算机或移动设备的背景中运行，以跟踪用户基于视频的对话，并在不同的环境下学习细微的面部表情变化。 “你可以让智能手机应用程序或网站之类的东西能够分辨出人们的感受，并提出应对压力或疼痛的方法，以及其它对他们生活产生负面影响的事情。”Feffer说。

这也可能有助于监测抑郁症或痴呆症，因为人们的面部表情往往因这些条件而微妙地改变。 “能够被动地监控我们的面部表情。”Rudovic说，“随着时间的推移，我们可以向用户个性化这些模型，并监控他们每天有多少偏差 —— 偏离平均表情水平 —— 并采用它关于健康和幸福的指标。”

Rudovic说，一个很有前途的应用是人类—机器人互动，例如个人机器人或用于教育目的的机器人，机器人需要适应，并评估许多不同人的情绪状态。例如，一个版本被用于帮助机器人更好地解释自闭症儿童的情绪。