视听结合进行持续的情感预测

阿斯隆理工学院计算机与软件工程系的研究人员致力于寻找合适的特征，并展示基于头部和眼睛的线索在情绪预测上的有效性。

这个项目研究了基于头部和眼睛的特征与语音的结合，用来进行持续的情感预测。从这些模式中手工自动产生和卷积神经网络学习的特征将用于持续的情感预测。该工作采用的方法包括从视频中收集LLDs（low level descriptors），然后根据提出的特征和特征组合输入创建和评估BLSTM-RNN模型。作为特征工程过程的一部分，一些LLDs可以从基于头部姿态、眼睛或视觉特征中获取，而另一些LLD则根据原始数据测量的差异计算。

最近人们对人类情感的机器识别产生了浓厚的兴趣。该方法采用开源软件对通信环境的视听效果进行实时预测。结果表明，与单独使用语音相比，语音和眼神的结合提高了3.5%的唤醒预测和19.5%的效价预测准确率。