一种基于端到端基于语音的对话代理

美国专利商标局（USPTO）授予Microsoft的一项新专利表明，该公司正在开发能够反映用户对话风格和/或面部表情的对话代理。专利- 语言风格匹配代理 -于2020年9月3日授予Microsoft，并以发明者Daniel J McDuff，Kael R. Rowan，Mary P Czerwinski，Deepali Aneja和Rens Hoegen称号。

随着语音识别和生成对话模型的发展，诸如聊天机器人和虚拟代理之类的对话界面正变得越来越流行。尽管这种自然语言的交互导致了人机交互的发展，但这种交流大多是单调的且受约束的。因此，这些对话最终只是事务性的，并不是很自然。

这项新的专利技术旨在带来一种基于端到端基于语音的对话代理，该对话代理可以进行更自然，多轮回的对话，从而与用户的对话风格和面部表情保持一致。

被实现为仅语音的代理或用脸部体现的会话代理可以与用户的语音和面部表情匹配。可以通过识别用户语音的韵律特征并为具有相同或相似特征的虚拟代理合成语音来实现会话代理的语言样式匹配。用户的面部表情可以通过具体化的对话代理的脸部来识别和模仿。虚拟代理的发言可以基于预定的脚本响应和由机器学习技术生成的开放式响应的组合。与用户的会话风格和面部表情保持一致的会话代理可能会被认为更值得信赖，更容易理解，

对话代理可以是纯音频的，也可以是体现的，这意味着它具有看起来像在说话的“脸”。在这两种实现方式中，代理可以使用机器学习技术，并以自然且可理解的方式响应用户的话语，从而整体上改善人机交互。