你知道屏幕后是谁在和你对话吗？新研究开发仿真面对面对话系统-电子发烧友网

基于深度神经网络的仿真面对面对话系统

近日，CloudMinds和北京航空航天大学的研究人员基于深度学习提出了一种新的仿真面对面对话系统。CloudMinds是一家在机器人和云服务领域的领军企业，致力于成为针对各种机器人模型需求的供应商。

该会话系统包括用于收听和说话的两个序列到序列模型以及基于虚拟代理合成器的生成性对抗网络（GAN）模型。

当虚拟代理与人通信时，语音音频和面部图像被输入到系统中。面部图像由面部解析模块处理，产生面部动作和姿势。然后将生成的信息传递到基于序列到序列的收听模型中。当虚拟代理在收听时，输出被馈送到合成器中以产生逼真的面部图像作为非语言反应。

语音识别模型将语音音频变换为文本，然后传递到会话模块中以生成响应语句，该响应语句被传递到文本到语音（TTS）模块以合成语音。响应语句被传递到序列到序列的说话模型，其输出也被输入到虚拟合成器中以产生逼真的面部图像，从而呼应语音内容。头像合成器则用于在整个对话期间收听和说话。

本文显著改进了传统的基于3D模型的成果。为了训练模型，研究人员收集了大约700个ESPN视频，其中包含来自YouTube的面对面对话场景。

与传统3D模型的生成结果相比，该模型所生成的面部图像更接近现实。毋庸置疑的是，在使得会话更加逼真自然的领域上，该系统还有很大的潜力可供挖掘，未来它还可用于实现个性化表情会话。

原文：

https://arxiv.org/abs/1908.07750

使用DISCo方法改进钙成像分析

本文中，德国海德堡大学跨学科科学计算中心（IWR）的研究人员介绍了DISCo方法，这是一种使用深度学习，实例分割和相关性研究的新方法，可用于钙成像分析中的细胞分割步骤。

DISCo将深度学习网络的优势与最先进的实例分割程序相结合，允许直接提取单元实例而无需任何复杂的后处理步骤。他们还以非常有效的方式利用钙成像视频的时间背景来计算像素之间的分段相关性。然后以摘要图像的形式将此时间信息与基于形状的信息相结合。

DISCo的最大优势在于能够结合相关性和图像特征，而不只依赖于其中一种方法。因此，DISCo可以通过在Neurofinder数据集上仅使用单个模型来使神经研究人员获得良好的整体性能。此外，当在几个数据集系列上训练单个网络时，研究人员能够超越在Neurofinder数据集上训练的所有其他方法。

原文：

https://arxiv.org/abs/1908.07957

用于科研教育的低成本开源机器人赛车平台

华盛顿大学保罗G.艾伦计算机科学与工程学院的研究人员最近介绍了MuSHR，即多代理的非完整赛车系统。MuSHR是一个低成本、开源的机器人赛车平台，致力于教育和研究，由MuSHR的个人机器人实验室开发，旨在促进机器人领域的公民化。作为一个低成本的平台，参与者可以通过说明，开源文档和动手教程参与其中。

赛车的硬件设计基于一系列现成的组件，这些组件可以从世界各地的线上和线下硬件商店中轻松地找到，而软件架构则是在个人机器人实验室中开发的。该平台为华盛顿大学的移动机器人课程开发了一套演示系统和许多宝贵的实践经验，是机器人平台开发的里程碑。

MuSHR的低成本开发模式和综合的文档记录是宝贵的机器人研究资源。该平台向学术研究实验室，机器人研究者及机器人爱好者等展示各种机器人研究项目提供了一个出色的测试平台。

MuSHR具有开源指令和教程带领用户完成硬件开发。文档托管在Github上，免费供一般公众下载使用。

代码：

https://github.com/prl-mushr

原文：

https://arxiv.org/abs/1908.08031

三维扫描与CAD对象的联合嵌入

近日，慕尼黑工业大学、斯坦福大学以及 Facebook 人工智能研究所共同提出了一种学习三维扫描和CAD之间的联合嵌入空间的技术。而在这两者中有很多联系紧密且十分相似的事物。这一学习方法基于一种全新的3D CNN 技术，通过学习联合嵌入空间中事物的相似性来实现嵌入。

为了学习一个扫描对象和CAD模型可以相互交织的共享空间，研究人员提出使用堆叠沙漏的方式将前景、背景与扫描对象分开，并将其转换为完整的类CAD表示，以此将它整合到共享嵌入空间中。这样操作得到的嵌入空间可以用于CAD模型检索。为了更好地完成这一任务，研究人员引入了一个全新数据集，其中包括了扫描CAD相似性注释。在这一数据集的帮助下，他们能够对CAD模型检索进行细粒度的评估，并对杂乱、嘈杂部分进行扫描。

这一新型学习方式比现有的CAD模型在实例检索上的准确率高出10% 以上。

因此，它在CAD模型检索方面的表现比原有模型更好。学习这样的联合扫描- CAD嵌入空间不仅为CAD模型检索提供了新的解决方案，也为这两个领域之间的知识映射提供了新的可能性。

当然，虽然这个技术在扫描与学习CAD对象空间方面非常有效，但它仍然有很多局限性——目前研究人员仅考虑了扫描和CAD对象领域中对象的几何形状；而这篇论文中未提及的颜色信息可能是联合嵌入或CAD模型检索的另一强大信号。

原文：

https://arxiv.org/abs/1908.06989

Google发布Turbo，可视化工具的里程碑式突破

Turbo 是由Google研究人员提出的一种着色工具，它既有Jet的优势功能，同时也解决了Jet的一些短板，例如细节错误、条带、和颜色混淆等。

在开发人员的精心调试下，Turbo的强大性能能够胜任各种可视化任务。在开发过程中，研究人员们制作了一个简单的交互界面，在其中他们能够使用7节立方条来调整RGB曲线，同时将样本结果与其他知名彩绘程序的结果进行比较。

Turbo可以作为顺序和发散的可视化工具，因此它很适合开发人员保存在自己的“工具箱”中。它用于解决均匀性不那么重要的数据可视化任务非常有效，尤其是在需要展现强烈对比的情况下。

Google的团队将这个工具用于实现视差贴图、误差贴图以及许多其他标量的可视化中。您可以在下方链接中找到在Python和C/C++ 中的使用这几技术的方法，以及多项式逼近的方法——用于可能查表查询不太方便的情况中。

Python:

https://gist.github.com/mikhailov-work/ee72ba4191942acecc03fe6da94fc73f