计算机视觉与语音处理的交叉增强
跟大家分享一篇非常有意思也很有用的文章，是WACV 2021的录用论文Visual Speech Enhancement Without A Real Visual Stream。该文研究涉及计算机视觉与语音处理的交叉。
论文信息：
作者来自：印度 IIIT Hyderabad 和英国巴斯大学。
语音增强是语音处理的经典研究内容，以往的语音增强往往只将语音作为输入信号，这在现实世界的嘈杂环境中往往效果不佳。
近年来一种视觉辅助的语音增强技术取得了突破，通过跟踪视频中人物口型，可以较好的辅助过滤环境噪声。但其需要人物正脸在视频中，使用场景较为狭窄，毕竟大多数场景下，没有人物正脸，甚至没有视觉信息辅助。
该文学者指出，实际上根据语音进行唇语合成已经是一个较为成熟的技术，在现有框架下，可以直接使用语音信号本身合成人物口型的视频，进而辅助语音增强。
以下视频展示了最终语音增强的效果：
该文在多个数据集上取得了SOTA的结果，并且该技术可以用于任何语言的语音增强，但由于其中含有视觉生成部分，估计相比传统算法时间开销较大。作者已经开源了代码，感兴趣的朋友可以试一下。
原文标题：无中生有！没有视觉信号的视觉语音增强
文章出处：【微信公众号：新机器视觉】欢迎添加关注！文章转载请注明出处。
责任编辑：haq
声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表电子发烧友网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。
举报投诉
-
计算机
+关注
关注
19文章
7764浏览量
92689 -
机器视觉
+关注
关注
163文章
4729浏览量
125020
原文标题：无中生有！没有视觉信号的视觉语音增强
文章出处：【微信号：vision263com，微信公众号：新机器视觉】欢迎添加关注！文章转载请注明出处。
发布评论请先 登录
相关推荐
热点推荐
使用代理式AI激活传统计算机视觉系统的三种方法
当前的计算机视觉系统擅长于识别物理空间与流程中的事件，却难以诠释场景细节及其意义，也无法推理后续可能发生的情况。
STM32计算机视觉开发套件：B-CAMS-IMX摄像头模块技术解析
STMicroelectronics用于 STM32开发板的B-CAMS-IMX摄像头模块提供强大的硬件集，可处理多种计算机视觉场景和用例。该模块具有高分辨率500万像素IMX335LQN
【作品合集】赛昉科技VisionFive 2单板计算机开发板测评
【VisionFive 2单板计算机试用体验】人脸识别1——交叉编译环境搭建
作者：voidpbq【VisionFive 2单板计算机试用体验】1. 环境搭建与代码整编【VisionFive 2单板
发表于 09-04 09:08
语音识别---大家怎么看呢？
语音识别是一门交叉学科。近二十年来，语音识别技术取得显著进步，开始从实验室走向市场。人们预计，未来10年内，语音识别技术将进入工业、家电、通信、汽车电子、医疗、家庭服务、消费电子产品等
发表于 08-09 10:54
易控智驾荣获计算机视觉顶会CVPR 2025认可
近日，2025年国际计算机视觉与模式识别顶级会议（IEEE/CVF Conference on Computer Vision and Pattern Recognition，CVPR 2025）在美国田纳西州纳什维尔召开。
工业计算机的重要性
工业计算机对某些行业至关重要。我们将在下面详细解释这些行业中的工业计算机应用。1.制造与工业自动化工业级计算机非常适合制造工厂，特别是那些想要自动化装配过程的工厂。在这样的环境中，工业计算机
自动化计算机经过加固后有什么好处？
让我们讨论一下部署坚固的自动化计算机的一些好处。1.温度范围宽自动化计算机经过工程设计，配备了支持宽温度范围的组件，使自动化计算解决方案能够在各种不同的极端环境中运行。自动化计算机能够
自动化计算机的功能与用途
工业自动化是指利用自动化计算机来控制工业环境中的流程、机器人和机械，以制造产品或其部件。工业自动化的目的是提高生产率、增加灵活性，并提升制造过程的质量。工业自动化在汽车制造中体现得最为明显，其中许多
工业计算机与商用计算机的区别有哪些
工业计算机是一种专为工厂和工业环境设计的计算系统，具有高可靠性和稳定性，能够应对恶劣环境下的自动化、制造和机器人操作。其特点包括无风扇散热技术、无电缆连接和防尘防水设计，使其在各种工业自动化场景中
利用边缘计算和工业计算机实现智能视频分析
IVA的好处、实际部署应用程序以及工业计算机如何实现这些解决方案。一、什么是智能视频分析（IVA）？智能视频分析（IVA）集成了复杂的计算机视觉，通常与卷积神经网
计算机网络入门指南
计算机网络是指将地理位置不同且具有独立功能的多台计算机及其外部设备，通过通信线路连接起来，在网络操作系统、网络管理软件及网络通信协议的管理和协调下，实现资源共享和信息传递的计算机系统。
Arm KleidiCV与OpenCV集成助力移动端计算机视觉性能优化
生成式及多模态人工智能 (AI) 工作负载的广泛增长，推动了对计算机视觉 (CV) 技术日益高涨的需求。此类技术能够解释并分析源自现实世界的视觉信息，并可应用于人脸识别、照片分类、滤镜处理
AR和VR中的计算机视觉
)：计算机视觉引领混合现实体验增强现实(AR)和虚拟现实(VR)正在彻底改变我们与外部世界的互动方式。即便是在引人入胜的沉浸式
工业计算机的定义与重要性
工业计算机是专门为工业环境设计和制造的计算设备，其主要功能在于监控、控制和优化生产流程。这类计算机系统通常具备强大的处理能力、较高的稳定性以及耐高温、抗震动和防尘等特性，能够在极端的工
云端超级计算机使用教程
云端超级计算机是一种基于云计算的高性能计算服务，它将大量计算资源和存储资源集中在一起，通过网络向用户提供按需的计算服务。下面，AI部落小编为
工商网监
评论