WebRTC与QttAudio的回声消除技术在 Android 可视对讲程序中的应用对比

随着移动互联网技术的发展,智能手机上基于无线网络的可视对讲功能的应用开始逐步兴起。在Android上的此类应用程序的开发过程中,都会遇到声学回声难题。AEC技术非常复杂,需要非常专业的声学和音频处理技术。WebRTC的发布改变了这一局面，而QttAudio SDK的诞生，则完全将回声消除、声学音频处理等复杂技术难度降至最低，使任何开发者都可以快速的开发出音视频对讲功能应用。

• WebRTC介绍

WebRTC是谷歌公司2011年发布的一项技术。WebRTC技术主要用于在支持HTML5的浏览器上实现实时音视频对话。功能包括会话初始化协议SIP的实现、音视频编解码和音视频数据处理等等。经过源代码分析,将AEC部分的代码单独摘取出来,并编译成动态链接库,通过jni技术使Java代码调用动态链接库,实现高质量回声消除。

WebRTC的AEC模块采用自适应滤波算法实现回声消除。该算法以输出到扬声器的音频数据为依据,根据现场的回声路径特征,模拟出回声信号。以模拟回声信号为依据,从麦克风采集到的音频数据中滤除模拟回声信号。算法的实现原理如图1所示。y(n)代表远端语音数据,y(n)在交给近端扬声器播放的同时,还送到自适应滤波器,产生回声估计值d^(n)。x(n)代表近端有用语音,麦克风采集的数据是x(n)和y(n)产生的回声d(n)的叠加,即x(n)+d(n)。经滤波处理,最终近端语音数据为:u(n)=x(n)+d(n)-d^(n)。其中e(n)=d(n)-d^(n),称为回声消除误差。理想状态下,e(n)应为0。但现实中e(n)不可能为0。滤波器会根据e(n)的值自动调整滤波系数。

•  WebRTC的移植

我们将AEC模块分成了两个大块,第一个大块是音频处理的通用模块WebTRC_audio(该模块编译成功后生成“libwebrtc_spl.so”动态库,供第二大块调用),源代码位于WebRTC源代码根路径下的“common_audio\signal_processing”中。第二大块是WebRTC_aec(该模块编译成功后生成“libwebrtc_aec.so”动态库),源代码位于WebRTC源代码根路径下的“modules\audio_processing\aec”中。
如下是WebRTC_aec模块的编译脚本主要部分:
LOCAL_PATH:=$(call my-dir)
include $(CLEAR_VARS)
LOCAL_MODULE:=signal_prebuilt
LOCAL_SRC_FILES:=webrtc_signal/libwebrtc_spl.so
include $(PREBUILT_SHARED_LIBRARY)
include $(CLEAR_VARS)
LOCAL_MODULE := libwebrtc_aec
LOCAL_SHARED_LIBRARIES := signal_prebuilt
include $(BUILD_SHARED_LIBRARY)
先看编译脚本的前五行,定义了一个预编译模块,即WebRTC_
a u d i o 块, 然后通过L O C A L _ S H A R E D _ L I B R A R I E S :=signal_prebuilt来导入该模块。

• 应用层多线程实现回声消除

如果想要成功消除回声,必须将近端数据和远端数据之间的时间差控制在合理范围内。在Android应用开发中,使用AudioRecord进行音频采集,使用AudiorTrack进行远端音频播放。协调好这两个类的输入输出时间同步,是回声消除功能实现的重要保障。为了保证时间上的连续性和时间差,需要使用两个单独线程ReadThread和WriteThread来分别进行音频采集和音频播放。另外还有两个单独的线程InTrhead和OutThread来完成数据的接收和发送,还有一个线程AecThread完成回声消除操作。线程之间的数据交换使用队列来完成。

• QttAudio SDK解决回声消除问题

上文可以看出，使用webrtc消除回音是一个很复杂的工作，编译复杂，使用复杂，很不好控制近端与远端时间差值，而且如何跨平台的使用，同时满足android，ios, linux, windows等平台的需求，对于需要开发可视对讲、音视频通话等应用的企业来说，太难了。使用QttAudio SDK就简单得多，跨平台使用，10分钟就可轻松集成，无需担心回音、噪音、混音等问题，节约时间，提高开发效率，让产品尽早上市。