电子发烧友网 > 可编程逻辑 > 参考设计 > 正文

音视频同步的原理及实现方案

2017年04月20日 14:32 次阅读

音视频同步是我们观看视频的一个基本体验,尤其对于视频画面中能看到声源动作(如:嘴型)的场景,音视频同步问题非常影响体验。

在短视频与直播APP中,采集端作为音视频的生产者,如果采集端产生的音视频源本身就无法保证同步,那么后面不管经过什么处理,都很难再让用户看到音视频同步的画面了,因此,在采集端保证音视频同步上尤其重要。

那么如何保证app在各种正常/非正常状况下尽量保证输出同步的音视频?本文就是讲述我们是如何解决上述问题的。

音视频同步的原理

音视频采集的数据分别来自于麦克风与摄像头,而摄像头与麦克风其实是两个独立的硬件,而音视频同步的原理是相信摄像头与麦克风采集数据是实时的,并在采集到数据时给他们一个时间戳来标明数据所属的时间,而编码封装模块只要不改动音视频时间的相对关系就能保证音频与视频在时间上的对应。如此封装好数据之后,播放端就能够根据音视频的时间戳来播放对应的音视频,从实现音视频同步的效果。

时间戳参考标准

取格林威治时间做为对比标准,即音视频时间戳都为采集时间点相对于格林威治标准时间的时间差;

取系统开机时间做为对比标准,即音视频时间戳都是采集时间点相对于手机开机时间的时间差。目前iOS上AVCaptureSession这套API就是参考这个时间标准给的时间戳。

其它时间戳标准

基于“开源项目1”的音视频同步探讨

原生某开源框架

如图:

音视频同步的原理及实现方法

简介

音/视频被采集到之后会先经过音/视频处理模块,音/视频在被处理之后才进入计算时间戳的模块。

在第一帧到达时记一个计时起点,然后根据采集的帧间隔对接下来每一帧的时间戳进行计算:frameTImeStamp = lastFrameTImeStamp + frameDuraTIon。

优点

能输出frame duraTIon稳定的音视频时间戳。

风险

无论是音频还是视频,在手机过热、性能不足等极端情况下有可能出现采集不稳定的情况,比如说预计1s采集30帧,实际只采集到28帧,而音视频的时间戳是通过累加来计算的,这样就有会出现音视频不同步的情况。

Video Process(人脸检测、滤镜、3D贴纸)有可能无法在一帧时间内处理完当前帧,这样就会出现帧数比预期低的情况,从而出现音视频不同步。

帧间隔涉及到无限小数时,因为计算机的精度有限会引发的时间戳偏移,此偏移会随着帧数的增加而逐渐被放大。

基于开源项目1的改进方案1

如图:

音视频同步的原理及实现方法

时间戳的获取方法非常直接——每一帧都在改帧进入时间戳计算模块时获取当前系统时间作为时间戳。

技术专区

关注电子发烧友微信

有趣有料的资讯及技术干货

下载发烧友APP

打造属于您的人脉电子圈

关注发烧友课堂

锁定最新课程活动及技术直播
收藏 人收藏
分享:

评论

相关推荐

音视频转码技术指南:国内主流云转码服务提供商对比测评

发表于 2018-02-28 11:51 92次阅读
音视频转码技术指南:国内主流云转码服务提供商对比测评

高级硬件工程师(智能监控设备+海思芯片)/高级嵌入式软件开发(linux+海思芯片)

发表于 2017-06-20 14:33 900次阅读
高级硬件工程师(智能监控设备+海思芯片)/高级嵌入式软件开发(linux+海思芯片)

【NanoPi M1 Plus试用体验】3-安卓系统体验篇-成功上网

发表于 2017-05-17 16:59 1398次阅读
【NanoPi M1 Plus试用体验】3-安卓系统体验篇-成功上网

物联网音视频应用快车道,Mediawin一站式解...

苹果、Google、亚马逊等科技巨头一致看好智能音箱市场,国内厂商应该如何布局呢?Mediawin一...

发表于 2016-06-22 11:43 564次阅读
物联网音视频应用快车道,Mediawin一站式解...

世平集团推出基于 ADI ADAU1452 音视频高保真方案

发表于 2015-11-03 10:17 807次阅读
世平集团推出基于 ADI ADAU1452 音视频高保真方案

电源适配器(AV类)CCC认证介绍【亚洲认证系列】

发表于 2015-08-19 10:55 801次阅读
电源适配器(AV类)CCC认证介绍【亚洲认证系列】

IEC62087音视频类设备功耗测量方法【IEC节能标准】

发表于 2015-08-17 11:05 2351次阅读
IEC62087音视频类设备功耗测量方法【IEC节能标准】

树莓派B+ 之 音视频转接板DIY

发表于 2014-10-23 19:48 4742次阅读
树莓派B+ 之 音视频转接板DIY

本帖已删

发表于 2013-05-22 11:00 1154次阅读
本帖已删

A/V信号处理

发表于 2013-03-19 01:33 1058次阅读
A/V信号处理

AVS标准厚积薄发 音视频中国芯机遇来临

AVS,是“中国自主知识产权音视频编解码标准”的英文简称。AVS标准的优势主要集中在地面数字电视领域...

发表于 2013-01-21 14:51 557次阅读
AVS标准厚积薄发 音视频中国芯机遇来临

(最全)dm642的论文文档2百多篇(音视频算法博硕毕设)

发表于 2013-01-01 13:31 21141次阅读
(最全)dm642的论文文档2百多篇(音视频算法博硕毕设)

高清数字电视音视频及电源设计技术

无论由摩尔定律或消费需求驱动,在当今电视中所需要的性能水平可能似乎是势不可当的。 与标准清晰度电视格...

发表于 2012-08-01 09:32 300次阅读
高清数字电视音视频及电源设计技术

安森美半导体的音视频电源管理和电路保护方案

作为高能效电子产品的首要高性能硅方案供应商, 安森美半导体 提供的丰富产品解决方案有助于家庭娱乐设备...

发表于 2012-05-08 09:27 1020次阅读
安森美半导体的音视频电源管理和电路保护方案

Milestone发布高级视频管理软件新版本

Milestone Systems 发布采用 XProtect Smart Client 7 的 X...

发表于 2012-03-29 12:18 277次阅读
Milestone发布高级视频管理软件新版本

MPlayer安装和使用指南

MPlayer是基本上基于GPL协议的。但有些非GPL的代码所以不能用binary包发布

发表于 2011-11-03 16:49 1777次阅读
MPlayer安装和使用指南

音视频SoC测试要求几应用

 随着大批量消费类行业中SoC与SIP日趋复杂化,低成本与高器件寿命周期这两个基本要求的矛盾更加突出...

发表于 2011-09-24 00:28 406次阅读
音视频SoC测试要求几应用

FH8735在音视频压缩卡上的应用设计

随着视频监控产品的规格化,ASIC 方案在成本和稳定性方面逐渐显露出优势,针对音视频压缩卡市场适时推...

发表于 2011-08-24 14:12 374次阅读
FH8735在音视频压缩卡上的应用设计

音视频产品的抗干扰研究

音视频产品的抗干扰研究 电磁兼容,即EMC(ElectromagneticCompatibilit...

发表于 2010-04-01 16:28 1199次阅读
音视频产品的抗干扰研究

业界首款用于消费类音视频设计的HDMI 1.4收...

业界首款用于消费类音视频设计的 HDMI 1.4收发器可提供超快速切换技术,同时降低设计复杂性和成本...

发表于 2009-10-15 08:35 225次阅读
业界首款用于消费类音视频设计的HDMI 1.4收...