电子发烧友网 > 控制/MCU > 正文

FFMPEG视频编解码流程 H.264硬件编解码实现

2018年04月03日 11:28 次阅读

目前,智能手机、PDA和平板电脑等越来越多的嵌入式设备支持高清视频采集和播放功能,高清视频的采集或播放功能正广泛用于游戏设备、监控设备、视频会议设备和数字网络电视等嵌入式系统中。这些功能的实现建立在高性能视频硬件编解码技术基础之上。本文阐述了基于FFmpeg的H.264视频硬件编解码在S3C6410处理器上的实现方法,为数字娱乐、视频监控和视频通信系统开发过程中的高清视频硬件编解码的实现提供参考。

FFmpeg[1]是一个开源免费跨平台的视频和音频流方案,属于自由软件。它包含非常先进的音频/视频编解码库libavcodec,提供了录制、转换以及流化音视频的完整解决方案。FFmpeg支持MPEG4、FLV等40多种编码,以及AVI、ASF等90多种解码。目前国内较为流行的播放器暴风影音和国外较为流行的Mplayer在音频/视频编解码方面都用到了FFmpeg。

S3C6410[2]是三星公司推出的应用处理器芯片,基于ARM11架构,主频最高可达800 MHz。它具有多媒体硬件加速功能,其中包括大于30 fps的MPEG4 SP、H.264/263 BP和VC1(WMV9)多种视频硬件编解码,可用于手机、平板电脑和游戏机等手持移动设备和其他高性能嵌入式设备。国产手机魅族M8的处理器使用的就是S3C6410。

虽然FFmpeg提供了简单的应用程序编程接口(API),可以很方便地实现多种格式的视频软件编解码[3],但是软件编解码在处理复杂视频编解码(如H.264)时无法运用到处理速度不快、内存空间不多的嵌入式环境中。为了在资源有限的嵌入式环境下使用FFmpeg实现复杂视频编解码,下面在分析FFmpeg视频编码流程和S3C6410处理器视频编解码方法的基础上,阐述嵌入式Linux操作系统下基于FFmpeg的H.264硬件编解码在S3C6410处理器上的实现方法。

1 FFmpeg视频编解码流程

FFmpeg主要有encode/decode、muxer/demuxer和内存操作3个模块。encode/decode模块用于音视频的编码和解码,存放在libavcodec子目录中;muxer/demuxer模块用于音频和视频的合并与分离(也称混合器模块),存放在libavformat目录中;内存等常用模块存放于libavuTIl目录中。下面以解码过程为例分析FFmpeg视频编解码流程。

解码基本流程共分4步:

① 注册所有可能用到的编解码器和混合器。av_register_all(void)函数中通过执行 REGISTER_MUXDEMUX(X,x)和REGISTER_ENCDEC(X,x),把所有FFmpeg支持的混合器和编解码器相关信息以链式的结构存放在内存中。

② 打开视频文件。av_open_input_file(AVFormatContext **ic_ptr,const char *filename,AVInputFormat *fmt,int buf_size,AVFormatParameters *ap)函数中侦测文件的格式,根据文件格式从链式的混合器中找到相对应的混合器(demuxer)并分离出视频信息。

③ 获取视频信息。通过av_find_stream_info(AVFormatContext *ic)函数获取视频格式。根据视频格式,在链式的视频解码器中找到相应的视频解码器,并通过avcodec_open(AVCodecContext *avctx,AVCodec *codec)函数将解码器打开用于下一步视频的解码。

④ 解码一帧视频,通过 avcodec_decode_video(AVCodecContext *avctx,AVFrame *picture,int *got_picture_ptr,const uint8_t *buf,int buf_size)函数解码一帧视频。

FFmpeg的编码过程与解码过程类似,不同的是第3步根据要求编码的格式在链式的视频编码器中找到相应的视频编码器,并执行编码过程。

通过以上对FFmpeg视频编解码流程分析可以知道,为了在FFmpeg中添加自定义的视频编解码器,并在程序运行时使用这个编解码器,关键在于如下两点:

① 根据FFmpeg对编解码器的描述,实现自定义编解码器。

② 通过REGISTER_ENCDEC(X,x)函数将自定义的视频编解码器添加到视频编解码器链中。在获取视频信息时,保证需要编码或解码的视频能找到视频编解码器链中自定义的视频编解码器。

2 S3C6410处理器视频编解码方法

S3C6410视频编解码软件架构[4]如图1所示。底层为操作系统空间,上层为用户空间,视频编解码器通过驱动和操作系统以设备文件的形式使用,使用的方法和普通文件一样,包括文件打开和关闭、文件读写和输入/输出控制(ioctl,input/output control)。

FFMPEG视频编解码流程 H.264硬件编解码实现

图1 S3C6410视频编解码软件架构

具体操作方法如下:

① 通过open函数打开编解码器设备文件;

② 使用mmap方法在用户空间和驱动空间之间映射输入/输出缓存空间,这样做的好处是可以快速进行数据输入/输出;

③ 通过ioctl设备编解码参数,初始化编解码器;

④ 输入数据,通过ioctl执行编解码过程,输出数据;

⑤ 通过close方法关闭编解码器设备文件。

值得注意的是,无论编码还是解码,处理的数据都是以一帧帧的形式操作的,所以第4步是一个不断循环的过程,直到所有数据处理完成。另外,虽然编解码器以设备文件的形式使用,但是它不能使用标准的文件读写操作,查看编解码的设备驱动可以发现,其文件读写函数是空的,这一点三星公司的开发文档并没有说明。

技术专区

关注电子发烧友微信

有趣有料的资讯及技术干货

下载发烧友APP

打造属于您的人脉电子圈

关注发烧友课堂

锁定最新课程活动及技术直播
收藏 人收藏
分享:

评论

相关推荐

视频编解码应用 视频处理中的fpga应用

视频处理是目前多媒体领域最热门的技术,主要分为视频编解码和目标信息识别两大类。前者为了节省视频数据的...

发表于 2018-04-09 15:04 48次阅读
视频编解码应用 视频处理中的fpga应用

FFmpeg 硬件加速方案概览

被称为“多媒体技术领域的瑞士军刀”,FFmpeg拥有广泛的应用基础。不过,当(实时)处理海量视频时,...

发表于 2018-03-21 16:48 482次阅读
FFmpeg 硬件加速方案概览

动态IP的Internet视频监控解决方案

伴随着计算机及网络技术的飞速发展,尤其视频编解码技术的日益成熟、计算机处理能力的快速提高、以及宽带的...

发表于 2018-03-13 12:40 66次阅读
动态IP的Internet视频监控解决方案

HEVC的基础说明与配置应用教程

HEVC,即H.265,是现行的先进视频编解码标准H.264/MPEG-4 AVC的后继与发展。由I...

发表于 2017-11-17 12:47 553次阅读
HEVC的基础说明与配置应用教程

ffmpeg音视频不同步解决方法

经过研究发现,FFMPEG SDK写入视频的时候有两个地方用来控制写入的时间戳,一个是AvPacke...

发表于 2017-11-01 09:09 701次阅读
ffmpeg音视频不同步解决方法

ffmpeg支持的音视频格式有哪些

FFmpeg是一套可以用来记录、转换数字音频、视频,并能将其转化为流的开源计算机程序。采用LGPL或...

发表于 2017-11-01 08:43 607次阅读
ffmpeg支持的音视频格式有哪些

【NanoPi NEO Plus2开发板试用体验】图像识别算法之opencv交叉编译

发表于 2017-08-31 16:43 1031次阅读
【NanoPi NEO Plus2开发板试用体验】图像识别算法之opencv交叉编译

树莓派 ffmpeg硬编码问题

发表于 2017-08-09 17:04 2078次阅读
树莓派 ffmpeg硬编码问题

H.264视频编解码SoC满足高清DVR设计需求

硬盘录像机(DVR)作为监控系统的核心部件之一,在10年里高速发展,从模拟磁带机的替代品演变成具有自...

发表于 2012-07-06 11:10 499次阅读
H.264视频编解码SoC满足高清DVR设计需求