0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

用于视频应用的去隔行处理和格式重定处理的优化方案

电子设计 来源:郭婷 作者:电子设计 2019-06-08 08:31 次阅读

大多数普通视频信号在利用视频压缩编解码器进行编码之前都必须进行预处理,这要求数据采用420平面格式(planar format)以获得更高的处理性能。例如,NTSC和PAL等广播标准可能需要将隔行扫描(interlaced)格式转换为逐行扫描(progressive),此外还常常需要对色度和亮度信息进行格式重定。

特别的是,CCD相机的视频是以4:2:2交错式隔行扫描格式被捕获的。但视频压缩标准的特定规格只接受逐行扫描4:2:0格式的输入。在这种情况下,必须去掉隔行扫描伪信号,因为对逐行扫描编码器而言,处理隔行扫描视频内容可能相当困难。

有大量复杂的去隔行(de-interlacing)算法可供工程师选择,但并非所有应用都需要最高级别的视频质量。此外,复杂的算法往往需要大量的计算,而开发人员总是受到数字信号处理器DSP)的MIPS预算限制。

当应用不需要最高级别的视频质量时,可在硬件中采用缩放算法来实现去隔行。这种技术可以将4:2:2到4:2:0格式的转换工作和去隔行操作卸载给其它硬件,这对于节省珍贵的DSP MIPS资源特别有帮助。令人惊讶的是,当把视频压缩处理考虑进来之后,缩放硬件有时能获得可与高复杂度去隔行算法相媲美的去隔行质量。

本文描述的简单方法可用于视频应用的去隔行处理。当视频数据帧中存在大量动作时,这种技术最为有效,因为静态图像往往会更加突出缺陷。

亮度和色度编码

NTSC将标准清晰度(NTSC SD)的分辨率定义为每行720像素,每列480像素,每秒30帧。每个像素的信息包含三个分量:Y是亮度(luma)信息,Cb(U)是蓝色信息,Cr(V)是红色信息。

过去采用NTSC标准时,工程师在视频流编码方面受到传输带宽和计算能力的限制。由于人眼对于亮度信息更为敏感,而NTSC标准只要求色度信息进行2:1的水平下采样,从而减轻了这一负担。

CCD相机捕获到的每一帧都具有720×480的Y值、360×480的U值和360×480的V值。其中每一个值都是8位(1个字节),范围在[0,255],这样,每一个NTSC SD帧就是(720+360+360)×480=691,200字节。

被捕获帧的Y/U/V分量一般进行隔行扫描,通常采用YUV 4:2:2的格式。有两种方法构成这些数据,但为了简单起见,假设数据是以UYVY 4:2:2隔行扫描格式构成的(图1)。

用于视频应用的去隔行处理和格式重定处理的优化方案

如前所述,大多数编码器都要求输入视频采用YUV 4:2:0格式。在4:2:2隔行扫描数据和4:2:0平面数据之间存在着两大差异。

在4:2:0格式中,色度信息还需进一步进行2:1的垂直下采样。也就是说,对每一个NTSC SD帧,每个U或V分量都包含360×240字节而不是360×480字节。这样,每个4:2:0格式的NTSC SD帧为518,400字节[(720×480)+(360×240×2)]。为平衡实时性能和合格的图像质量,需要额外的色度下采样。

用于视频应用的去隔行处理和格式重定处理的优化方案

视频压缩标准的有效实现还常常需要将亮度和色度分量分别存储,因为编码算法可能采用不同的方法来处理它们。图2所示为4:2:0平面格式的NTSC SD视频帧。

隔行扫描伪像

隔行扫描包含对图像的两次扫描,一次扫描捕获偶数行,另一次扫描捕获奇数行。两次捕获以很小时差分隔开,然后再合在一起形成一个完整的帧。

在合并这两部分时,可能会形成隔行扫描伪信号。例如,矩形框的垂直边缘将导致锯齿效应(见图3的最后一帧)。在不同时间捕获一个运动视频目标而产生的这种伪信号被称为隔行伪像。

用于视频应用的去隔行处理和格式重定处理的优化方案

对于NTSC标准,若以30帧/秒的速度捕获视频帧,两个连续镜头(即顶场及其互补的底场)之间的启动时间是16.67ms。如果在这类帧中捕获视频场景中的快速运动行为,将会产生隔行扫描伪像。

由于这些伪信号被表示为高频噪声,它们有可能会导致逐行视频编码器出现严重问题,其主要原因在于人眼的敏感度以及压缩标准的工作方式。实际上所有的视频压缩标准都是基于两个非常重要的假设:1. 人眼对低频信息更为敏感,这意味着即使去掉原始帧中的部分高频信息,仍然可以保持可接受的视觉质量。2. 编码过程基于像素块进行,这意味着对于视频帧中的每个16×16或8×8的像素块,在相邻帧中都可能存在非常相似的模块。因此,编码的实现通常是在前面的编码帧中寻找一个相似的像素块,并仅对它们之间的delta进行编码。这样可以获得很高的压缩比,而在大多数压缩标准中,运动评估(ME)模块就是专为该目的而定义的。

遗憾的是,几乎所有像素块中都可能出现隔行扫描伪像,这使得ME模块很难在前面的编码帧中找到相似的像素块。结果使得delta更大,并且ME需使用更多的比特来对其进行编码。因此,最好的方法是在将被捕获的帧馈入到逐行视频编码器之前,减少或去除其中的隔行扫描伪信号。

去隔行视频处理

如前所述,可以通过采用大量计算的复杂算法来实现高质量的去隔行处理。此外,还有一种更直接简单的方法,即采用缩放硬件,例如德州仪器的TMS320DM6446数字媒体处理器。采用缩放硬件可完全去除全部场力线,它利用剩余场的信息来产生丢失数据。

去除480i60(480像素、隔行扫描、60帧/秒)视频的所有底场数据,将产生一个240p30(240像素、逐行扫描、30帧/秒)的视频。该数据被垂直缩放,以产生一个480p30的去隔行结果。这种方法的优点是可以100%地消除所有隔行扫描伪信号,但垂直保真度会有明显损失。

当用作逐行压缩之前的预处理步骤时,这种方案能够产生非常棒的效果。这是因为有损视频压缩算法通常都去掉了高频信号(尤其是在低比特率下)。

因此,根据数据源内容的不同,在把压缩处理考虑进来之后,该方案可以达到和复杂算法一样的效果。例如,可以利用复杂度较低的去隔行器来把隔行扫描广播数据转换成低比特率数据以供逐行扫描手机屏显示。

设计实现

TMS320DM6446处理器中的缩放器(resizer)执行和所有缩放器相同的常用功能,但有少许差别。需注意的两个主要特性是,缩放器模块在水平和垂直方向上都能支持1/4x到4x的缩放,且缩放因子与方向无关。

此外,所有滤波器系数都是可编程的。例如,如果使用4:2:2隔行扫描格式(由UYVY格式构成)的输入帧(图1),分辨率为每帧720×480像素(NTSC SD)。

在去隔行处理中,缩放器首先被告知输入帧的宽度为724像素,而非实际的720像素。这是由于为准确实现1:1的缩放,DM6446处理器的水平输入大小必须被调节为720+delta,delta由缩放器中的公式计算求得。

接着,缩放器获知间距是实际间距的两倍宽,这样它就可以把第一组两个水平扫描行当作一个来接收。这使得缩放器可以在偶数行上实现1:1的水平缩放(见图4中的左上角),并将奇数行丢弃(右上角)。输入和输出在垂直方向上尺寸分别被设定为244和480,因此缩放器执行1:2的垂直放大以插入被丢弃的奇数行。

然后缩放器被告知输出帧的宽度是720像素,输出间距是1440[720+(360×2)]字节,从而形成一个输出帧(图4)。

用于视频应用的去隔行处理和格式重定处理的优化方案

为实现从4:2:2到4:2:0的转换,以便逐行编码器能够利用这些数据,对于每个4:2:2隔行扫描格式的输入帧,缩放器都被调用三次以生成去隔行的4:2:0帧。必须保持三组配置参数分别作为U、Y和V值。因此,需调用缩放器三次。

起始点是采用UYVY 4:2:2格式的输入帧(NTSC SD分辨率)。输出帧被定义用4CIF分辨率(704×480)代替NTSC SD分辨率(720×480)。由于缩放器的32字节输出对齐限制,输入帧的右边16列必须被丢弃。一种替代方法可能是将右边8列和左边8列删减掉。

首次调用是提取输入帧中的Y分量,然后对其进行去隔行处理。通过指示缩放器将输入帧当作一个4:2:0平面格式的图像(图5),去隔行操作应该仅应用于Y分量上。此外,缩放器还被指示执行2:1的水平缩放,间隔提取输入帧中的Y分量,并执行1:2的垂直缩放以在奇数行中插入被丢弃的Y分量。

对缩放器的第二次调用是修改U分量,这需要以2:1的比例进一步垂直下采样。由于下采样需丢弃所有的奇数行,这会自动生成逐行U缓冲器,因此不再需要进行去隔行操作。为实现垂直下调节(downscaling),垂直输入大小被设为484,输出大小被设为240。对V分量的操作类似于U分量。

用于视频应用的去隔行处理和格式重定处理的优化方案

对于在利用视频压缩编解码器进行编码之前需要去隔行和YUV格式转换的视频,可通过一个缩放引擎来对其进行预处理。由于某些因素(例如视频编解码器往往去除了高频分量)的影响,需对压缩后的视频质量进行考虑。不过,这项技术并不适合于所有应用,而且必须小心确保输出质量是应用可以接受的。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 解码器
    +关注

    关注

    9

    文章

    1070

    浏览量

    40078
  • 噪声
    +关注

    关注

    13

    文章

    1068

    浏览量

    47031
  • 视频
    +关注

    关注

    6

    文章

    1886

    浏览量

    71826
收藏 人收藏

    评论

    相关推荐

    FPGA图像与视频处理培训

    使用FPGA进行图像和视频处理的原理、结构、方法和流程,实现视频处理中的重要模块设计;同时,针对不同的设计目标进行优化,另外采用新型的EDA
    发表于 07-16 14:05

    【在线研讨会】多通道实时视频处理设计指南 免费点播!!

    的听众中,抽取若干个幸运听众,赠送精美礼品一份哦,赶快参与!!研讨会介绍:采用不同格式处理多路视频流来进行分发、显示和归档是极具挑战性的,同时还可能涉及到复杂的视频操作,比如
    发表于 05-14 16:14

    【TL6748 DSP申请】基于DSP的微光夜视视频图像实时处理

    申请理由:TMS320C6748是TI公司推出的高速DSP,将其应用于微光视频图像的实时处理,对于提高系统的实时性和采集具有十分要的意义,同时也可以讲更加复杂的算法加入其中,对于微光
    发表于 10-09 15:12

    例说FPGA连载70:AV视频采集之隔行处理实现

    例说FPGA连载70:AV视频采集之隔行处理实现特权同学,版权所有配套例程和更多资料下载链接:http://pan.baidu.com/s/1c0nf6Qc该模块的功能框图如图12.
    发表于 02-07 18:06

    请问DM385 ipnc_rdk3.8 使用DEI Link进行隔行处理时,对于输入帧率有限制吗?

    本帖最后由 一只耳朵怪 于 2018-5-29 10:01 编辑 DM385 ipnc_rdk3.8 使用DEI Link进行隔行处理时,对于输入帧率有限制吗?方案一:在采集l
    发表于 05-28 03:11

    有谁知道怎么对视频图像隔行吗?

    有谁知道怎么对视频图像隔行吗? 我的是DM642,打算做光流特征跟踪的。 有没有好的思路可以探讨呢?谢啦!
    发表于 05-31 09:07

    数字视频隔行转逐行扫描格式转换集成电路FLI2200资料推荐

    数字视频隔行转逐行扫描格式转换集成电路FLI2200资料下载内容主要介绍了:FLI2200引脚功能FLI2200主要引脚功能TCL-LCD3028彩电图像处理电路
    发表于 04-02 06:12

    MT8202G液晶电视信号处理基础电路详解

    宽带宽的输入信号转换成24/16/8位的数字端口信号,此端口可接收多种外部数字输入视频源,新的二代运动自适应隔行处理器将隔行
    发表于 04-22 06:52

    PW1225视频处理集成电路相关资料推荐

    概述:PW1225(UN300)是Pixel works半导体公司生产的一款精密显像视频处理芯片,它具有非常强大的视频处理功能。它的内部集成如下功能:逐行转换
    发表于 05-19 06:22

    NV320P数字视频处理集成电路相关资料分享

    NV320P是一款数字视频处理集成电路用于数字电视的视频处理,它包含视频降噪、动态补偿、图像锐度
    发表于 05-24 07:22

    使用FPGA实现高清晰视频隔行功能

    本白皮书介绍各种去隔行技术,以及怎样使用Altera 的视频和图像处理IP 包来实现这些技术。采用视频设计方法,设计人员在实现不同的去隔行
    发表于 03-01 11:54 30次下载

    使用FPGA 实现高清晰视频隔行功能

    使用FPGA 实现高清晰视频隔行功能 本白皮书介绍各种去隔行技术,以及怎样使用Altera 的视频和图像处理IP 包来实现这些技术。采用
    发表于 04-19 14:46 49次下载

    东芝推出整合去隔行视频缩放功能的MIPI CSI2接口桥IC

    桥集成电路,整合了视频隔行视频缩放功能。样品已经推出,批量生产定于今年12月开始。 这款新集成电路整合的视频隔行
    发表于 10-23 12:09 341次阅读

    使用FPGA开发视频算法进行图像和实时视频处理

    硬件调整大小和去隔行简化了视频数据的格式化和索引,以允许更多的编码资源用于图像数据处理和覆盖到显示数据上。这种叠加的示例包括调整大小的图像,
    发表于 08-25 14:49 1133次阅读
    使用FPGA开发<b class='flag-5'>视频</b>算法进行图像和实时<b class='flag-5'>视频</b><b class='flag-5'>处理</b>

    拼接处理器:优化视频质量的先进技术

    讯维拼接处理器是一种先进的视频处理设备,采用多种先进技术来优化视频质量,从而提高会议的参与感和决策效率。 首先,讯维拼接
    的头像 发表于 09-05 14:07 244次阅读
    拼接<b class='flag-5'>处理</b>器:<b class='flag-5'>优化</b><b class='flag-5'>视频</b>质量的先进技术