Chinaunix首页 | 论坛 | 博客
  • 博客访问: 6680745
  • 博文数量: 702
  • 博客积分: 2150
  • 博客等级: 上尉
  • 技术积分: 13243
  • 用 户 组: 普通用户
  • 注册时间: 2011-06-29 16:28
文章分类

全部博文(702)

文章存档

2019年(2)

2018年(12)

2017年(76)

2016年(120)

2015年(179)

2014年(129)

2013年(123)

2012年(61)

分类: 高性能计算

2018-12-28 09:26:18

一、FFmpeg filter的原理

1. 引言及示例

FFmpeg中的libavfilter提供了一整套的基于filter的机制。
filter本身是一个插件的形式,可以快速的组装需要的效果。
比如下面的filter,可以实现视频的水平镜像效果。
ffplay.exe sample.rmvb -vf hflip

1.1 FFmpeg为什么重新定义filter API?

FFmpeg定义的libavcodec接口已经成为在编解码领域的事实上的行业标准。
但音视频filter并没有类似的标准,多个不同的多媒体项目(比如MPlayer、Xine、GStreamer等)都实现了自定义的filter系统。
为了统一filter库API接口,FFmpeg提出了参考DirectDraw实现了高质量、高效、灵活的音视频filter接口。


1.2 传统概念上filter是什么?

filter可以翻译成过滤器,滤镜、滤波器。物理概念上,常见的过滤器跟净化器概念重复,比如滤水器、空气净化器等。
  • 在计算机程序中,filter是指一段代码,可用于检查输入或者输出,按照预定的规则处理并传递这些数据。
换种说法,filter是一种传递(pass-through)代码块,将输入数据做特定的变换并输出。
通常filter自身不做任何输入/输出。
举个例子,linux下的grep可以认为是一个filter,按照正则表达式匹配选择,从输入中选择输出数据。
  • 在电信工程领域,filter通常指的用于信号处理的设备,
比如音频处理比较典型的低通滤波器、高通滤波器、带通滤波器、去噪滤波器等。


1.3 filter的分类

按照处理数据的类型,通常多媒体的filter分为:
  • 音频filter
  • 视频filter
  • 字幕filter
另一种按照处于编解码器的位置划分:
  • prefilters: used before encoding
  • intrafilters: used while encoding (and are thus an integral part of a video codec)
  • postfilters: used after decoding
FFmpeg中filter分为:
  • source filter (只有输出)
  • audio filter
  • video filter
  • Multimedia filter
  • sink filter (只有输入)
除了source和sink filter,其他filter都至少有一个输入、至少一个输出。

1.4 示例

下面也是一个例子,使用filter实现宽高减半显示:
ffplay.exe sample.rmvb -vf scale=iw/2:ih/2

下面是使用mptestsrc的source filter作为ffplay输入,直接显示:
ffplay -f lavfi mptestsrc=t=dc_luma
ffplay -f lavfi life=s=300x200:mold=10:r=60:ratio=0.1:death_color=#C83232:life_color=#00ff00,scale=1200:800:flags=16


2. 基本原理

FFmpeg filter可以认为是一些预定义的范式,可以实现类似积木的多种功能的自由组合。
每个filter都有固定数目的输入和输出,而且实际使用中不允许有空悬的输入输出端。
使用文本描述时我们可以通过标识符指定输入和输出端口,将不同filter串联起来,构成更复杂的filter。这就形成了嵌套的filter。
当然每个filter可以通过ffmpeg/ffplay命令行实现,但通常filter更方便。
ffmpeg.exe、ffplay.exe能够通过filter处理原始的音视频数据。
ffmpeg将filtergraph分为simple filtergraph和complex filtergraph。

通常simple filtergraph只有一个输入和输出,ffmpeg命令行中使用-vf、-af识别,
基本原理图如下:


complex filtergraph,通常是具有多个输入输出文件,并有多条执行路径;
ffmpeg命令行中使用-lavfi、-filter_complex,基本原理图如下:


在libavfilter, 一个filter可以包含多个输入、多个输出。
下图是一个filtergraph的示例:

上图中filtergraph将输入 流(INPUT) 分成两个流(分别是main 和 tmp ),
其中一个(即tmp)通过crop filter和vflip filter,它们的输出命名为 (flip)
另一个(即main)不做处理;
然后通过overlay filter将这两个流(即 main 和 flip)合成一个流输出(OUTPUT)。

这个filtergraph可以用下面命令行表示:
ffmpeg -i INPUT -vf "split [main][tmp]; [tmp] crop=iw:ih/2:0:0, vflip [flip]; [main][flip] overlay=0:H/2" OUTPUT

3. Filter的语法

FFmpeg中filter包含三个层次,filter->filterchain->filtergraph。
具体可以参考下图:


上图中,
第一层是 filter 的语法;
第二层是 filterchain的语法;
第三层是 filtergraph的语法。

3.1 Filter 的语法

[input_link_label_1][input_link_label_2] ...
filter_name=param_name1=param_value1:param_name2=param_value2
[ouput_link_lable_1][output_link_label_2]...

其中:
[input_link_label_X] :指以 label 标识的Filter的输入,label可以随意命令,它是可选的,可以有多个,用方括号分隔;
filter_name : 是fliter的名称, 必须有;它的参数是可选 的,以":"分隔或"+"号,可以有参数名,也可以没有;
[output_link_label_X] : 指以 label 标识的Filter的输入,label可以随意命令,它是可选的, 可以有多个,用方括号分隔;

没有音频、视频输入的filter称为source filter;
没有音频、视频输出的filter称为sink filter。

例如:
ffmpeg -i video.avi
-filter_complex 'extractplanes=y+u+v[y][u][v]' -map '[y]' y.avi -map '[u]' u.avi -map '[v]' v.avi
这个抽取视频Y、U、V分量的filter,就有三个输出,分别是 [y][u][v], 抽取后,将不同的输出保存到不同的文件中;

例如:
ffmpeg -i video.avi -vf 'delogo=x=0:y=0:w=100:h=77:band=10' output.avi

3.2 filterchain的语法

filter1,filter2,....
它是多个filter的组合,以逗号分隔;并且每个filter是输入是前一个filter的输出;

例如:
ffmpeg -i audio.aac
-filter_complex "aresample=async=16000,adelay=316397,volume=1.0" -acodec libfdk_aac -y output.mp4
这里用到了三个filter,分别的aresample, adelay, volume, 组成一个filterchain;


3.3 filtergraph的语法

filterchain1;filterchain2;...
它是多个filterchain的组合,以分号";"分隔,

例如:
ffmpeg -i INPUT -filter_complex "split [main][tmp]; [tmp] crop=iw:ih/2:0:0, vflip [flip]; [main][flip] overlay=0:H/2" OUTPUT
这里用到了三个filterchain, 分别是:
split [main][tmp]; // 它只有一个filter,即 split; 它有一个默认的输入,即INPUT解码后的frame;
有两个输出, 以 [main], [tmp] 标识;
[tmp] crop=iw:ih/2:0:0, vflip [flip] // 它由两个filter组成,即crop和vflip;一个输入 [tmp], 一个输出[flip];
[main][flip] overlay=0:H/2 // 它由一个filter组成,即overlay, 有两输入,分别是[main][flip], 一个默认的输出;

阅读(6433) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~
评论热议
请登录后评论。

登录 注册