Time and Clocks in DirectShow
6.1 Reference Clocks
参考时钟是Filter Graph Manager用来同步所有Filter的。任何一个暴露了IReferenceClock 接口的对象都可以作为参考时钟。参考时钟可以是Filter提供,例如声卡就可以提供一个硬件的时钟。作为应变,Filter Graph Manager也可采用系统的时间。名义上,参考时钟的精确度在100纳秒,但实际上,没有那么精确。调用IReferenceClock::GetTime可以获取时钟的当前时间。时间的基准是开始计时的时间,根据实现的不同,GetTime的返回值不是绝对的。关键的是从时间开始的变化量。
尽管时钟的精确性还有所变动,但是GetTime方法返回的保证时间是增加的。也就是说,时钟不会倒退回去,比如,对硬件时钟进行了调整,GetTime方法就返回上次的时间,直到硬件时钟赶上。更多信息可参考CBaseReferenceClock类。
6.1.1 Default Reference Clock
当Graph运行的时候,Filter Graph Manager会自动选择一个参考时钟的,选择的法则如下
1、如果应用程序选择了时钟,就采用应用程序选择的时钟
2、如果Graph包含活动的源Filter,并且有IReferenceClock接口,那么就用这个时钟。
3、如果Graph没有活动的源Filter,就用Graph中任何有IReferenceClock接口的Filter,选择的方法是从Renderers逆流向上,连接的Filter优先,没有连接的Filter次之。
4、如果没有任何Filter符合条件,就采用系统参考时钟System Reference Clock
6.1.2 Setting the Reference Clock
应用程序可以调用Filter Graph Manager的接口IMediaFilter的SetSyncSource方法来设置新的参考时钟。只有因为特殊原因需要设置其他时钟时才调用此函数。
如果你给SetSyncSource传递的参数为NULL,Graph不设置任何参考时钟。如果想恢复缺省的时钟,调用IFilterGraph::SetDefaultSyncSource。当Graph的参考时钟改变时, Filter Graph Manager调用IMediaFilter::SetSyncSource通知所有的每个Filter。
6.3 Clock Times
DirectShow定义了两个相关的时间:参考时间和流时间。
·参考时间:是参考时钟返回的绝对时间
·流时间:和Graph最近异常开始运行的时间有关。
·当Graph正在运行,流时间就等于从开始时间减去开始时间
·当Graph暂停,流时间就等于它暂停开始的时间
·在进行Seek操作后,流时间重新设置为0
·当Graph停止时,流时间没有定义。
当一个Sample具有时间戳T,就表示Sample应该在流时间T播放,因此流时间也叫播放时间。
应用程序调用IMediaControl::Run运行Graph时,Filter Graph Manager会调用每个Filter的IMediaFilter::Run方法。为了补偿调用每个Filter的时间延迟,Filter Graph Manager会指定一个稍微将来的时间进行补偿。
6.4 Time Stamps
时间戳定义了媒体Sample的开始和结束时间,用流时间表示。时间戳也叫播放时间。通过后面的知识你会了解到,并不是所有格式的数据流都采用同一种样式的时间戳。比如,并不是所有的MPEG Sample都有时间戳。在MPEG Filter Graph,时间戳并不应用在每帧上直到它们从解码器输出。
当Render Filter接收到Sample,根据Sample的时间戳进行提交。如果Sample达到晚了或者没有时间戳, Filter立即提交Sample。否则,在提交Sample前,Filter会一直等到Sample的开始时间。(通过调用IReferenceClock::AdviseTime方法等待开始时间。)
Source Filter和Parse Filter有责任给处理的Sample设置正确的时间戳。使用如下规则:
·文件回放:第一个Sample的时间戳为0,随后的时间戳根据Sample的长度和播放的速率来确定。这些又由文件格式确定。解析Filter有责任计算正确的时间戳(例如AVI Splitter)。
·视频和音频的捕捉:每个Sample都打上开始时间,它等于捕捉的流时间。注意下面两点:
·预览PIN(与捕捉PIN相反)出来的视频帧没有时间戳。因为Graph延迟,打上捕捉时间的视频帧到达视频Renerer时总是有延迟。这样就会使Renderer丢帧以尝试质量控制。关于质量控制可参考Quality-Control Management。
·音频捕捉:音频捕捉Filter使用自己的缓冲,与音频驱动所使用的不同。音频捕捉驱动以固定间隔时间填充捕捉Filter的缓冲。间隔时间取决于驱动,但通常不超过10毫秒。在音频Sample上的时间戳反应了驱动填充捕捉Filter缓冲的时间。这些时间有稍微不准确,特别是如果应用程序使用更小的缓冲。但是,媒体时间能准确反应缓冲中音频Sample的数量。
·Mux Filter: 根据输出数据流的格式,Mux Filter可能需要生成时间戳,也许不需要。比如AVI文件格式使用固定的帧率,没有时间戳,因此AVI Mux Filter假定Sample都是在大约正确的时间达到。如果到达时间比时间戳晚就会丢帧。而对于文件回放,新的时间戳是运行时生成的。
另一个可选功能是Filter可以给Sample指定Media Time。在视频流,Media Time表示帧数。在音频流,表示数据包中的Sample数量。比如,如果每个包有1秒的444.1KHZ的音频,第一个包的媒体开始时间是0媒体结束时间是44100。在支持Seek的流,总是与流的开始时间有关。比如,如果对一个15FPS的视频从开始定位到2秒。定位后的Media Sample的时间戳是0但是Media Time是30。
Renderer和Mux Filter可通过检测间隔用Media Time判断帧或者Sample是否被丢弃。但是,Filter并不要求设置Media Time。设置Media Time可调用IMediaSample::SetMediaTime.
6.5 Live Source
活动的Live Filter,就是推模式的源,实时的接收数据。视频捕捉和网络广播就是例子,活动源通常无法控制数据流得速率。
Filter如果有下面的任意一个特征,通常被认为是Live Filter:
1、IAMFilterMiscFlags::GetMiscFlags时返回AM_FILTER_MISC_FLAGS_IS_SOURCE,并且至少有一个输出Pin暴露了IAMPushSource接口
2、Filter暴露IKsPropertySet接口,并且有个捕捉Pin(PIN_CATEGORY_CAPTURE),更多信息可参考Pin Property Set.
如果Live Source Filter提供时钟,那么Filter Graph Manager首先采用它作为参考时钟。
6.5.1 Latency
Filter的反映时间就是Filter处理Sample所花费的时间。对于Live Source,反应时间由Sample的内存大小决定。例如,假设一个Filter有一个33ms反应时间的视频源,一个500ms反应时间的音频源,每一个视频祯(video frame)比相应的音频Sample要早470ms,除非Graph进行补偿,否则视频和音频是不同步的。
Live Source可以通过IAMPushSource接口来进行同步。Filter Graph Manager在应用程序调用IAMGraphStreams::SyncUsingStreamOffset方法后就不会对源进行同步。如果开启同步,Filter Graph Manager在每个Source Filter查询IAMPushSource接口,如果支持接口,Filter Graph Manager就用IAMLatency::GetLatency来得到Filter期望的反应时间。(IAMPushSource从IAMLatency继承)。通过组合这些反应值,Filter Graph Manager 决定Graph的最大反应时间。然后调用IAMPushSource::SetStreamOffset给每个源Filter设置一个数据流偏移时间,Filter给它产生的Sample打时间戳的时候会加上偏移时间的。
这种方法主要用于实时预览。但是,实时捕捉设备的(比如摄像机)并不在Sample上设置时间戳。因此,在实时捕捉设备上用此方法,必须从捕捉PIN进行预览。可参考DirectShow Video Capture Filter. 现在,VFW Capture Filter 和 Audio Capture Filter.都支持IAMPushSource接口。
6.5.2 Rate Matching
当Render Filter利用参考时钟安排播放顺序的时候,如果源Filter采用另一种时钟,在重放的时候就会发生故障。播放的速度大于源产生的速度,就会产生间隙停顿,或者播放速度小于源的产生速度,就会形成数据的堆积,直到Graph丢帧。源一般来说是无法控制数据的产生速度的,因此,播放速度要随着源的速度改变而改变。
现在,只有在音频播放Filter才能进行速率匹配,因为音频中的故障比视频中的更容易捕捉到。为了匹配播放速率,音频Renderer必须要选择一个匹配标准。使用如下规则:
·如果Graph没有使用参考时钟,没法进行速率匹配。(只要没有参考时钟Sample都是立即提交)
·如果Graph有参考时钟,Renderer的上一级必须要有一个活动的源。否则不进行匹配。
·如果上一级有Live Source, 并且支持IAMPushSource接口,调用GetPushSourceFlags:
·返回AM_PUSHSOURCECAPS_INTERNAL_RM,表示Source有自己的匹配机制
·返回AM_PUSHSOURCECAPS_NOT_LIVE,表示不是Live Source,即使有IAMPushSource接口,因此Audio Renderer不匹配。
·返回AM_PUSHSOURCECAPS_PRIVATE_CLOCK,表示Source用私有时钟生成时间戳。此时,Audio Renderer用时间戳匹配。(如果没有时间戳,但是Renderer忽略Flag).
·如果GetPushSourceFlags返回0,播放Filter就根据Graph时钟和Sample的时间戳来自己决定播放速率。
·如果Audio Renderer不是Graph时钟并且Sample有时间戳,就与时间戳匹配。
·如果Sample没有时间戳,Audio Renderer尝试与进入Audio Data的频率匹配。
·如果Audio Renderer是Graph时钟,尝试与进入Audio Data匹配。
最后一种情况的原因是:如果Audio Renderer是参考时钟,Source Filter用同样的时钟生成时间戳,然后Audio Renderer不能与时间戳匹配。如果这么做了,就可能尝试与自己匹配,这样会引起时钟混乱。因此,Audio Renderer就与进入Audio Data的频率匹配。
Trackback: http://tb.blog.csdn.net/TrackBack.aspx?PostId=1415487