现在的情况是:
采用DirectSound录音和播放音频;采用DirectShow采集摄像头视频,视频的播放是直接一帧帧地画到界面面板上(用QT编写的应用程序界面)。
已经实现音频和视频的实时采集压缩,分别发送和传输(音频和视频用不同的socekt和端口,UDP传输)和播放。
现希望实现音视频的同步播放(即所谓的唇音同步),看到不少都是用DirectShow去实现音视频同步,
我不想用DirectShow,
该如何去实现音视频同步呢?
现在初步大致的想法是:
方案一:音视频采集时,得到其采集时间戳,然后音视频分别压缩,再将具有相同时间戳的音视频包打包放在一个数据包内,
然后发送传输,接收端从数据包内提取出音频和视频数据,分别同时播放。因为同一数据包内的音视频具有相同的采集
时间戳,即是同一时刻采集的,则实现了同步。
方案二:同样得到采集时间戳信息,音视频分别压缩后,分别加上该时间戳信息,然后音视频分别发送和传输。
接收端分别得到音视频数据,音频正常播放(考虑人对音频播放更敏感),并以音频播放为基准,调整视频的播放速率,
视频帧到达时,将其时间戳与当前播放的音频时间戳进行比较,给定一个同步容忍度范围,如果超前了,则该视频帧暂不播
放,如果滞后后就丢弃该视频帧。从而实现音视频的同步。
请问以上方法是否可行?存在什么问题或者有什么其它更好方法?(不用directshow)
另外,如何得到音视频采集时的时间戳呢?(转自)
阅读(2004) | 评论(0) | 转发(0) |