全部博文（137）
分类： WINDOWS
2009-09-18 10:31:14
为完成采集视频、预览视频和捕获图像帧的任务，我们封装了CVMR_Capture类，使用VMR技术流畅显示和捕捉图像帧。根据GraphEdit的滤波器内容和链表的操作，编程实现使用VMR技术显示、捕捉图像。
类CVMR_Capture定义在头文件VMR_Capture.h中。
enum PLAYER_STATE {INIT,RUNNING,PAUSED,STOPPED};
class CVMR_Capture
{
public:
CVMR_Capture(); //类构造器
virtual ~CVMR_Capture(); //类析构器
int EnumDevices(HWND hList); //枚举设备
HRESULT Init(int iDeviceID,HWND hWnd,int iWidth,int iHeight);
//根据设备索引号初始化
DWORD GetFrame(BYTE ** pFrame); //获取捕获的图像帧
BOOL Pause(); //暂停预览、捕获
DWORD GrabFrame(); //截获图像
void CloseInterfaces(void); //关闭接口，释放资源
void SaveGraph(CString wFileName); //保存滤波器链表
protected:
IGraphBuilder *m_pGB; //滤波器链表管理器
IMediaControl *m_pMC; //媒体控制接口
IMediaEventEx *m_pME; //媒体事件接口
IVMRWindowlessControl9 *m_pWC; //VMR-9接口
IPin *m_pCamOutPin; //视频采集滤波器引脚
IBaseFilter *m_pDF; //视频采集滤波器
PLAYER_STATE m_psCurrent;
int m_nWidth; //图像帧宽度
int m_nHeight; //图像帧高度
BYTE *m_pFrame; //捕获的图像帧数据指针
long m_nFramelen; //捕获的图像帧数据大小
bool BindFilter(int deviceId, IBaseFilter **pFilter); //设备与滤波器捆绑
HRESULT InitializeWindowlessVMR(HWND hWnd); //初始化无窗口模式的VMR
HRESULT InitVideoWindow(HWND hWnd,int width, int height); //初始化视频窗口
void StopCapture();
void DeleteMediaType(AM_MEDIA_TYPE *pmt); //删除媒体类型
bool Convert24Image(BYTE *p32Img,BYTE *p24Img,DWORD dwSize32); //颜色空间转换
private:
};
CVMR_Capture类封装了使用VMR技术的成员函数和成员变量，包括类的构造器、析构器，滤波器链表管理器接口、媒体控制接口、媒体事件接口，图像帧的宽度、高度及操作VMR的保护成员函数等。
类CVMR_Capture有关初始化、析构等，类实现VMR_Capture.cpp文件中。
//释放资源的宏
#define RELEASE_POINTER (x) { if (x) x->Release(); x = NULL; }
/*类构造器*/
CVMR_Capture::CVMR_Capture()
{
CoInitialize(NULL); //初始化COM库
//接口指针清空
m_pGB = NULL; m_pMC = NULL;
m_pME = NULL; m_pWC = NULL;
m_pDF =NULL; m_pCamOutPin =NULL;
m_pFrame=NULL; m_nFramelen=0;
m_psCurrent=STOPPED;
}
/*类析构器*/
CVMR_Capture::~CVMR_Capture()
{
CloseInterfaces(); //清空指针、释放资源
CoUninitialize( ); //卸载COM库
}
/*释放所有资源，断开链接*/
void CVMR_Capture::CloseInterfaces(void)
{
HRESULT hr;
//停止媒体回放
if(m_pMC) hr = m_pMC->Stop();
m_psCurrent = STOPPED;
//释放并清零接口指针
if(m_pCamOutPin)
m_pCamOutPin->Disconnect(); //断开引脚的链接
RELEASE_POINTER(m_pCamOutPin); //视频采集滤波器引脚清空
RELEASE_POINTER(m_pMC); //媒体控制接口清空
RELEASE_POINTER(m_pGB); //滤波器链表管理器接口清空
RELEASE_POINTER(m_pWC); //VMR-9接口清空
RELEASE_POINTER(m_pDF); //视频采集滤波器接口清空
//释放分配的内存
if(m_pFrame!=NULL)
delete []m_pFrame; //释放图像空间缓存
}
上述程序完成资源释放、指针清空等工作，在退出应用程序时调用此函数。
枚举本地系统的采集设备。
/* 枚举本地系统的采集设备*/
int CVMR_Capture::EnumDevices(HWND hList)
{
if (!hList) return -1;
int id = 0;
//枚举所有视频采集设备
ICreateDevEnum *pCreateDevEnum;
//生成设备枚举器
HRESULT hr = CoCreateInstance(CLSID_SystemDeviceEnum, NULL,
CLSCTX_INPROC_SERVER,
IID_ICreateDevEnum, (void**)&pCreateDevEnum);
if (hr != NOERROR) return -1;
IEnumMoniker *pEm;
//创建视频类枚举器
hr = pCreateDevEnum->CreateClassEnumerator(CLSID_VideoInputDeviceCategory, &pEm, 0);
if (hr != NOERROR) return -1;
pEm->Reset(); //复位设备
ULONG cFetched;
IMoniker *pM;
while(hr = pEm->Next(1, &pM, &cFetched), hr==S_OK) //根据索引获取设备
{
IPropertyBag *pBag;
//获取属性集
hr = pM->BindToStorage(0, 0, IID_IPropertyBag, (void **)&pBag);
if(SUCCEEDED(hr))
{
VARIANT var;
var.vt = VT_BSTR; //保存二进制数据
hr = pBag->Read(L"FriendlyName", &var, NULL);
//以FriendlyName获取设备信息
if (hr == NOERROR)
{
id++;
//把该设备的信息添加到组合框
(long)SendMessage(hList, CB_ADDSTRING, 0,(LPARAM)var.
bstrVal);
SysFreeString(var.bstrVal); //释放资源
}
pBag->Release(); //释放资源
}
pM->Release(); //释放资源
}
return id;
}
上述程序实现枚举系统所有的视频采集设备，然后把FriendlyName信息添加到组合框中，这里的设备枚举与“使用经典采集技术实现视频捕获”实例的设备枚举相同。
构建滤波器链表，添加各个滤波器、链接并运行链表。应用程序调用该函数实现视频采集、图像预览。
HRESULT CVMR_Capture::Init(int iDeviceID,HWND hWnd, int iWidth, int iHeight)
{
HRESULT hr;
//再次调用函数，释放已经建立的链表
CloseInterfaces();
//创建IGraphBuilder
hr = CoCreateInstance(CLSID_FilterGraph, NULL, CLSCTX_INPROC_SERVER,
IID_IGraphBuilder, (void **)&m_pGB);
if (SUCCEEDED(hr))
{
//创建VMR并添加到Graph中
InitializeWindowlessVMR(hWnd);
//把指定的设备捆绑到一个滤波器
if(!BindFilter(iDeviceID, &m_pDF))
return S_FALSE;
//添加采集设备滤波器到Graph中
hr = m_pGB->AddFilter(m_pDF, L"Video Capture");
if (FAILED(hr)) return hr;
//获取捕获滤波器的引脚
IEnumPins *pEnum;
m_pDF->EnumPins(&pEnum);
hr |= pEnum->Reset();
hr |= pEnum->Next(1, &m_pCamOutPin, NULL);
//获取媒体控制和事件接口
hr |= m_pGB->QueryInterface(IID_IMediaControl, (void **)&m_pMC);
hr |= m_pGB->QueryInterface(IID_IMediaEventEx, (void **)&m_pME);
//设置窗口通知消息处理
//hr = pME->SetNotifyWindow((OAHWND)hWnd, WM_GRAPHNOTIFY, 0);
//匹配视频分辨率，对视频显示窗口设置
hr |= InitVideoWindow(hWnd,iWidth, iHeight);
//为捕获图像帧申请内存
m_nFramelen=iWidth*iHeight*3;
m_pFrame=(BYTE*) new BYTE[m_nFramelen];
//运行Graph,捕获视频
m_psCurrent = STOPPED;
hr |= m_pGB->Render(m_pCamOutPin);
hr |= m_pMC->Run();
if (FAILED(hr)) return hr;
m_psCurrent = RUNNING;
}
return hr;
}
上述是一个独立而又完整的使用VMR-9技术实现视频的采集、存储任务的程序。首先如果再次调用该函数，则关闭所有接口、释放有关资源；接着创建IGraphBuilder作为滤波器链表管理器；然后添加VMR滤波器到链表中，把指定的采集设备索引与捕获滤波器捆绑，并把该滤波器添加到链表中；接着获取捕获滤波器的引脚、获取媒体控制接口和事件接口；设置窗口通知消息处理，根据输入的视频分辨率匹配采集设备的分辨率；最后使用自动渲染功能Render方法把滤波器链表链接起来，使用媒体控制接口的方法Run开始运行媒体。以下分别是该函数的子功能实现。
创建VMR滤波器，并添加到Graph链表中。
/*创建VMR，添加、设置VMR*/
HRESULT CVMR_Capture::InitializeWindowlessVMR(HWND hWnd)
{
IBaseFilter* pVmr = NULL;
//创建VMR
HRESULT hr = CoCreateInstance(CLSID_VideoMixingRenderer, NULL,
CLSCTX_INPROC, IID_IBaseFilter, (void**)&pVmr);
if (SUCCEEDED(hr))
{
//添加VMR到滤波器链表中
hr = m_pGB->AddFilter(pVmr, L"Video Mixing Renderer");
if (SUCCEEDED(hr))
{
//设置无窗口渲染模式
IVMRFilterConfig* pConfig;
hr = pVmr->QueryInterface(IID_IVMRFilterConfig, (void**)&pConfig);
if( SUCCEEDED(hr))
{
pConfig->SetRenderingMode(VMRMode_Windowless);
pConfig->Release();
}
//设置传入的窗口为显示窗口
hr = pVmr->QueryInterface(IID_IVMRWindowlessControl, (void**)&m_pWC);
if( SUCCEEDED(hr))
{
m_pWC->SetVideoClippingWindow(hWnd); //设置视频剪辑窗口
}
}
pVmr->Release();
}
return hr;
}
首先使用CoCreateInstance创建VMR的接口pVmr，然后把VMR滤波器添加到滤波器链表中。设置视频显示为无窗口模式，首先在pVmr接口下查询IVMRFilterConfig接口，以参数VMRMode_Windowless使用SetRenderingMode方法设置完成。最后设置传入的窗口为视频剪辑窗口。
设置捕获图像帧的格式，遍历所有格式是否有预定格式，若没有则以默认格式捕获。
HRESULT CVMR_Capture::InitVideoWindow(HWND hWnd,int width, int height)
{
HRESULT hr; //返回值
RECT rcDest; //矩形区域
IAMStreamConfig *pConfig; //流配置接口
IEnumMediaTypes *pMedia; //枚举媒体类型接口
AM_MEDIA_TYPE *pmt = NULL, *pfnt = NULL; //媒体类型
hr = m_pCamOutPin->EnumMediaTypes( &pMedia ); //获取捕获设备的所有媒体类型
if(SUCCEEDED(hr))
{
//把视频的所有格式遍历一遍，看是否有预定的格式
while(pMedia->Next(1, &pmt, 0) == S_OK)
{
if( pmt->formattype == FORMAT_VideoInfo )
{
VIDEOINFOHEADER *vih = (VIDEOINFOHEADER *)pmt->pbFormat;
//当前的格式是否与预定格式相同，即宽和高是否相同
if( vih->bmiHeader.biWidth == width && vih->bmiHeader.biHeight == height )
{
pfnt = pmt; //记录当前媒体格式
break; //退出循环
}
DeleteMediaType( pmt ); //格式不匹配，则删除当前查询的媒体格式
}
}
pMedia->Release();
}
//获取流配置接口
hr = m_pCamOutPin->QueryInterface( IID_IAMStreamConfig, (void **) &pConfig );
if(SUCCEEDED(hr))
{
//有预定的媒体格式
if( pfnt != NULL )
{
hr=pConfig->SetFormat( pfnt );
DeleteMediaType( pfnt );
}
//没有预定的格式，读取默认媒体格式
hr = pConfig->GetFormat( &pfnt );
if(SUCCEEDED(hr))
{
m_nWidth = ((VIDEOINFOHEADER *)pfnt->pbFormat)->bmiHeader.biWidth;
//读取高
m_nHeight = ((VIDEOINFOHEADER *)pfnt->pbFormat)->bmiHeader.biHeight;
//读取宽
DeleteMediaType( pfnt );
}
}
//获取传入窗口的区域，以设置显示窗口
::GetClientRect (hWnd,&rcDest);
hr = m_pWC->SetVideoPosition(NULL, &rcDest); //设置视频窗口位置
return hr;
}
/* 删除媒体类型*/
void CVMR_Capture::DeleteMediaType(AM_MEDIA_TYPE *pmt)
{
if (pmt == NULL) { //为空则直接返回
return;
}
if (pmt->cbFormat != 0) { //格式块大小不为零
//释放由CoTaskMemAlloc或CoTaskMemRealloc申请的内存块
CoTaskMemFree((PVOID)pmt->pbFormat);
pmt->cbFormat = 0;
pmt->pbFormat = NULL;
}
if (pmt->pUnk != NULL) { //IUnknown接口不为空
pmt->pUnk->Release(); //释放资源
pmt->pUnk = NULL;
}
CoTaskMemFree((PVOID)pmt);
}
无论采用CoTaskMemAlloc函数还是采用CreateMediaType函数分配的内存都可以用这个函数来释放。
从VMR中获取一帧图像数据，转换目标颜色空间为RGB24。m_pFrame指向RGB24格式的数据。
/* 从VMR中获取一帧图像*/
DWORD CVMR_Capture::GrabFrame()
{
if(m_pWC ) {
BYTE* lpCurrImage = NULL;
//获取当前的图像数据，实际的数据内容是BMP位图格式
if(m_pWC->GetCurrentImage(&lpCurrImage) == S_OK)
{
//读取图像帧数据lpCurrImage
LPBITMAPINFOHEADER pdib = (LPBITMAPINFOHEADER) lpCurrImage;
//判断图像的宽度和高度是否正确
if(m_pFrame==NULL || (pdib->biHeight * pdib->biWidth * 3) !=m_nFramelen )
{
if(m_pFrame!=NULL) delete []m_pFrame; //删除以前申请的内存
m_nFramelen = pdib->biHeight * pdib->biWidth * 3; //重新申请内存
m_pFrame = new BYTE [pdib->biHeight * pdib->biWidth * 3] ;
//申请的内存大小
}
if(pdib->biBitCount == 32)
{
DWORD dwSize=0, dwWritten=0;
BYTE *pTemp32;
pTemp32=lpCurrImage + sizeof(BITMAPINFOHEADER);
//由于采集的是32位RGB，目标要求24位，需要进行转换
this->Convert24Image(pTemp32, m_pFrame, pdib->biSizeImage);
}
//释放该图像lpCurrImage
CoTaskMemFree(lpCurrImage);
}
else { return -1; }
}else{ return -1; }
return m_nFramelen;
}
上述程序实现获取当前显示图像，如果格式不正确则重新申请空间。由于采集的图像多数为32位，所以需要转换成24位以便于算法直接处理，捕获的图像帧放置在类CVMR_Capture的成员变量m_pFrame中，该函数返回图像帧的数据大小。
颜色空间转换ARGB32到RGB24。
/* ARGB32 to RGB24 */
bool CVMR_Capture::Convert24Image(BYTE *p32Img, BYTE *p24Img,DWORD dwSize32)
{
if(p32Img != NULL && p24Img != NULL && dwSize32>0) //确认指针合法
{
DWORD dwSize24;
dwSize24=(dwSize32 * 3)/4; //RGB32与RGB24的像素点空间只差了一个字节
BYTE *pTemp=p32Img,*ptr=p24Img;
for (DWORD index = 0; index < dwSize32/4 ; index++)
{
unsigned char r = *(pTemp++); unsigned char g = *(pTemp++);
unsigned char b = *(pTemp++); (pTemp++); //跳过alpha分量
*(ptr++) = b; *(ptr++) = g; *(ptr++) = r; 记录RGB 3分量
}
} else {
return false; //指针不合法
}
return true;
}
RGB32与RGB24格式只差一个分量alpha，所以转换时把每个像素点的该分量丢掉，即可得到RGB24格式。另外类CVMR_Capture还有其他常见成员函数，如保存滤波器链表。
